SQL, Database25 SQL 컨벤션 공부하기 1. 공부 계획 짜기2. SQLStyle.guide3. GitLab의 SQL Style Guide주의사항:아래에서 '20자' 같은 글자수 세기가 나온 경우: 기준은 모두 영문 기준임1. 공부계획짜기일단 GPT한테 'SQL 컨벤션을 공부하기에 제일 좋은 사이트' 물어봐서 주요 사이트 몇개를 확인한다. 그리고 각 사이트 별로 적혀있는 설명을 보고 사이트를 정해본다.최종적으로 참고한 사이트는 다음과 같다. 제일 대중적일 것 같은 사이트로 선정했다.SQLStyle.guide : SQL의 네이밍, 들여쓰기, 형식(format) 등 전반적인 스타일 가이드를 정리한 대표 문서.GitLab의 SQL Style Guide : 실제 엔지니어 조직에서 사용하는 SQL 컨벤션. 팀 단위로 코드 스타일을 통일하고 싶을 때 참고.. 2025. 12. 5. SQL: 테이블 복제하기 테이블 그대로 복제하기 (TABLE 1로 TABLE 2만들기)CREATE TABLE 새테이블명 ASSELECT * FROM 원래테이블명; 2025. 10. 8. Polars pandas vs polars기능PandasPolars속도단일 코어 실행 (느림)멀티코어 지원 (빠름)메모리 사용메모리 내에서만 처리 가능Lazy Execution 지원API 스타일즉시 실행즉시 실행 + 지연 실행 가능대용량 데이터비효율적최적화됨 Polars는 Pandas보다 빠르고, 더 적은 메모리를 사용하며, 멀티코어 활용이 뛰어난 고성능 데이터 프레임 라이브러리Rust로 구현polars는 전체 코드를 쭉 보고 효율적인 방향으로 알아서 실행해줌. pandas는 작성 순서대로 연산.!pip install polarsimport pandas as pdimport polars as plimport numpy as np#데이터생성rows = int(1E7) # 1000*10000data = { 'id'.. 2025. 8. 20. 데이터프레임 최적화 메모리를 절약하는 방법연산을 빠르게 수행하는 방법import sysimport numpy as npimport pandas as pd# 데이터 프레임 불러오기df = pd.read_csv('orders.csv')df.tail(2)sys.getsizeof(df) / 1024 / 1024, 'mb' #(97.25404834747314, 'mb')df.info(memory_usage='deep') 1. 메모리 절약코드화문자열 카테고리 > 코드형df['eval_set'].unique() #array(['prior', 'train', 'test'], dtype=object)mapping_data = {'prior':1, 'train':2, 'test':3}df['eval_set'] = df['eval_set'].. 2025. 8. 19. 데이터 파일 크기가 클 때 sql로 불러오기(feat. python) 파일이 너무 크면 sql에서 로딩이 너무 오래걸리므로 python에서 로딩해서 sql에서 열수있게 한다.!pip install sqlalchemy!pip install pymysqlimport pandas as pdfrom sqlalchemy import create_engineimport pymysqldf = pd.read_csv('olist_orders_dataset.csv')# 2. MySQL 연결 정보 설정user, password, database = 'root', '*******', 'project'# 프로젝트 database 없으면 만들어주자: create database project; (mysql에서)# 3. SQLAlchemy 엔진 생성engine = create_engine(f'mys.. 2025. 8. 19. MYSQL: 용량 큰 .sql파일 불러오기 Server > Data Import 2025. 8. 19. 이전 1 2 3 4 5 다음
