데이터 파일 크기가 클 때 sql로 불러오기(feat. python)

파일이 너무 크면 sql에서 로딩이 너무 오래걸리므로 python에서 로딩해서 sql에서 열수있게 한다.

!pip install sqlalchemy
!pip install pymysql

import pandas as pd
from sqlalchemy import create_engine
import pymysql

df = pd.read_csv('olist_orders_dataset.csv')

# 2. MySQL 연결 정보 설정
user, password, database = 'root', '*******', 'project'
# 프로젝트 database 없으면 만들어주자: create database project; (mysql에서)

# 3. SQLAlchemy 엔진 생성
engine = create_engine(f'mysql+pymysql://{user}:{password}@localhost:3306/{database}')

%%time
# 4. 데이터프레임을 MySQL 테이블로 저장
df.to_sql(name='order_items', con=engine, if_exists='replace', index=False)
#파이썬 코드 쓰는법 보기(shift tab or help(df.to_sql))

그리고 mysql schema refresh 하면 order_items 테이블이 잘 들어와있는 걸 볼 수 있음 (와 신기해...!!!)

 

대신

테이블 상세 정보(데이터 타입 등)가 제대로 안들어가있음. 필요에 맞게 수정 필요.