[Ubuntu] csv 파일 데이터 자르기(용량 큰 파일 나누어 저장)

csv 파일을 읽어 db에 입력해야하는데,

csv 파일 용량이 너무 커서 실행하면 cpu 사용초과로 서버가 다운되어 버리는 현상이 있었다...

aws 프리티어... 무료여서 좋지만 사양이 너무 안타깝다..

 

그래서 파일을 잘라서 실행하는 방법을 찾아보고 적용하니 정상적으로 실행되었다.

 

명령어

$ split -l (자를 줄 수) (대용량 파일명) (결과 파일명)

 

 

실행 결과

(결과 파일 명) + aa ~ 으로 파일이 분할되어 나온다.

 

 

 

참고

https://ourhistory160109.tistory.com/40

CSV 파일 분할하기