홈 › 파일·데이터 변환

CSV·엑셀 → Parquet 변환

한글 CSV(EUC-KR)도 자동으로 읽어요. 수십만 행까지는 금방 되고, 100MB가 넘는 CSV는 시간이 걸려요.

파일은 서버로 전송되지 않고 내 기기에서만 처리돼요
CSV·엑셀 파일을 놓거나 눌러서 고르세요.csv · .tsv · .txt · .xlsx · .xls
또는 표 붙여 넣기

CSV를 Parquet로 바꾸면 작고 빨라져요

Parquet(파케이)는 표를 열 단위로 묶어 압축하는 데이터 형식이에요. 같은 값이 많은 열은 크게 줄어들어 CSV보다 훨씬 작아지는 경우가 많고, 열 형식(정수·날짜 등)이 함께 저장돼 읽을 때 숫자·날짜를 다시 해석할 필요가 없어요. 파이썬 pandas, DuckDB, Spark, BigQuery, 클라우드 데이터 웨어하우스에 올릴 데이터를 준비할 때 쓰세요.

쓰는 법

형식은 이렇게 저장돼요

문자는 UTF-8 문자열, 정수는 64비트 정수(INT64), 실수는 64비트 실수(DOUBLE), 참·거짓은 BOOLEAN, 날짜는 DATE(1970-01-01부터의 날 수), 날짜·시각은 밀리초 단위 TIMESTAMP로 저장해요. 날짜·시각은 시간대 없이 적힌 그대로(UTC로 간주) 넣어요. 빈칸은 null이 돼요. 형식과 맞지 않는 값이 있으면 어느 줄인지 알려 주고 멈춰요. ‘1,234’처럼 쉼표가 든 숫자도 숫자로 읽어요.

파일은 hyparquet-writer(MIT)로 만들고, GZIP 압축은 fflate(MIT)를 써요. 모든 처리는 브라우저 안에서만 해요.

참고한 자료

자주 묻는 질문

Snappy와 GZIP 중 무엇을 고를까요?

Snappy는 읽고 쓰기가 빠르고 대부분의 도구가 기본으로 써요. 파일 크기를 더 줄이고 싶으면 GZIP을 고르세요. 둘 다 pandas·Spark에서 그대로 읽혀요.

행 그룹 크기는 무엇인가요?

행을 몇 줄씩 묶어 저장할지예요. 큰 묶음은 압축이 조금 더 잘 되고, 작은 묶음은 일부만 읽을 때 빨라요. 잘 모르면 기본값(10만 행)을 쓰세요.

엑셀 수식도 옮겨지나요?

수식이 아니라 계산된 값이 들어가요.

함께 쓰면 좋은 도구