pg_chdb - PostgreSQL에서 ClickHouse로 외부 데이터를 조회하고 가져오는 확장

한 줄 요약

PostgreSQL에서 ClickHouse의 chDB 엔진을 통해 S3/로컬 파일의 데이터를 직접 조회하고 가져오는 확장 도구입니다.

핵심 내용

• PostgreSQL에서 S3, GCS, Azure Blob, HTTP, 로컬 파일의 데이터를 chdb_query()로 직접 조회하거나 테이블로 가져올 수 있음

• CSV, JSON, Parquet, Arrow, Avro, ORC 등 다양한 형식과 압축 파일을 처리 지원

• COPY 명령을 확장하여 외부 소스의 데이터를 PostgreSQL 테이블로 가져오기 가능

• CREATE TABLE에 파일 URL을 지정하면 열 구조를 자동으로 추론하고 데이터를 채워서 테이블 생성

• pgduckdb, pglake와 비교해 약 100만 행 데이터 가져오기에서 2~3배 빠른 성능

• chDB는 별도 프로세스에서 실행되어 비정상 종료 시 PostgreSQL 세션에 영향 없음

• PostgreSQL 15 이상, chDB 26.7.0 이상 필요, Linux/macOS에서 소스 빌드로 설치

왜 중요한가

PostgreSQL 환경에서 데이터 레이크나 클라우드 스토리지의 대용량 데이터를 직접 쿼리하려면 별도의 ETL 도구나 마이그레이션 작업이 필요했습니다. pg_chdb는 PostgreSQL 내에서 다양한 형식의 외부 데이터를 효율적으로 처리할 수 있게 해주며, Parquet 같은 칼럼 기반 형식의 빠른 처리 성능이 데이터 분석 워크플로우를 단순화합니다. Apache 2.0 라이선스로 오픈소스이므로 자유롭게 통합할 수 있습니다.

참조한 것 · 가져온 것

• 원문: https://github.com/ClickHouse/pg_chdb/

• GeekNews: https://news.hada.io/topic?id=33716