chDB嵌入式 SQL OLAP 引擎

联合创作 · 2023-09-28 09:36

chDB 是一个由 ClickHouse 驱动的嵌入式 SQL OLAP 引擎。

特点

  • 嵌入在 Python 中的 SQL OLAP 引擎,由 ClickHouse 驱动
  • 不需要安装 ClickHouse
  • 支持 Parquet、CSV、JSON、Arrow、ORC 和其他 60 多种格式的输入输出示例

目前,chDB 只支持在 macOS(x86_64 和 ARM64)和 Linux 上的 Python 3.7+。

pip install chdb

用法

在命令行中运行

python3 -m chdb SQL [OutputFormat]

python3 -m chdb "SELECT 1,'abc'" Pretty

目前,chDB 仅支持 query 函数,用于执行 SQL 并返回所需格式的数据。

import chdb
res = chdb.query('select version()', 'Pretty'); print(res.data())

使用 Parquet 或 CSV

# 查看更多数据类型格式,请参见 tests/format_output.py
res = chdb.query('select * from file("data.parquet", Parquet)', 'JSON'); print(res.data())
# 对于大型数据结果,get_memview() 更快,因为它不需要额外的数据复制。
res = chdb.query('select * from file("data.csv", CSV)', 'CSV');  print(str(res.get_memview().tobytes()))

Pandas DataFrame 输出

# 更多内容请参见 https://clickhouse.com/docs/en/interfaces/formats
chdb.query('select * from file("data.parquet", Parquet)', 'Dataframe')
浏览 7
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报