Kyuubi 版本 | Apache Kyuubi (Incubating) 1.4.0-incubating 发布

12月10日，Apache Kyuubi (Incubating) 社区发布了进入Apache 孵化器之后的第三个公开发行的正式版本, v1.4.0-incubating。非常感谢 Apache Kyuubi (Incubating) 社区成员对 Kyuubi 1.4.0-incubating 版本发布做出的贡献。

Apache Kyuubi （Incubating）是一个 Thrift JDBC/ODBC 服务，目前对接了 Apache Spark 计算框架，支持多租户和分布式等特性，可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口，赋予用户调动整个数据湖生态的数据的能力，使得用户能够像处理普通数据一样处理大数据。它的主要方向是依托本身的架构设计，围绕各类主流计算框架，打造一个面向 Serverless SQL on Lakehouse 的服务。

参考链接：

https://github.com/apache/incubator-kyuubi/discussions/925

此次发布带来了 Lakehouse, Serverless Spark, Unified, Performance 等方面的多项增强，主要包括:

1. 支持最新的 Spark 3.2 版本并作了充分的验证

2. 支持 Z-Order 语法增强 Data Skipping，提升在复杂过滤条件下的查询性能

3. 支持在不为 Spark 引擎提供 keytab 的情况下长运行

4. 支持 MySQL 协议和 MySQL client 作为 Kyuubi 的 client (experimental)

5. 支持基于 Group 的引擎分享级别

6. 更加友好的 Kyuubi engine 的 UI，支持显示 session 状态

7. Kyuubi 服务同时支持 Kerberos 和 PLAIN 类型的权限认证

8. 增强了 kyuubi 服务和引擎的 Zookeeper 认证和 ACL 管理

9. 在数据湖平台 Delta Lake，Iceberg 和 Hudi 之上进行了充分的测试

10. 支持异步的建立 kyuubi 连接，提供更加用户友好的 Kyuubi Hive JDBC 和Kyuubi BeeLine，让 Kyuubi Engine 的启动对用户透明

11. 支持增量的获取语句的执行结果

12. 补充了一些辅助的 SQL 函数作为 Spark 内置函数的补充

更多详情见发布公告:

https://kyuubi.apache.org/release/1.4.0-incubating.html

最新的 Apache Kyuubi (Incubating) 1.4.0-incubating 版本保持了对上一版本的兼容，同时也兼容1.x timeline上的各个大版本。用户可选择至官方下载链接https://kyuubi.apache.org/release/1.4.0-incubating.html 完成下载后，进行原地升级。

对于新接触 Apache Kyuubi (Incubating) 用户，可以参考我们的 Quick Start 指南进行技能解锁，详见 

https://kyuubi.apache.org/docs/r1.4.0-incubating/quick_start/index.html

• 替换 HiveServer2，轻松获得 10~100 倍性能提升

• Kyuubi 高度兼容 HiveServer2 接口及行为，支持无缝迁移

• Kyuubi 分层架构，消除客户端兼容性问题，支持无感升级

• Kyuubi 支持 Spark SQL 全链路优化及再增强，性能卓著

• 高可用、多租户、细粒度权限认证各种企业级特性统统都有

• 构建 Serverless Spark 平台

• Serverless Spark 目标绝对不是让用户调用Spark的API、继续写 Spark 作业

• 通过 Kyuubi 预置的 Engine 模块，用户无需理解 Spark 逻辑， 入门门槛极低

• 用户只需通过 JDBC 及 SQL 操作数据专注自身业务开发即可，资源弹性伸缩，0 运维

• 支持资源管理器（Kubernetes, YARN 等），Engine 生命周期，Spark 动态资源分配3级不同粒度全方位的资源弹性策略

• 支持YARN/Kubernetes多种资源管理器同时调度，保障历史作业安全迁移上云

• Spark 自适应查询引擎（AQE）及 Kyuubi AQE plus，提供澎湃动力

• 构建统一数据湖探索分析管理平台

• 支持 Spark 所有官方数据源及第三方数据源

• 支持 Spark DSv2 元数据管理，直观进行数据湖构建及管理

• 支持 Apache Iceberg, Hudi, DeltaLake等所有主流数据湖框架

• 一个接口一个引擎一份数据，提供统一的分析查询、数据摄取、数据湖管理平台

• 批流一体，支持流式作业（Upcoming）

Apache Kyuubi (Incubating) 项目是社区驱动的，我们致力于在 Apache Way 的指导下，为用户提供简单易用的大数据产品，我们强调社区协作，互相帮助，共同成长。

首先，如果您在下载和使用 Apache Kyuubi (Incubating) 1.4.0-incubating 中发现任何问题，欢迎使用 Github Issues 功能，https://github.com/apache/incubator-kyuubi/issues，将您遇到的问题和社区分享。

如果您或者您的公司正在使用 Apache Kyuubi(Incubating) 并希望能够和社区和其他用户共享，可以在Who is using Apache Kyuubi (Incubating) ? (https://github.com/apache/incubator-kyuubi/discussions/925) 中进行留言。

我们也接受其他任何形式的帮助，详见 https://github.com/apache/incubator-kyuubi#contributing，欢迎通过 dev-subscribe@kyuubi.apache.org 订阅我们的邮件列表，获取社区最新动向。

在社区驱动的模式下，Apache Kyuubi (Incubating) 1.4.0-incubating 的正式发布，真诚地感谢每一位项目导师、社区贡献者及用户的信任、支持和帮助。

特别感谢对 1.4.0-incubating 版本有直接贡献的社区小伙伴 （按照字典序进行排列）：

AnybodyHome, Brian Yue, Cheng Pan, Fei Wang, Fu Chen, Jagadesh Adireddi, Kent Yao, Min Zhao, Guoqing Yang, h, happytofly, hongdongdong, jiaoqingbo, qiuliang, qphien, senmiaoliu, simon, sunfangbin, sychen, timothy65535, ulysses-you, wFoget, xiebo03, xiongyinke, yanghua, yanyu34946, zhang1002, zhenjiaguo, zhouyifan279, zwangsheng, 张宇翔