你不得不知道的Iceberg的配置Configuration

程序源代码

共 1919字,需浏览 4分钟

 ·

2022-09-20 22:06

82a30519319f0dff5e4ebbb81d9ee84b.webp 全网最全大数据面试提升手册!

Configuration

1.table properties

1.1 Read properties

因为Iceberg在HDFS上的data文件,通常都是一个个的小文件,所以读取的时候会先进行combine,然后再返回数据。下面是进行combine的一些配置

d1b106b4bc05de2983ebeacbbc8569d2.webp
1.2 Write properties
64be8d4d1914b549f7c3352f403c1410.webp5f8ec93a17d302e6f8709b9901a1d7c4.webp
1.3 Table behavior properties
e9b173f7c94a42072cd48347edc6dd93.webpc6823d34a8c3d2219c5a82816ffe8e43.webp
1.4 Reserved table properties

只在创建或更新表的时候使用,并不会作为表metadata保存下来

0399a0ad91db2b9cb27ca23b296dd59a.webp
1.5 Compatibility flags
0356ac7ca54c05dc05801895bb5615ee.webp

2.Catalog properties

91d096bacefb245407e5c2f12f87cdf0.webp
2.1 Lock catalog properties

关于catalog lock相关的配置,用来控制commit期间的lock行为

4d572a87f6f214eb5847dda2a4436e30.webp

3.Hadoop configuration

用于Hive Metastore connector

37046a4feb97364bd7b09d1381a53205.webp如果这个文章对你有帮助,不要忘记  「在看」 「点赞」 「收藏」  三连啊喂!

c3a60dc9be8ad02dbfee0690fb26f09c.webp2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇) 互联网最坏的时代可能真的来了
我在B站读大学,大数据专业
我们在学习Flink的时候,到底在学习什么? 193篇文章暴揍Flink,这个合集你需要关注一下 Flink生产环境TOP难题与优化,阿里巴巴藏经阁YYDS Flink CDC我吃定了耶稣也留不住他!| Flink CDC线上问题小盘点 我们在学习Spark的时候,到底在学习什么? 在所有Spark模块中,我愿称SparkSQL为最强! 硬刚Hive | 4万字基础调优面试小总结 数据治理方法论和实践小百科全书
标签体系下的用户画像建设小指南
4万字长文 | ClickHouse基础&实践&调优全视角解析
【面试&个人成长】2021年过半,社招和校招的经验之谈 大数据方向另一个十年开启 |《硬刚系列》第一版完结 我写过的关于成长/面试/职场进阶的文章 当我们在学习Hive的时候在学习什么?「硬刚Hive续集」
浏览 36
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报