竞赛邀请 | 第一届青云杯IT技术挑战赛大幕揭开

报名时间

比赛内容

官方报名微信群1：

官方报名微信群2：

请优先添加群1，群2备用

QQ群内通知内容相同，请勿重复添加

关注公众号，后台回复  “报名”  获取最新报名方式

组委会官方QQ：3578283292

联系电话/微信：18604506683（梁老师）

联系邮箱：3578283292@qq.com

本次比赛采用百分制，完成各项基本要求可获得100分，完成各项附加要求，可获得加分，加分项共60分。

1. 数据采集（20分）

采集是数仓搭建的前提，采集得分为零则总分为零。

1）数据集（5分）

可选用比赛官方提供数据集，亦可自行搜集数据集。若选用官方数据集，此项得分为0。此外，组委会会提供电商数仓搭建的全套资料，若选择电商数据集，将失去一、二、三等奖评选资格。若自行收集数据集，可申请技术支持，辅助开发数据模拟器。

以下均为自备数据集的要求。

① 要求原始数据表结构完整，至少有20个字段的业务表不少于10张（3分）。

② 至少提供一天以上的数据，若涉及用户隐私、商业机密等，必须脱敏处理（2分）。

2）同步策略（2分）

为每张原始表选择合理的同步策略，并说明原因。

3）数据目的地（3分）

分布式文件系统目标路径可以看到数据，此项是搭建采集通道的前提（不满足此项采集部分得分为0）。须在验收视频中完整演示由数据源至分布式文件系统的数据流转过程，如采用flume-kafka-hdfs架构采集日志数据，需要满足：

（1）启动Kafka命令行消费者，消费目标主题数据，上游注入数据后可以消费到数据；

（2）通道打通后，HDFS目标路径、文件可以自动生成，且文件大小可随时间变化。

（3）文件系统必须为HDFS这样的高可靠分布式文件系统。

不满足上述三点，此项得分为零。

4）目录滚动规则要求（3分）

分布式文件系统可以按天自动生成数据目标路径，须在验收视频中展示跨天时目标路径的生成。

5）文件滚动规则要求（4分）

（1）目标路径文件可以按照大小滚动（2分）。

（2）目标路径文件可以按照时间滚动（2分）。

以上应在验收视频中展示效果。

6）压缩要求（3分）

采用合理的方式压缩，此处的合理是指用户不需要额外的操作即可直接读取压缩文件。

2. 数据清洗

1）脏数据处理（1分）

处理结构不完整、无法解析的数据。

2）空值处理（1分）

处理非空字段的空值。

3）重复数据处理（2分）

对于可能重复的数据做去重处理。

4）脱敏（3分）

对用户姓名、邮箱、手机号等脱敏处理，应选择合理的匹配规则。

5）数据格式校验（1分）

处理日期、币种等字段格式错误的数据。

6）非法值处理（2分）

检测并修正取值范围异常的字段，如取值小于零的金额字段。

3. 数仓搭建

1）业务总线矩阵构建及DIM、DWD层搭建（20分）

（1）业务总线矩阵构建（10分）

① 要求明确数据域，明确事实、维度对应的原始表名称（4分）。

② 业务总线矩阵为业务驱动，自下而上构建，应涵盖数据集中的所有事实与维度（3分）。

③ 明确事实与维度的关联关系（通过√体现）（3分）。

（2）DIM层构建（5分）

① 应涵盖业务总线矩阵中的所有维度（从日志中提取的和退化的维度不必形成维表）（1分）。

② 维度表字段尽可能完善，应包含所有与该维度相关原始表的信息，还应剔除无法用于统计的字段如“问题内容（文本）”等（1分）。

③ 应做维度整合，明确主维表及相关维表（1分）。

④ 缓慢变化维应构建拉链表（1分）。

⑤ 提供首日装载和每日装载语句（1分）。

（3）DWD层构建（5分）

① 应对业务总线矩阵中列出的所有业务过程建立事实表，粒度为该业务过程的原子操作（1分）。

② 事实表应包含尽可能丰富的字段，并剔除无法用于统计的字段，如“评价内容（文本）”等（1分）。

③ 对于字段极少的维度，要做维度退化（1分）。

④ 对于特殊需求，特殊的业务场景，应按照实际情况构建周期型快照事实表或累积型快照事实表（1分）。

⑤ 提供首日装载和每日装载语句（1分）。

2）指标体系构建及DWS、ADS层搭建（20分）

（1）指标体系构建（10分）

① 提供思维导图（导出为PDF）和Excel版本的指标体系。指明指标类型（思维导图指明，Excel不必），（如果有）指明依赖的指标（3分）。

② 指标不可少于20，仅统计周期不同的算作一个指标（如最近1/7/30日各省份下单金额算作一个指标）（3分）。

③ 最大化公共粒度汇总表的调用次数，尽可能减少重复计算（2分）。

④ 思维导图应明确所有指标的依赖关系，不可存在逻辑错误（2分）。

（2）DWS层搭建（5分）

① 汇总表的字段应足够丰富，须整合指标体系中列出的统计周期、统计粒度、业务过程相同的所有派生指标（2分）。

② SQL可执行，且没有逻辑错误（2分）。

③ 提供首日装载和每日装载语句（1分）。

（3）ADS层搭建（5分）

① 包含提交的指标说明文档中的所有指标（2分）。

② SQL可执行，且没有逻辑错误（2分）。

③ 提供首日装载和每日装载语句（1分）。

3）整体要求（5分）

（1）明确数仓上线首日，进而确定采集目标路径、装载语句及调度脚本的日期（2分）。

（2）数仓各层明确表名、字段名称命名规范（2分）。

（3）数仓建表语句应指明正确的存储、压缩格式，规范存储路径（1分）。

4. 可视化

使用任意工具完成数据可视化。

① 为所有ADS层指标选择合适的图表（2分）。

② 提供报表建表语句（如MySQL报表）（2分）。

③ 效果酷炫（1分）

5. 提交材料

1）资料（5分）

（1）提供数仓搭建需要的所有组件安装包及安装说明文档（1分）。

（2）EZDML或其它工具完成的业务库表关系模型（1分）。

（3）组件启停脚本、数仓各层调度脚本、采集脚本、报表数据导出脚本等（1分）。

（4）业务总线矩阵及指标体系（1分）。

（5）数仓各层数据装载语句、调度工具工作流执行成功截图及可视化大屏截图（1分）。

2）文档（15分）

（1）业务流程说明文档（3分）

详细介绍业务流程，对业务库建模，说明所有原始表之间的关系。

（2）需求说明文档（3分）

按照主题划分，阐明指标的统计思路。

（3）数仓文档（9分）

① 包含采集、各层建表、装载语句及说明、全流程调度及可视化模块（4分）。

② 行文流畅，思路清晰，用词严谨（3分）。

③ 排版规范（与模板一致），无错别字（2分）。

3）验收视频（不单独计分）

此项不计分，但会作为其它评判规则的参考。

录制10-15分钟的视频，要求完整演示从采集到可视化的数据流转过程。其中，要包含调度工作流上线、执行、完成的全过程，以及可视化工具数据源的配置、图表的选择等内容。视频可加速，总长压缩至指定范围即可。

6. 加分项

1）数据集（20分）

此项仅面向参赛团队自行收集的数据集。

（1）业务流程完善，数据集包含一个完整业务流程所涉及的所有事实和维度（5分）。

（2）业务丰满，原始表字段多，数量多。大于20个字段的原始表大于20张可获得附加分，至多10分，100张封顶（10分）。

（3）数据源多样性，至少提供一种数据源（如Mysql、Oracle、MongoDB、Excel、TXT等）的原始数据，每多一种加一分，上限5分（5分）。

2）指标（15分）

（1）阐明指标的经济价值（5分）。

（2）指标丰富，达到30可以获得附加分，至多10分，100个封顶（10分）。

3）数据质量监控（5分）

4）元数据管理（5分）

5）数据治理（5分）

6）权限管理（5分）

7）用户认证（5分）