推荐一个用心的公众号
自我介绍
欢迎大家关注晓阳的数据小站,号主是一名兴趣广泛的程序员,经历过大数据发展的各个阶段,主要分享大数据的技术文章与大数据的科普视频,喜欢跟大家聊一聊日常数据工作的各种事情。虽然晓阳从2020年才开始写技术文章,但每周的坚持,已经形成了体系化的分享思路。日常会跟读者分享数据技术的相关见解,包括数据思维、数据治理、数据仓库及数据架构多个系列,有时间也写一写日常工作中的点点滴滴。
精彩文章分享
毛主席说:“研究任何过程,如果是存在着两个以上矛盾的复杂过程的话,就要用全力找出它的主要矛盾,捉住了这个主要矛盾,一切问题就迎刃而解了。”
对于数据治理而言,矛盾就是:“有限的机器资源与存储计算的无限增长之间的矛盾”。
因为存在主要矛盾,因而“数据治理”在被提出10多年后,依然是目前数据领域的热门问题。解决的方法也很简单,就是尽量限制存储计算的增长,不论是通过技术手段,比如数据压缩、列式存储,还是通过方法论,比如维度建模、存储健康分,都能够延缓数据增长的困境。
“填坑”是一个新人刚加入团队,或者是接手一个新业务,所以经常需要面对的事情。
“坑”的出现,与历史业务的发展,密切相关。通常体现在:业务快速变动、人员快速流动、系统化建设能力弱、强行上马面子工程等情况。虽然数据开发人员能够意识到数据仓库规范性的重要,但迫于日常的数据开发压力,往往只能匆忙的制订一份规范,在实际开发过过程中,往往又无法完全照搬落实,因此形成了一个“不成熟”的数据仓库体系。
但是!我们不能坐以待毙,面对“理想”与“现实”的差距,我们必须有一套成熟的应对方法,才能在纷乱的业务中,找到不变的哪条主线。
往期系列文章
数据思维系列
数据仓库系列
数据治理系列
数据分析系列
评论