那些在背后悄悄努力，然后惊艳所有人的小事

易观数科

共 3686字，需浏览 8分钟

· 2020-12-19

点击查看小易悄悄话

“做了多年的数据分析，还会一直继续下去”

易观成立数年来虽然有业务线的不同，但始终在满足用户需求，围绕着数据分析这一条路来走。也经历了帮助企业从发现问题-量化问题-解决问题的完整闭环过程。

2020年10月23日，为了更好的满足用户需求，易观品牌拆分为易观分析和易观数科，易观分析聚焦数字用户洞察，易观数科专注智能用户运营。

有时候我们常常在想，与其说我们是用产品和服务的形式在帮助企业实现数据驱动，不如说我们是在赋予用户一种能力，一种数据分析的能力，让他们能够更快的迈入数据的门槛，通过数据驱动重构企业的竞争力。这也是践行易观让数据能力平民化的使命。

现在，很多行业和企业都面临着数字化转型，易观也在用自己的力量和生态的方式持续赋能给更多的行业和企业。在数字化的大潮中，我们所做的可能是星星之火，但相信星星之火可以燎原。

“开放Argo，赋能初创团队数字化转型”

为什么要做免费版的Argo? 这是很多人会问我们的一个问题。

记得之前数据分析师的小伙伴有分享他过往和创业经历的所见所闻，发现企业数字化做的最好的还是头部的公司，而像中小型企业和转型期的企业来讲，数字化的水平并不高，这也是易观作为一家数据服务公司来讲最大的价值。

确实，数字化时代无论企业大小都需要时刻关注用户与产品的精细化运营，然而许多刚起步的企业或创新团队都面临着预算紧张、数据量小的尴尬境地，我们希望通过开放argo的能力，帮助创新创业团队实现数字化，陪伴大家一起成长。

值得一提的是，argo这款产品是方舟产品团队自下而上推动起来的，公司内部一致认同，全票通过。在正式产品发布后，也受到了市场很热烈的反响。

不过事事没有一帆风顺，在越来越多用户开始下载argo的同时，我们也迎来了用户部署上的一连串问题：

安装到install ambari.sh mysql出错怎么办？

如何判断一台机器是否可以部署Argo呢？

上报数据的端口如何修改？

安装过程中“集群分发失败报错”如何处理？

易观方舟社区部分问题

想要做成一件事的确不容易。当时接收到如此多客户问题的我们，还是有些兴奋的，因为同时面临如此多客户的疑问，证明这款产品对于他们来讲有价值。

所以当时我们立刻投身于“智能客服”的工作，一个又一个，一遍又一遍的解答客户的问题，帮助他们成功使用argo。同时收集用户反馈的共性和痛点问题，不断地沉淀内容和文档，提供更加丰富详实的FAQ，使用户通俗易懂。

另一方面，为了降低用户的使用门槛，我们组成了虚拟的技术小组，研发镜像文件，让用户只需要点一下就能够成功部署argo，无需操作。让用户最快半小时的时间就能够实现数据驱动。

当时经常会感叹，“智能客服”的工作很无聊，还没有成长。但每当看到用户成功部署、回数、搭建看板、数据应用等过程中，又在庆幸自己参与到一项伟大的工作中。

赋能是双向的，在Argo使用过程中我们收获了很多意外的惊喜。

有的用户的产品版本升级在没有社区帮助的情况下，自行完成并主动撰写了升级文档分享在argo社区，同时也有很多用户在深入使用产品后，提出了改进建议......

回想现在，Argo已经积累数百家使用者，涉及金融、零售、医疗、教育、游戏、电商、汽车等多个领域，开放的 Argo 社区中，荟聚了数千位开发者和数据从业者。这些都是我们一砖一瓦积累起来的，但是还没有结束，数据能力平民化的路上我们会陪伴更多用户一起成长。

“赋能开发者，Apache DolinphinScheduler背后的开源精神”

2017 年，易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时，受到 ETL 复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具：

“

·易于使用和维护，开发人员可以通过非常简单的拖拽操作构建 ETL 过程。不仅对于ETL 开发人员，无法编写代码的人也可以使用此工具进行 ETL 操作，例如分析师；

·解决“复杂任务依赖”问题，并且可以实时监视ETL运行状态；

·支持多租户；

·支持许多任务类型：Shell，MR，Spark，Flink，SQL（Mysql，Postgresql，Hive，Sparksql，Clickhouse等），DataX，Sqoop，Python，Sub_Process，Procedure 等；

·支持 HA 和线性可扩展性。

辗转尝试后，发现现有的开源项目都没能够达到我们的要求，因此技术团队决定自行开发这个工具。在确定了开源目标后，开源的种子就种在了每一位项目成员的心中，它是易观践行数据能力平民化的使命，也是所有人的共识和承诺。

要采用模块化的设计，这样才能便于开源后的协同开发；要选用开源的技术组件，这样才能便于开源后让更多的开发者参与进来；大道至简，一定要做到开箱即用，我们调度的名字就叫 EasyScheduler.....

就这样，伴随着每一位的手舞足蹈，热情澎湃和唇枪舌剑，2017 年 12 月在北京市朝阳区恒通商务园B12栋3层办公室里，拉开了 EasyScheduler 的序幕。

开源的种子虽已种下，但只有破土而出，才能扎根于大地。ASF 作为全球最大的开源基金会，一直致力于开源软件生态的营造，让软件技术能够在全球共享，这是ASF 无比耀眼的魅力所在。

我们要扎根 ASF，我们要进入到全球最大的开源组织，让我们的项目在全球共享，于是我们决定正式探索 Apache 开源孵化之路这是一个 0 到 1 的问题，这是一个需要拿到入场券资格的问题，那么如何才能够进入 Apache 呢？一个项目如果希望进入到 Apache 孵化器，至少需要 1 名 Champion 和 2 名 mentor。所以我们的第一个难题就是如何找到 champion 和mentor。

ASF 孵化器拥有导师 200 多位，然而当时活跃的中国导师不超过 5 位，ALC Beijing 也没有成立，我们只能四处询问，八方求援，经历了无数次的尝试，甚至出现了一丝丝的动摇，但是我们马上就想到团队每一个人的付出和努力、想到那些默默支持我们前行的用户、想到一开始就种在我们心中的开源之梦，我们坚信有信念就一定有远方，有梦想就一定有希望，我们坚信彩虹一定会出现，最终我们幸运地迎来了我们的 champion 和 mentor。

至今仍清晰记得初见吴晟老师的场景：吴晟老师用了将近一下午的时间给我们普及了 Apache 孵化器的一些标准和 Apache Way，我们也从最开始的喜悦兴奋变为了默默沉思。

第二个迎头重击就是 Apache 的 license 协议遵从，我们需要检查所有的依赖是否符合 license 许可，否则就需要修改，于是又经过了几个月的重构和升级。这里还有一个小插曲，我们在申请进入 Apache 孵化器过程当中，发现 Easy Scheduler 不是全球唯一的名字，于是又进行了投票最终选中了 DolphinScheduler。

所幸我们一直坚定着信念，天道酬勤，当美国时间 2019 年 8 月 29 号 DolphinScheduler 全票通过正式成为 Apache 孵化器项目的时候，每个人都洋溢着开心的笑容，但是我们又很快的冷静下来，真正的 Apache Way 也许才刚刚开始。

第一次的 Apache release，是孵化过程中很重要的一个里程碑。DS 用了4个月的时间发出了第一个 Apache release，一个很大的原因就是起初代码层面上关注较多，而Apache对于license和商标有着近乎严苛的要求，在 release 的时候会进行非常仔细地检查，字体的版权或者某个前端组件使用的 license 不合规范都会结束本次的发版投票。

Apache DolphinScheduler 已经切实帮助到了IBM、腾讯、中国平安、美团、360、招商银行、科大讯飞、联通、多点、芒果tv、雪球等众多用户落地实际应用场景，真正享受到数据价值。