4万字长文|华为突围ERP封锁全纪实
共 51782字,需浏览 104分钟
·
2024-07-02 08:00
本文详细介绍了华为突破美国制裁,更换自研ERP的震撼历程。
田涛 殷志峰 彭勇 | 作者
《质量为纲》| 来源
深圳的夏天来得很早,五月中旬,阳光就炙热起来了。从梅林关沿着梅观高速向北行驶5公里,有一处繁忙的出口,指示牌上标示:富士康向左,华为向右。从出口下高速,转入张衡路,是一条林荫大道,两边高大的凤凰木开着火红的花,一树树花团锦簇,在阳光的炙烤之下,似乎要燃烧起来。一侧的路上是去往富士康的川流不息的人群,穿着深蓝色制服的年轻人,三三两两,快步赶往工厂。另一侧的路上是通向华为坂田基地的蜿蜒车龙,汽车走走停停,驾驶员在停顿的几十秒时间里,还习惯性地刷着手机。
陶景文就被裹挟在车龙之中,脸上写满了疲惫。看到人行道上不断闪过的年轻的面庞,他不禁回想起20多年前的自己,那时他大学毕业不久,只身来到深圳,也是每天从租住的农民房走路到公司,在食堂买几个包子后,就一头扎进软件代码之中。同事都是年轻人,充满激情地开发新产品,一起熬夜加班,晚上在大排档吃个夜宵,再打上两局台球。现在想起来,那是多么简单而幸福啊。后来,他转向市场与销售工作,从中国到非洲,再到欧洲,十多年间跑遍了大半个地球。再次回到深圳时,他被任命为公司CIO(首席信息官),负责流程和IT(信息系统)建设。
CIO 的工作不好干。日本管理学家大前研一说过:“作为企业CIO,业务部门要什么你就做什么,这不是一个好CIO,早晚得下台;但业务部门要什么,CIO不能满足这些诉求,下台会更快。”这句话,让陶景文认识到CIO工作的价值与挑战,也领悟到IT和业务之间相爱相杀的缠斗关系,深感责任重大。尤其是在2019年5月16日,华为被美国商务部制裁,170多个关键IT系统都面临着中断风险,全球业务的正常运作受到威胁,他更是感到压力巨大。
“嘀嘀嘀……”一辆越野车从旁边插过来,想强行加塞。放在平时,他肯定会踩下刹车踏板,让它过去。但是今天,他没有给这个机会。他惦记着一个重要的会议,要见一位老朋友。
这位朋友是美国甲骨文公司(Oracle)的区域负责人,因为商业关系,陶景文与他结识多年。在华为被制裁之后,所有与华为有商业合作的美国公司都开始解读制裁令,并采取各种措施,以遵从美国政府的规定。作为华为 ERP(企业资源计划)系统的供应商,甲骨文公司也在评估实体清单的影响。从前期传递过来的消息来看,双方继续合作的可能性很小。今天,这位区域负责人将会给他一个正式的答复。
“陶总,我们和华为有着20多年良好的合作,从我们的意愿来讲,是非常希望能继续为华为服务的。”
陶景文知道接下来将是不好的消息,但还是抱着一线希望问:“贵公司是否已经向美国商务部申请许可了?”
“很遗憾,总部通知我们,停止所有与华为的合作。”
“那我们之前采购的硬件服务器,能不能按时交付?”
“非常抱歉,总部已经取消了这单采购合同。”
“在华为的30多位维护专家,还能工作多久?”
“作为朋友,我非常理解你。但没有办法,他们已经接到通知,马上就离场。”
……
送走这位负责人,会议室陷入了长时间的沉默。没有备件,没有服务,没有升级补丁,ERP系统很快就会像一台年久失修的老爷车,所有人都知道这意味着什么。ERP系统是大型企业必不可少的核心管理软件,其重要性堪比人的神经系统,如果ERP系统崩溃,华为在170多个国家和地区的业务运作就会停摆,企业管理也会倒退回手工作业时代,公司生存会受到严重威胁。
专家撤离得很快。当天下午,平时略显拥挤的办公区就变得空空荡荡,只剩下寥寥几位华为员工站在那里,不知所措。这些专家都是甲骨文公司在中国本地雇用的工程师,他们与华为IT人员一起保障着ERP软硬件系统的稳定运行,面对突如其来的变故,他们尽管内心极不情愿就此中断自己的职责,但是总部的指令必须遵从。
ERP系统的断供停服,如同奔腾汹涌的大渡河,将困难横亘在华为面前,历史上没有一家公司面对过这样的难题。
大渡河,因水流湍急,两岸陡峭,难以摆渡和架桥,自古被称为天堑。160多年前,石达开的队伍被阻拦在这里,最终全军覆没。80多年前,中央红军面对国民党军队的围追堵截,成功强渡大渡河,创造了战争史上的一个奇迹。
面对IT领域的“大渡河”,华为同样没有任何退路可走,由全球200多家子公司、20多万名员工组成的主力队伍,能不能像当年中央红军一样创造奇迹,突破生死封锁线?
华为被迫走上了突围之路,数千人的团队即将踏上一段艰苦的征程。在乌云密布的茫茫黑夜中,似乎看不到一丝光亮。
1 船和桥在哪里?
强渡大渡河,关键在于解决船和桥的问题。
2019年6月,陶景文团队在经过多轮讨论与分析后,向公司提出了两个并行计划:A计划,保障现有系统稳定运行,并尽可能延长其生命周期,为突破封锁赢得时间,由张国斌负责;B计划,为ERP系统寻找替代方案,找到船和桥,从根本上解除威胁,由常栋负责。
解决船和桥的问题,无非是两条路径,一是寻找国内厂家替代产品,二是自己开发。有关这两条路径的讨论与验证,前前后后持续了大半年的时间。
这两条路都很艰难,如果采用国产软件包替代,它能否平稳支持华为如此大体量且复杂的业务?如果自己研发ERP系统,那将是一个巨大的工程,从研发到替换,全世界都没有先例。
常栋派出一个团队,与国内ERP系统厂家紧锣密鼓地进行交流和测试、验证。由于华为全球业务场景过于复杂,国内厂家的软件包难以匹配,团队经初步评估和测试发现,如果采用国产软件包替代,则需要进行大量的定制化开发,其工作量和难度可能并不亚于公司自己开发。
所以说,国产替代也好,自研替代也好,实际上都需要华为来主导这个过程,都要自力更生。
但是,华为真的具备这个能力吗?
公司一位领导说:“如果有选择,我们最不愿意启动的就是ERP项目。当年仅仅是想更换 ERP供应商的提议,都被我否决了,更不要说自己开发了。”
一家大型企业的领导听说华为想把ERP系统换了,一连说了三四遍“不可能”。
公司内部一位专家有着20年ERP系统使用经验,听闻消息后大吃一惊:“这是真的吗?这怎么可能?领导们是疯了吗?哪来的勇气和自信?”
还有人质疑,以前我们只是ERP系统的使用者,相当于坐在大船上的乘客,现在要自己造一艘万吨巨轮,能行吗?
陶景文自己也没有信心:“要在不影响业务的情况下替换ERP系统,就像把人的神经系统抽出来,还要在这个人活着的时候把它连接回去,同时保证任何一个器官都不出问题,这是多么难的一件事。”
坐船变造船
ERP是什么?为什么这么重要?替换它为什么这么难?
为了便于读者理解ERP 的概念,我们先举一个例子。假如一位个体户经营一个煎饼铺子,需要管理鸡蛋、面粉、大葱等十几种食材,他通过眼看心算就能管得过来;假如他经营一家便利店,涉及几十、上百种商品的进、销、存和价格,那光靠他的脑袋就不行了,过去要用账簿和算盘,现在要用到电脑表格;假如他经营的是一家大型超市,涉及成千上万种商品的进、销、存,以及管理、会计,即便他拥有牛顿、爱因斯坦的大脑也算不过来,单纯的电脑表格也不够用了,这时就需要用到类似ERP的管理软件系统。
诺贝尔经济学奖获得者科斯提出,企业的本质就是一种资源配置的机制。ERP系统就是支撑企业资源配置的软件系统,中文全称为“企业资源计划”。 其雏形诞生于20世纪60年代至70年代,一些制造企业开始采用计算机辅助生产管理,提出了物料需求计划(MRP)系统,主要功能是管理物料需求与供应;80年代,升级为制造资源计划(MRPII)系统,这是一个将生产、财务、销售、采购等各子系统集成为一体化的系统;90年代初,高德纳咨询公司(Gartner)提出了ERP的管理思想。ERP系统综合了企业各方面的资源,支撑着公司人、财、物的资源配置,实现全员深度参与,成为现代企业经营管理必 不可少的软件系统。
而用于大型企业的高端ERP系统,更是被视为企业的神经系统,一旦中断,业务就会停摆。这些企业规模大、业务板块多、流程复杂,涉及多语言、多币种、多会计准则,ERP系统要支撑这个庞大系统的有效运作,适配不同 业务场景需要,其复杂度和难度可想而知。
ERP系统的本质,是先进企业管理经验的软件化沉淀。企业引入ERP系统,不仅仅是购买一套软件,更多的是引进软件所沉淀的流程经验和管理智慧。ERP系统还需要产业链上游的信息技术支撑,包括服务器、存储等先进硬件设备,也包括数据库、操作系统、开发工具等先进软件系统,而这些底 层技术大都为美国公司主导。如果软硬件捆绑形成事实标准,替换就会更加困难。
ERP软件需要长期积累与大量投入,可以说是时间与金钱的积分结果。一直以来,高端ERP系统都由甲骨文、思爱普(SAP)等欧美厂商主导,在中国市场,这两家公司的产品覆盖了各行业的龙头企业,和华为一样,这些大型企业也对欧美厂商形成了很强的依赖。国内厂家在20世纪90年代中期开始ERP系统开发,经过20多年的创新发展,取得了巨大的进步,但在高端ERP系统市场,仍然难以撼动欧美厂商的优势地位。
华为自1996年引入甲骨文公司的ERP系统,历经20多年的应用实施与升级优化,截至2019年,ERP系统数据积累到惊人的150T;全球500多万份合同履行、6万多个项目交付、7亿多行采购指令、24亿多行库存交易、33亿多行发货订单、17亿多行应付发票、15亿多行应收发票......这个系统承载了华为多年管理变革所沉淀下来的经验,支撑了全球业务运作。基于精细化业务管理要求,华为对ERP系统进行了大量定制开发,代码高达490万行。在ERP系统外围还有300多个作业系统,与ERP系统拉链式集成,频繁 进行数据交互,形成了一个错综复杂的庞大系统。
华为在IT建设上的策略是“用欧美砖修长城”,主要IT系统大都使用欧美厂商成熟的软件包,这对华为快速引进西方优秀管理经验、提升企业经营管理水平,起到了非常重要的支撑作用。但在这个策略之下,流程IT部门的定位更多是一个项目实施、资源管理和系统开发部门,而不是专业的产品研发部门,尤其缺乏大型商业软件的开发经验。
这一群过去习惯了坐大船、过大江的乘客,现在被迫要自己造船了。历史上没有哪家公司这样干过,连想都没有想过。
背水一战
那一天,
我不得已上路,
为不安分的心,
为自尊的生存,
为自我的证明。
在陶景文的脑海中,无数次响起刘欢演唱的这首《在路上》。在他看来,ERP系统替换之路的开端,就是不得已而上路。在各种意见和畏难情绪弥漫的时候,他需要在公司内部争取到足够的支持。
公司领导特意邀请他和几位骨干一起喝咖啡交流。
交流地点在长廊咖啡厅,它也是一个开放的图书馆,有50多米长,靠墙一侧有十多个大书架,摆放了各学科图书。在长廊入口,陶景文注意到有两本摊开的书。一本是《科学:无尽的前沿》,这是二战之后美国科学家范内瓦·布什提交给总统的一份科技政策报告,对美国日后几十年的科学研究与创新产生了极大的促进作用。另一本是罗伯特·卡帕的摄影作品集,卡帕是知名的战地记者,书中收录了他在欧洲各国、中国、越南等地拍摄的优秀作品。
“情况很不乐观,我们必须做一个选择。”陶景文说,“我见了几位国内ERP伙伴,尽管他们从来没有遇到过华为这么复杂的场景,但我们还是要团结伙伴一起来干,要为中国软件产业生态的发展架起一座桥。”
领导说:“在当前的形势下,我们首先要丢掉幻想。这件事情很难,但我支持你们做。公司已经决策,有一笔3.28亿美元的专项基金,你们可以拿去用。”
“感谢公司的支持,一些紧急的IT 系统替换工作已经启动了。”
“你们还有其他困难吗?”
“领导,现在公司冻结了社会招聘,ERP系统替换急需业界专业人才,我们能否申请100名高端人才的招聘名额?”
“那你们现在就写申请。”
陶景文从笔记本中撕下一张纸,现场写起了申请:“针对关键IT系统面临的严峻情况,特申请补充100名高端及特殊人才编制,用于打赢IT业务连续性及安全防护战役。请公司批准。”
领导当场签字:“同意引进300名业界的尖子、中子。”
公司领导给予的倾斜性支持,稳定了团队信心。
与ERP系统息息相关的业务部门也给予了坚定支持和承诺,让IT团队燃起了斗志。
供应团队是自研的坚定支持者。自2015年开始,供应链启动了数字化变革项目,对ERP部分外围系统进行了重构,取得了良好进展。他们认为,这些数字化系统就是摆脱ERP依赖的底气,现在要做的是进一步把ERP交易平台建设好。
财经团队同样坚决支持自研,因为没有其他更好的选择。过去10年,他们和多家国内厂商进行过交流,甚至试用过产品,但距离满足华为复杂的业务需求还有较大差距,他们不希望华为ERP系统退回到10年前的水平:“如果要在中国找一家满足华为业务需求的供应商,这家供应商可能只能是华为自己。”业务部门没有给自己留退路。他们急切的渴望和坚定的决心,让IT团队受到了极大的鼓舞。
“宁可向前一步死,绝不退后半步生。”面对前所未有的制裁与打击,华为上上下下已经形成共识,坚定信心要继续前进,求生存、谋发展。
对陶景文来讲,也到了下定决心、背水一战的时候。
但是,有一个担忧一直萦绕在他的脑海中:“现有ERP系统快到生命周期末期,没有保修、没有备件,这台‘老爷车’到底还能跑多久?”
他心里完全没底。如果现有系统用不了两个月就崩溃了,那任何未来的计划都没有意义。他凭直觉判断,要找到船和桥,至少要3年时间。他对A计划负责人张国斌说:“你们要和时间赛跑,尽可能延长老系统的生命周期。”
2 与时间赛跑
张国斌是一位资深的IT专家,2005年加入华为,之前曾在新加坡负责某国际物流公司的IT建设。他的团队要保障3000多个IT系统的稳定和安全,而ERP系统是排在第一位的。他非常了解原厂 ERP系统的情况,华为将其用到了极致,无论是功能、性能还是容量,系统基本处于满负荷状态,极易触发故障。
“我们是带着荣誉感和使命感来维护这套系统的,把它当作大熊猫一样悉心看护。”维护团队对原厂ERP系统有着一种又爱又恨的复杂情感,每一次升级、每一次优化、每一次账务月结,都如履薄冰。
ERP系统被断供停服之后,大家都很着急,怕系统突然崩溃。公司的要求是:哪怕是挖沟、建土围墙,也要把ERP系统先保护起来,不能让20多万名员工回到用算盘算账、用鸡毛信传递信息的时代。
除了系统本身可能出现故障,张国斌还有一个担心,就是来自外部的蓄意破坏。系统会不会被人为切断?或被黑客恶意攻破?他知道,从技术角度看,凡事皆有可能,不能有任何侥幸心理,IT系统维护也遵循墨菲定律:如果事情有变坏的可能,不管这种可能性有多小,它都会发生。
为了防止人为破坏,技术团队第一时间采取了应急措施:断网。即通过软件防护,关闭外网接口;在内网构建页面保护罩,缩小暴露面,保护系统免受攻击。
要让这台没有维修保养的“老爷车”继续跑下去,面临着三大挑战。第一是硬件服务器即将到生命周期末期,无维保、无备件,硬件极易损坏;第二是软件补丁不可获得,也没有专家支持,出现问题难以修复;第三是安全漏洞与黑客攻击风险。
张国斌优先要解决的问题,是组建系统维护团队。原厂专家撤离后,华为除了集中自有维护人员,也紧急在社会上招聘业界专家,第一批就招到多位熟悉原厂ERP系统的专家,解了燃眉之急。这个团队全天候监控,主动运维,保障了系统暂时平稳运行。
技术团队联合公司网络安全部门,在很短的时间内构建了一套有五层围栏的保护罩,包括防止用户账号被盗用的“身份围栏”,防止网络渗透的“网络围栏”,防止主机软件漏洞入侵的“主机围栏”,防止ERP系统原生漏洞入侵的“应用围栏”,防止数据删除或篡改的“数据围栏”。
他们还建立了同城双活、异地容灾、三重备份等机制,保障了老ERP系统的极限生存,即在发生数据删掉、软件包甚至备份库被破坏的情况下,业务数据仍然能够恢复。由于系统存储容量达到极限,为了给“老爷车”减负,团队将一些历史文档和旧数据进行归档,给生产环境留下了更多空间。同时向公司建议,进行合同关闭清理、清除历史数据,力求把系统总容量使用占比控制在65%的安全线以下。
经过张国斌团队的努力,A 计划取得了良好的进展。2019年11月的一个夜晚,他向陶景文报告:“现有系统的稳定性和安全性都得到 了有效防护,我们判断,这台‘老爷车’至少可以再跑两年。”
大家都松了一口气。
夜晚的园区灯火通明,后勤部门在办公楼旁边的草坪上搭起了“星光夜市”,他们支起帐篷,摆上户外桌椅,为大家提供免费的夜宵。忙碌了一天的员工三两成群,聚在一起喝咖啡,享用点心和水果。
一旁的步道上,喜欢夜跑的人开始行动了,张国斌也在其中。从他办公的C区跑到A区,一个来回是两公里,晚上只要有空,他都会坚持跑两个来回。跑步的同事不少,在一些有车辆出入的路口,公司贴上了温馨提示:“星光不问赶路人,夜跑同学请留心。”张国斌留意到路边新建了一排充电桩,好多员工的新能源车正在这里充电,听说还是免费的。他戴着蓝牙耳机,听着音乐,穿过园区小树林,心想,可真是一条“充电”的好路线。
张国斌并不是一个特别爱运动的人,他跑得很慢,或者说只是比走路要稍快一点,30分钟跑完两个来回,已是大汗淋漓。和其他夜跑同事不同的是,他不仅是为了健身而跑,更是为了生存而跑。因为他患有心血管疾病,那段时期越发严重,医生嘱咐他一定要减肥,否则可能会有更坏的情况发生。于是,在给老ERP系统减负载的同时,他也给自己制订了目标:每个月必须减重一公斤。最终,他成功减重十多公斤。
他说,那段时期,他和公司的目标是完全一致的,就是要活下来。好消息是,两者都达成了目标。
大机切换
为了进一步延长现有系统的生命周期,A计划中还有一个举措:把原厂的硬件服务器换掉。
替换硬件服务器的任务由周启涛主导。他是资深ERP专家,在读研究生期间就学习ERP相关理论,毕业后在业界做了4年ERP系统实施与维护,之后在华为又做了10年维护工作,对原厂ERP系统有着深刻的理解。
华为ERP系统数据量大,对硬件性能要求非常高,只有原厂的软硬件一体的机器才能运转起来。一体机有着炫酷的设计,外表是银灰色的工业化风格,镂空的前柜门上写着一个大大的“X”,机器有2米多高,重量接近3吨,因为体型庞大,所以俗称“大机”。
大机安装在华为的数据中心内,这是一座有着严密防护措施的现代化建筑,确保机器稳定运行和数据安全。包括周启涛在内的所有工作人员或其他来访者要进入机房,都要经过数道门禁认证,签署承诺书。在经过堪比机场安检的程序后,再换上专用反光背心,还要把手机所有摄像头用贴纸封上。踏入机房,首先会踩到一块黏糊糊的胶垫,以粘走鞋底的灰尘。接下来便会看到一排排比普通人高出一头的服务器,64台一组,排列得整整齐齐,随着指示灯的闪烁和散热风扇的嗡鸣声,这些机器为华为全球的IT系统提供着算力与存储空间。
每次进入机房,周启涛都有一种强烈的秩序感,空间的规划、机器的摆放、线束的布置以及温度的控制,一切都井井有条。但这种秩序只是一种肉眼可见的表象,在纳米尺度的器件之中,在由代码构成的虚拟空间里,隐藏着各种看不见的危机,随时都有可能爆发。当时正在使用的这组性能强悍的原厂大机,在ERP系统庞大的数据负载之下,也显得非常脆弱。自2017年春节投入使用以来,它连续跑了1000多天,从未休息过。这些年来,它支撑着ERP系统运行,经历过无数次数据洪峰,周启涛团队小心翼翼地照看着它。
由于被制裁,华为无法购买新
的大机,现有大机也得不到原厂维保,出现重大故障的概率越来越高。周启涛一直有个大胆的想法,就是用华为自研的服务器替换掉原厂大机。但自研服务器一直是作为备用机运行的,从未正式启用。如果直接替换,服务器CPU(中央处理器)使用率将达到100%,系统可能会立刻崩溃。
面对这个瓶颈,从业界招聘来的技术专家李凌云通过性能优化攻关,将原厂大机的数据库负载量降低了40%,这使得大机切换的设想成为可能。
自研服务器即将“转正”,这是一次前所未有的尝试。
2020年8月8日,夜暗如水,办公楼灯火通明,现场近50人,远程200多人,等待大机切换时刻的到来。
深夜1点,作为现场总指挥,周启涛一声令下:“启动大机切换!”
会议室里异常安静,只听见敲击键盘的声音,大家的关注点都集中到了切换大屏。
一切都在有序地进行:停应用,停服务,停大机数据库,启动自研服 务器。
“服务器启动成功!”
“外围应用连接成功!”
“并发管理启动正常!”
......
工作组成员逐个检查验证任务,外围系统验证也同步启动。
深夜2 点,正当大家准备松一口气时,不料各个验证组陆续爆发问题,
让技术保障团队应接不暇,问题迟迟无法解决,现场气氛顿时紧张起来。
数据库管理员贝承发紧急进行检查,发现有部分服务注册不上,技术人员尝试各种方法后都不奏效。
深夜 2 点 30 分,到了决策点,运维经理请示周启涛:“并发管理器和服务不可用,存在高风险,如果分析和恢复时间过长,将会造成大范围的周边系统不可用,导致业务停顿。原因还需定位,但是时间太紧,请决策是否回退。”
维护团队近一年的努力,一幕幕在周启涛眼前闪过,他实在不想就此放弃,还想给技术团队争取一点时间。他看了看表说:“还有时间,大家放松些,继续定位问题。”
周启涛的镇定给团队带来了信心。
切换团队开始快速排查各种可能。难道域名解析异常了?但域名、网络都是正常的,该重启的都重启过了。
贝承发突然想到,5年前他遇到过的一个类似问题:数据库配置与ERP应用配置冲突。这是一个很隐蔽的软件缺陷。
随着一串串指令的输入,系统成功接通,办公室里一片欢腾。接下来,团队齐心协力,完成 ERP 系统及所有外部应用的验证,系统运行平稳,无任何异常。
大机切换成功完成!
周启涛看着这个相识多年的伙伴被替代,心中竟然有些不舍。不过,这台机器还不会下岗,它将承担新的使命—作为自研服务器的备用机。而周启涛也有了新的使命:从老ERP系统的维护者,变成新ERP系统的建设者。在这一刻,人和机器都在重新定义自身的价值。
周启涛抚摸着银灰色的金属机框,自言自语道:“这真是一台好机器。”大机的一排指示灯在闪烁,仿佛在回应他说:“你也是一个好人。”
“如果机器拥有意识,你会甘愿做一个‘备胎’吗?”
“我的价值,是使用我的人来评价的。”
“那么,老伙计,再见了。”
“再见了,我会站好最后一班岗的。”
经过一年多的努力,“老爷车”换了新底盘,焕发出勃勃生机,还可以持续跑下去。张国斌团队赢得了这场生命与时间的赛跑,为接下来“渡河”行动暂时解除了后顾之忧,提供了 5 年左右的时间窗口。
陶景文心里有底了,终于可以撸起袖子,放手一搏了。
3 大胆的计划
2019 年 12 月 20 日,深圳,多云转晴。
B 计划负责人常栋在公司食堂吃完早餐,正绕着园区中的天鹅湖散步。所谓天鹅湖,其实就是一个浅浅的人工湖,因多年前引进了两只黑天鹅而得名,现在它们已经繁衍好几代了。看着红喙黑羽、优雅美丽的黑天鹅一家在温暖的阳光中悠闲地划着水,常栋很是感慨。黑天鹅是原产于澳大利亚的珍贵品种,17 世纪以后才被世人知晓,人们常用“黑天鹅”事件来形容那些不可预测、小概率而又影响巨大的事情。过去半年多来,常栋所负责的 IT 应用领域发生了太多的“黑天鹅”事件,多家西方公司中断升级、停止设备供应、撤走维护专家,在他 20 年的工作经历中,从未遇到也没有想到会发生这样的极端情况,这些难以预测、不同寻常的事件,完全打乱了原有的 IT 工作规划,给公司业务运作带来了致命的威胁。
在他负责的B 计划中,面临着多座难以逾越的大山:ERP、PDM(产品数据管理)、服务器、存储、数据库、操作系统等。每一座大山的背后,都站着一个或几个美国 IT 巨头。华为曾经站在这些 IT 巨人的肩膀上,快速提升了全球化经营与管理能力。现在,被迫走下巨人的肩膀,如何替换掉这些产品,还充满了迷雾。
今天,会有一个重要的决策会议,他将向华为变革指导委员会汇报ERP 替换的立项申请,如果获得通过,一场持续几年的大战即将拉开帷幕。
“概率,概率,ERP替换成功的概率能有多少?”他在内心问自己。
“或许能有50%的成功率,值得一搏。”一个声音说。
“这件事情从来没有人干过,成功的概率不会超过10%。”另一个声音反对道。
理智告诉他,ERP替换这条路,不管朝哪个方向走,成功都将是一个小概率事件。但凡事皆有可能,现在已经没有退路了,只要有 1% 的可能,就要做 100% 的努力。这时,湖中的黑天鹅发出嘎嘎嘎的叫声,似乎在对他说:“事在人为,只要下定决心,为什么就不能逆向创造一个‘黑天鹅’事件呢?”
决策会议在培训中心召开,这是一处被葱郁的树木和竹林环绕的区域,显得典雅而幽静。与会人员都在认真聆听常栋的每一句话,并不时打断提问。这个决策很重要,它关系到未来几年数亿美元和数千人力的投入,更关系到公司全球业务的连续性。
常栋是一位专家型主管,任何时候都充满干劲。他在华为流程IT 部门工作了 20 年,负责过架构规划、应用开发与实施等各环节工作,对 ERP 系统有着深入的理解。他提交的立项申请,实际上也就是“强渡大渡河”的实施计划。在这个计划里,他提出了两个关键步骤:第一步“解耦”,把原厂 ERP 系统从几百个业务系统中剥离出来,理顺各种接口关系;第二步“换芯”,开发新的 ERP 系统核心模块,并在全球 200 多家子公司里替换掉原系统。
这两步看起来简单,实施起来却异常复杂。其中最核心的约束条件是:在ERP 系统的替换过程中,要保证全球业务运作不受影响,保证数以亿计的数据不能出错。这相当于在飞行中换发动机,在业界完全没有先例。计划中需要用到的许多关键技术和能力,现在还很不成熟,甚至还没有被开发出来。
这真是一个大胆的计划!尽管大家还有很多的顾虑,但委员会经过集体表决,最终同意ERP 替换立项,并明确了总体目标:面向未来打造云化、服务化的泛 ERP 架构,用 3 年时间完成新 ERP 主体建设,5 年完成覆盖。
解开一团乱麻
从规划到实施是一个艰难的过程,第一步“解耦”工作就面临极大挑战。
经过前期摸底,ERP 系统和业务系统有着极其复杂的关联,共计有 3950个业务连接点,2.7 万多个数据进出口,关系盘根错节,犹如一团乱麻,老系统不解开,新系统就无法启动重构。这个难题,让总架构师卢强夜不能寐。
卢强有着 20 年数字化转型经验,经历了多个变革项目的洗礼,他经验丰富、视野宽广,懂业务、懂技术,是一位儒雅的学术型主管。他一直在思考,如何从一团乱麻中理清 ERP 系统的边界,能否找到一个简单易懂的模型,让所有人都能够理解、达成共识,并以这个模型为基础进行顶层设计。
一天晚上,在项目例会结束之后,他独自坐在会议室,又陷入了沉思。
这是一间典型的华为会议室,前方是一块大型液晶屏,两侧各有两块智慧屏,各种音频、多媒体、网络和智能化设备一应俱全,能够支持全球上百人开视频会议和进行研讨。在几盏明亮的水晶吊灯下,是一张十多米的长条实木会议桌,正对桌子的墙壁上,挂着一个大石英钟。
“嘀嗒、嘀嗒、嘀嗒”,时间一秒一秒流逝,夜深人静,石英钟的嘀嗒声格外清晰。卢强盯着表盘上的罗马数字和交错的指针,想起了当年在大学物理课堂上,老师讲相对论,说时间本质上是不存在的,时间只是人类的幻觉。是啊,时、分、秒,乃至日、月、年,都是基于地球、月球和太阳之间空间运动关系的转换,是人类定义出来的概念。因为有了精确的钟表,无形的时间才得以直观地呈现给每个人,大规模的社会分工与协作也才成为可能。但与此同时,人们的各种活动也被时间所驱动、所约束,被分割成一个个的碎片。比如说,接到一个电话,你必须在几秒之内进行思考并给予回应;回一个信息,你有几分钟的时间来考虑措辞;开一次会,差不多一两个小时,你可以接收和处理较多的信息;而对于一些重要且复杂的事情,你必须以日、月甚至年为单位来应对。
时间,时间,时间,普通而又神秘的时间,这个由人类创造出来又束缚住人的概念,对人也好,对万事万物也好,都是一个天然的分割模型。与 ERP 相关的数以百计的系统,是不是同样也可以从时间维度进行分割?有一些系统像秒针一样,实时刷新数据;有一些系统像时针一样,可以较长时间不动;还有一些系统介于二者之间,就像分针一样。
过一次思想实验,卢强提出了“秒针、分针、时针”的模型,以此来界定 ERP 系统的边界,开展顶层设计工作。
“秒针”指实时交互数据的业务作业系统,包括供应、采购、销售、财经等 200 多个自研 IT 应用,它们与 ERP 系统相互连接,每一单采购合同的履行、每一个产品的完工下线、每一次库存的进出货,都要在 ERP 系统中进行交易结果的记录;“时针”指定期披露的报告系统,这部分数据应对的是月报、季报、年报等财务报告系统,并不需要实时变动,只有在特定时间点需要提取;而介于二者之间的“分针”,就是 ERP 核心系统,负责从交易到核算的处理,存放的是企业经营管理最核心的主干数据,要准确地和“秒针”“时针”进行数据交互,以确保业务信息与财务信息的一致。
在老 ERP 系统中,“秒针”“分针”“时针”是纠缠在一起的,华为要构建新的 ERP 系统,首先要顺着这个线头,把业务系统剥离开,即解耦。解耦过程就像庖丁解牛,庄子笔下的庖丁从刚刚入行时“所见无非牛者”,到游刃有余时“未尝见全牛也”,是因为他已完全洞悉了牛的身体结构。在卢强的脑海中,他已经洞穿了 ERP 系统这条“整牛”内部的经络,接下来的解耦工作也就游刃有余了。
经过项目组几个月的努力,“秒针”系统中,3950 个集成点减少了 70%。以上,同时 490 万行定制代码精简了一半;“时针”系统中,7 组报告用表(每组共 1198 张表)合并为了 1 组。被解耦的部分回归各业务领域,由业务各自管理,ERP 系统成功实现了瘦身。
而 ERP 系统核心部分的“分针”,由于各模块间耦合性很强,专家组在进一步的“换芯”方式上发生了激烈的争论,最终达成一致,决定以法人子公司维度进行“换芯”,并以此为基础设计出新系统上线的切换方案。
一团乱麻终于解开了! 20 多年来,华为第一次厘清了 ERP 系统的边界,第一次把这块“欧美砖”抽了出来,这让大家看到了前方的曙光。
“换芯”之路
但是,针对第二步“换芯”的设计,比想象的还要困难。现有项目成员去都是 ERP 系统的使用者,熟悉原厂 ERP 架构,最容易想到的方案就是参照原厂系统“照葫芦画瓢”。但原厂 ERP 系统使用的是软硬件一体机的设计,其数据库是全球排名第一的产品,性能强悍,单一数据库可支撑 170T 数据量,而华为受到制裁限制,能够获得的开源数据库只能支撑 4T 数据量,与原厂有几十倍的差距,无法按软硬件一体式的方式来进行设计。
也就是说,“原样照搬”这条路走不通。“换芯”方向陷入迷茫。
2020年除夕前一天,陶景文召集了一次茶话会,专门讨论 ERP 系统“换芯”的方向。
一位资深专家谈起公司过去进行 IT 建设时,过于强调“用欧美砖修长城”,导致对国外产品的严重依赖,而且使流程 IT 部门在软件开发能力上的储备严重不足。
“我们不能用今天的变量来谈论过去的事情,那个时代华为采用软件包驱动是最佳选择,软件包承载了业界最佳实践,即使到今天,如果有合适的可用软件包,公司仍然坚持与伙伴开放合作的态度。”陶景文说,“公司是希望 IT 人员聚焦‘修好长城’,而不是聚焦‘造砖’。我们需要思考的是,为什么这些砖一块块堆叠混乱,别人拿走一块砖头,整个长城就要倒了?这对未来我们在架构上、技术上有什么启发?”
会议达成了第一个共识:不要抱怨过去,要面向未来。
接下来又有人提议,以当前团队的能力,在 ERP 替换上,应该以“逃生”为主,采取“保守治疗”,慎用新技术和新方案。
陶景文不同意这种看法,他说:“ERP 系统不是一个新鲜事物,本质是工业化时代的一种计划管理系统,其精神内核是工业文明。最近10年,智能化、数字化转型在全世界已呈燎原之势,但传统的 ERP 系统还没有进行革命性的演进。华为要替换掉工业时代的成熟软件产品,是因为时代环境把我们逼上了梁山,但是站在另外一个角度上看,时代也赋予我们创新和超越的机遇。”
他提议,项目组要在未来 3 年内,站在数字化、智能化时代的前沿,重新定义 ERP,而非照搬西方国家厂家的产品。ERP 项目的愿景,是要面向未来打造一个真正云化、服务化、自主可控的核心商业系统!
原样照搬只能永远落后,有样学样的结果很可能是像邯郸学步一样,最后连自己怎么走路都不会了。重新定义 ERP,是一条激荡人心的路,也可能唯一可行的路。
“万物皆有裂缝,那是光照进来的地方!”(There is a crack in everything, that’s how the light gets in.)莱昂纳德·科恩的这句歌词,就是这一刻的真实写照。常栋看到了 B 计划的曙光。
项目组决定,在基于华为能够获得的软硬件产品基础之上,打破原厂 ERP 架构的思维惯性,大胆应用云原生、元数据多租、实时智能等新技术,通过系统工程创新,用“三流器件”打造一流产品,不仅实现“逃生”的目 标,还要在产品性能上超越原厂 ERP 系统。
这是一个宏伟的愿景。项目组给华为未来的 ERP 系统取了一个响亮的名字:MetaERP。这个 ERP 将采用元数据(MetaData)驱动的技术架构,大幅提高用户需求定义和灵活编排的响应效率;同时,“meta”直译为“元”,是初始的、为首的、基础性的意思,也包含超越的含义,这也意味着,MetaERP将是对传统 ERP 的一次超越。
卢强带领架构师团队开启了顶层设计的探索,比如,采取微服务和分布式云化的整体架构,借鉴“书同文,车同轨”的思想统一数据标准,采取 “总体控制”和“业务流”的设计,保障业务与财务数据的一致。顶层设计的每一项策略和原则,很多时候都是在各种困难和限制条件约束之下的无奈选择,也是前人没有做过的选择,但专家团队通过系统性思考,大胆采用新的设计思想,这些被逼无奈的选择往往又被变成最佳选择。
为了验证这些设想的可行性,项目组决定,先以一家规模中等的子公司作为标靶,开发出一个轻量级的 ERP 系统,率先进行“换芯”验证,“强渡”成功后,再逐步扩展到全球其他区域。
4 强渡
华为马来西亚代表处位于马来西亚首都吉隆坡的市中心,这里有高耸入云的地标双子塔,有绿草如茵的独立广场,也有充满烟火气的美食街。这里业务发展迅速,差旅便利,也是华为亚太区总部、账务共享中心的所在地。按照ERP 项目计划,ERP 替换的首场“强渡”战役将在这里打响。
在马来西亚的首场“强渡”是一项协同作战任务,主要工作大都在网络空间完成,吉隆坡、深圳、成都、西安等地的项目成员将用一年的时间来验证和试点 MetaERP。切换时间定于 2021 年年中。
号角吹响,倒计时开始,项目组开始紧急动员,从全球各地调集人手,组建起一支支攻坚队伍。
紧急动员
侯军是成都账务共享中心的一名会计,他在华为财务的不同岗位已经工作了十多年,先后在深圳、阿根廷工作,如今回到成都,这里的生活节奏让他很是惬意。他以为自己会继续这样下去,在天府之国过着波澜不惊的生活。
深秋的一个午后,主管飞哥和他的一次谈话,打破了这份安逸和宁静。
“机关有个项目需要你出差支持一下。”
“具体做什么呢?多长时间?”
“我也不是很清楚,你去了就知道了。”
“‘猴’哥,你这是要去做秘密工作了。”旁边的同事笑嘻嘻地对他说。
从成都飞往深圳的途中天气很好,他透过舷窗看到蜿蜒的河流、连绵的群山以及一条条高速公路交织而成的优美线条,猜想着此行的种种可能,但一直没有头绪。
刚到深圳,侯军就被叫到一个封闭会议室。满满一屋子人,他只和其中一位同事打过照面。双方眼神一交会,立即明白,两人都不知道接下来要干什么。会议一开始,领导就强调保密原则,并给每人发了一份文件,要求大家现场签订保密协议,侯军脑海中立即浮现出电视剧中研发“两弹一星”的场景。
就这样,他开始了神秘的 3 年 ERP 之旅。
像侯军一样,数以万计的华为员工为保障业务连续,已经习惯了被拉进各种紧急项目,一种在无形中弥漫的危机感促使大家不问缘由、不讲条件地努力工作。那段时间,华为内部到处都贴着一张“烂飞机”照片,这是二战中苏军的一架伊尔-2飞机,被打得像筛子一样仍在安全飞行。这张照片激励着大家努力“补洞”,ERP系统就是这架“烂飞机”上的一个“大洞”。
陈薇林是一个不甘于现状、喜欢挑战的人。制造项目接口人找他沟通,问他是否愿意加入ERP项目,至于参加项目做什么,暂时不能透露。联想到当时的外部环境,他大概猜到了要做什么,义无反顾地加入了团队。
一天下午,终端的王如刚突然接到主管的电话:“如刚,有个重要的保密项目需要人牵头,这个项目要求很高,我们评估你最适合,你有没有兴趣?”王如刚二话没说,直接应允下来。到了项目组,他才知道自己要负责所有终端相关的 ERP 系统测试。
姚娇龙加入项目组的第一感受是“华为太疯狂了,太敢了”,她突然觉得自己站在了时代的风口浪尖,内心非常激动。但她很自信:“我们这段工作的小浪花,注定要被写入华为公司甚至中国软件产业的发展史之中。”
唐志高是一个在技术上很有追求的 IT 男,他认为,经过多年积累,华为已经具备了足够的能力。他在心里暗暗憋了一股劲儿:我们不比任何人差,要做就做一个超越原有系统的软件。他在办公室里大喊:“程序员的春天来了!”
……
一场大规模的集结和动员,就这样悄悄地展开了。
财经、供应链、采购等业务部门都在尽最大努力调配资源,将资源优先投入 ERP 项目,大量经验丰富的业务专家加入了进来。
多家与华为长期合作的咨询公司,在短时间内提供了上千份简历,协助筛选了近 20 名来自世界各地的顶级顾问加入项目组。
在软件上和我们长期合作的伙伴公司,也通过各种渠道挖掘资源,召回有 ERP 项目经验的老员工,将优质资源向 ERP 项目倾斜。
“若有战,召必回。”退休员工闻讯,也纷纷表示愿意贡献力量,十多位退休员工返回公司,以独立顾问身份加入了项目组。
各团队加大了专业人员招聘。流程 IT 人力资源部组建了一支特别招聘队伍,通过各种渠道,累计浏览了 5 万多份简历,联系了 1 万多人,经过面谈交流,前前后后共吸引了 300 多名优秀人才入职。 短短几个月时间,一支上千人的团队集结到位。
这是一次紧急动员,也是一次自发的动员。华为过去很多重要的变革项目,大都需要在公司层面大张旗鼓地宣传动员,项目经理还得拿着“令箭”,请求业务部门投入资源,而 ERP 项目可能是唯一一个不需要动员的变革项目。
危机下的恐惧感和紧迫感,是变革项目最主要的驱动因素。ERP 项目是一个自带危机感的项目,就像华为其他很多业务连续性项目一样,在美国制裁令被签署的那一刻,主要的动员工作其实就已经完成了。尤其当项目目标与个人价值能够无缝匹配时,这种危机感就自动转换为使命感,即使是一群平凡的人,也能迸发出巨大的热情与创造力。
大兵团作战
ERP项目共设立 12 个子项目组,投入 1800 人,高峰期有 3000 多人,管理体系庞大、运作复杂。由于项目工作具有临时性、跨领域等特点,如何让这个超大团队有序运作、不打乱仗,朝着共同的目标前进呢?
常栋有丰富的变革项目管理经验,作为 ERP 项目一线作战“司令员”,他知道,变革项目是一把手工程,领导力是变革的第一生产力,当务之急是把项指挥系统建立起来。在华为,一般变革项目组都会单独成立一个领导组,负责重大事项决策。常栋一盘点,发现 ERP 牵涉面太广,基本涵盖了公司各大领域,这个领导组不好组建。
“那你干脆不要搞领导组了,就把 ESC(变革指导委员会)作为项目领导组,我们来给你站台。”ESC 主任对他说,“这是 ESC 管 IFS(集成财经服务)最重要的项目,如果说未来几年我们只做一个变革项目,那就是 ERP 替换。”
有了领导层的坚定支持,常栋和 ERP 项目经理张晓燕设计了大兵团作战的三层指挥系统:第一层是 ESC 会议层,负责项目方向和重大事项决策,并构建 ERP 项目领导力,凝聚共识;第二层是项目经理会议层,负责方案、范围及资源投入决策,推动项目关键问题解决及风险决策;第三层是项目交付例会层,负责管理项目落地执行,通过纵向产品管理和横向业务流管理,做好“整车”拼装。
这是一个高效的扁平化指挥系统,实现了项目从战略到战术的执行贯通,保障了项目团队令行禁止、使命必达。
随着深入项目,遭遇各种难题,项目组成员最初的热情开始消退,信心不足的问题开始浮现。上千人的组织运作,如何让上下形成共识,统一思想,凝聚团队力量?常栋认识到,各模块产品经理是团队执行力的关键,把这一层骨干的思想做通,消除他们的畏难情绪,相应队伍的执行力就会大幅提升。他决定要不断地给这一层主管强化项目愿景。项目组开展了 20 多场次的研讨会、动员会,不断凝聚共识,强化信心。
2020年年底,首场“强渡”的各项准备工作正在紧锣密鼓地推进,一场大规模的“ERP 项目启航大会”召开了。会场设在培训中心主楼,在能容纳 200 多人的阶梯教室里,红底白字的大幅标语格外醒目—“不相信有完成 不了的任务,不相信有克服不了的困难”。这次动员会有一个宣誓环节,因此,这些平日里不修边幅的 IT 人都穿上了西装,打上了领带,显得格外精神。有人在座位上不停地转动脖颈,拉扯衬衣,显然,他们还没有习惯穿正装。
“ERP替换项目的来源是为了活下去,但我们绝不仅仅是为了活下去,而是要面向未来,打造全球最具竞争力的云原生企业管理平台。”常栋的讲话很有鼓动性,“最理解华为 ERP 20 年建设历程与发展脉络的就是我们这群人, ERP 项目相当于华为的‘两弹一星’项目,我们不能把这个大难题留给下一IT 人,而是要让他们从一开始就能够甩开桎梏,昂首阔步向前走。”
“ERP替换不是逃生,而是新生!”这句掷地有声的话,获得了全场与会者的热烈掌声。大家起立宣誓:“作为 ERP 变革项目组的成员,我们深刻理解项目的愿景和使命,我们承诺,保证在 2021 年完成马来西亚子公司的切换验证。除了胜利,我们无路可走,请项目组全体人员监督。”
最后是全体大合唱:“团结就是力量,团结就是力量,这力量是铁,这力量是钢……”
每一次会议都像是一次“充电”,鼓舞人心的演讲、热烈的讨论,激情与热忱在会场中弥漫,团队成员的畏难情绪逐渐消散。
在大兵团的集结中,每个人都是变革的践行者,都在积蓄变革的力量。他们争执着不完美的方案,精细打磨着每一段代码;他们参加一个个深夜项 目紧急会议,讨论着项目关键节点;他们分工不同,却从不计较是台前还是幕后。会议室的灯光深夜熄灭后,空气中还留存着刚刚激烈讨论的余温。
不完美的方案
马来西亚子公司 MetaERP 涉及数十个产品模块的开发,各团队通过对老 ERP 系统的解耦,吃透原理,开始构建新产品。承担产品开发任务的是一支支年轻的初创队伍,他们没有丰富的开发经验,却无所畏惧。他们通过开发产品和各种测试,在极短的时间内构建出了新系统的雏形。
就在各产品模块开发同步推进时,2021 年 1 月,财经应付模块却传来了坏消息—上线测试遭遇失败,有可能拖延整体进度。产品团队迎来了至暗时刻。
造成测试失败的原因是方案设计存在缺陷,要修复这个缺陷,项目周期可能需要额外增加 3 个月甚至更长的时间。
压力很快传递到了两位女将身上。一位是 ERP 财经领域负责人刘润玲,另一位是 ERP 项目经理张晓燕。
刘润玲曾做过多个 IT 产品的架构师,拥有丰富的理论与实践经验,也是一位追求完美的方案设计师。她之所以加入华为,就是因为心中有一个铸造殿堂级产品的架构之梦。在她的领导下,财经 IT 团队总是能够从用户角度出发,用相对完美的方案,实现业务与 IT 的共赢。
但是,这一次她遇到了挑战。
应付模块涉及资金安全,本着谨慎为上的原则,过去 10 年都没有做架构调整,很多新需求是通过不断打补丁来解决的,因此财经领域希望借此次机会,进行一次大的架构调整,一次性解决历史问题。刘润玲也支持这个完美架构,但由于时间紧迫,方案设计存在严重缺陷,无法通过测试。
现在,有两种选择:一是继续修改完美方案,代价是延长 MetaERP 整体上线时间;二是采取基于原有架构的妥协方案,先保障 MetaERP 在马来西亚子公司上线,以后再解决历史问题。
刘润玲站在业务角度,坚持完美方案。她初步判断,妥协方案不足以支持系统上线。
张晓燕是一位理性主义者,作为 ERP 项目经理,她的压力来自项目整体进度和风险管控。她认为,保障切换时间是第一要务,有多种方法可以使 IT系统跑起来,哪怕这是一个不完美的方案。
两位女将各执一词,谁也说服不了谁。于是,她们决定各自寻求同盟军。刘润玲找到总体组专家沟通,他们也认同新的架构方案,站在了她的一边。张晓燕去找财经领域主管沟通,优先保障项目按时上线,也得到了对方的理解。
最后的决策时刻到了。
刘润玲再次提出她的完美方案,张晓燕再次反对:“大家不要把产品架构 和功能实现的权重看得过高,ERP 是一个系统工程,产品建设只占三分之一,数据割接和验证同样重要。我们要综合考虑项目进度。”
决策会开了将近三个小时,刘润玲三次哭着走出会议室,哭完了再回来争论。最终,她妥协了:“为了项目的整体进展,我服从集体决策,但是我保留自己的专业判断。”
刘润玲哭红的眼睛里带着委屈,但语气坚定。在集体利益和个人判断之间,她画了一条线,接受妥协方案的同时,保留了内心的完美追求。
刘润玲是一位职业经理人,知道自己必须尽快转换角色,保证项目成功。应付模块的七八十名开发人员在武汉办公,有些还是合作伙伴员工,上线测失败后,大家都觉得拖了项目后腿,无形的压力笼罩着团队。刘润玲变成了妥协方案的布道者,不仅给开发团队宣讲方案,还要做大家的思想工作。
为了给团队打气,刘润玲和常栋一起到武汉和大家沟通。晚上聚餐,到了 19 点半,饭桌上的大部分人都戴上耳机,开始开例会,盘点当天的测试问题单。常栋站起来说:“弟兄们,大家能不能先停一分钟,先一起敬杯酒。实在脱不开身的,就赶紧吃饱回去加班吧。”
回到深圳,刘润玲就大病一场。
应付模块的测试投入了 160 多人,使用了 5 万多个测试用例,大家都在争分夺秒,要把耽误的时间赶回来。
4月 14 日,第一封用户验收测试日报显示,测试通过率仅 19%。
5月 23 日,用户验收测试待 IT 解决问题数超过 300 个。
团队承受着巨大的压力和矛盾的心理。一方面为了质量达标,希望做更多更细致的测试,另一方面是每天都在增长的遗留问题数。
“大家跟我走,一起去武汉现场,将问题攻关清零。绝不能拖项目后腿!”刚接管应付模块开发的产品经理梁立平带队前往中国光谷支援,每天奋战到凌晨两三点。光谷位置比较偏,有人家养鸡,大家常常是在鸡鸣声中进入梦乡。
刘润玲每天都在关注高水位的问题数量,她把自己的办公位搬到了应付项目组,与团队一起熬夜测试。她没有责怪团队,反而组织部门活动,强制大家休息调整,让大家紧绷的神经得到放松,舒缓了长久以来的疲惫。
张晓燕也搬过来帮忙,她专门组建了一个测试团队,与刘润玲并肩作战,帮她协调周边资源,缓解应付团队的压力。
大家拼尽全力,6 月底,待解决的问题数终于降到了 20 个以内。8 月 20日,问题清零!
应付产品终于度过了至暗时刻,在最后关头追赶上了大部队。这个不完美的方案,经过失败与重生的重重磨砺,终于站了起来。
没有完美的方案,也没有完美的英雄。
后来,在MetaERP于马来西亚成功上线后的第二天,刘润玲找到常栋沟,还没开口,她的眼泪就掉了下来。这时常栋才知道,在项目攻关的关键 阶段,刘润玲的母亲身患重病,她挤不出时间照顾母亲,觉得很愧疚。现在,项目有了阶段性进展,她申请退休,回家照顾母亲。
在大家眼中,刘润玲是一位广受尊敬和喜爱的同事。员工们都亲切地称呼她为润玲姐,认为她是最好、最美的领导。即便在团队有 200 多人的时候,她仍然记得住每位员工的名字;即使常常忙碌到深夜,她也要挤出就餐时间与团队成员交流。她的退休决定让所有人都觉得惋惜……
人拉肩扛
而对张晓燕来说,她即将迎来一次大考——MetaERP在马来西亚子公司上线。几千人没日没夜的努力,几千项任务的协同管理,无数缺陷、问题与风险处置,都要在这一刻得到验证。而马来西亚子公司的这场首战,也和真实战场上的遭遇战一样,是在没有准备好的情况下就打响了。张晓燕心里清楚,在华为,任何困难都不是借口,目标是不能动摇的,人拉肩扛,也要把这个山头拿下来。
上线前的几个月是关键的测试联调期。各产品模块基本就绪,就像是一个个零部件已经运到了总装厂,要拼装成一台可以交付给客户的整车。作为“装配厂厂长”,张晓燕清楚地知道,现在的“总装线”还处于手工作业阶段,只能靠人海战术进行测试,拼出 MetaERP 的第一个版本。
何能志是从采购到付款业务流的运营经理,经过亲身实践,他设计出了一个测试程序:在一楼看完采购测试人员完成下单及验收,立即跑到三楼,跟进财经测试人员完成发票匹配及付款,如果出现故障,就地赶紧解决。另外,他每天早上 9 点召开晨会,讨论每个场景的测试进展;17 点开晚会,讨论产品遗留问题,雷打不动。何能志苦中作乐,把这套运作方式命名为“人肉测试线”。像何能志这样的“人肉测试线”还有几十条,供应、采购、工程、行政……涉及公司各部门,还有跨区域的线上接力,每个环节都要跑通。
2021年 7 月至 8 月,项目组完成了三轮上线演练。每次演练的夜晚都是一个不眠之夜,近500人投入业务验证中,全要素反复验证和演练,确保所场景都准确无误。
9月 10 日 14 点,MetaERP 在马来西亚子公司上线。张晓燕发布动员令:“从 MetaERP 项目立项至今,我们一共走过了 630 天,一共有 1700 人参与,这次上线一共有 4000 个任务项。MetaERP 项目是一场大会战,我们每个人都为之骄傲与自豪,希望大家共同努力,为首战画上圆满的句号!”
接下来,项目组成员在“夺取首战胜利,决胜马来疆场”的标语上签名,现场团队合影、齐声宣誓。
当天 18 点,指挥中心宣布切换正式启动。
半小时后,完成作业系统冻结。
23点,老 ERP 系统成功关账。
次日 16 点,完成 34 亿行数据的数据迁移及验证,启动业务小批量验证。马来西亚账务中心的张磊特意留了自己出差的报销单,作为在新系统中的首单作业:填单、审批、发票审核、支付。“成功了,这是 MetaERP 付款中心的第一单!”大家欢呼雀跃。张磊说:“这单报销是我一辈子的记忆和骄傲。”
“首渡”能否成功,最后一锤要看数据湖的切换是否顺利。数据湖是业务分析、财务报告的数据源,数据切换如果出错,业务分析就会中断,财务报告也将无法出具,这将直接导致 ERP 切换失败。
9月 11 日至 12 日,数据湖要完成 300 亿行数据的初始化,这是一场耗时30 小时的持久战。
11日 15 点,收到总体组通告,交易侧已完成初始化,数据湖的切换正式开始。但是,在初始化环节,一个个小问题就不停地出现,一次次敲打着每个人的心弦:
“源系统切换数据库,数据湖初始化程序报错。”
“源系统的账号改了密码,数据湖初始化程序报错。”
“源系统有表需要重新初始化,数据湖也需要重新初始化。”
……
张晓燕来到数据湖切换的作战室,与大家一起审视问题,协同专家解决。好在之前经过多轮演练,大部分问题都有成熟预案,得以逐一解决。
“数据抽取又出状况了。”12 日凌晨 4 点,在数据整合层的初始化启动后,换遇到了大表性能问题。
上午10点,张晓燕打电话给项目负责人,询问数据抽取的预计完成时间,得到的答复是 14 点。14 点再次询问,却说要到 16 点,实际上 18 点都没完成。延迟时间在不断拉长,2 小时、4 小时、6 小时……张晓燕着急了,把专家们一个个“吼”到了数据湖项目组。30 多人的团队集中在一起,沿着数据 链路逐项排查。深夜,万籁俱寂,ERP 作战室依旧灯火通明,人声鼎沸,问题排查工作依旧胶着。随着上亿行数据的反复验证和执行策略的艰难决策,数据一个一个出来,最后一个数据验证终于在 22 点完成,财经月报比对正式启动。
深夜 2 点,张晓燕已经连续奋战了 36 个小时,安排好后续工作后,她才拖着疲惫的身体来到了公司附近的酒店。
惊险两小时
才睡了不到 3 个小时,张晓燕就被一通电话吵醒,迷迷糊糊抓起手机。
“你说什么?我听不清,能大点儿声吗?出了什么问题?哪里错了?”
好一阵子,她都没听清来电在说什么,只是觉得声音好小。后来才发现,自己把手机听筒拿反了。
这次终于听清楚了—“情况是这样的,从新系统抓取数据出错,新老订单系统的数据无法整合,虽然只涉及 38 行订单,但是财务报告容不得半点差异,系统可能面临回退!”
她当时有点蒙,心里快速盘算着,系统是不可能回退的,交易已经放开了,回退就意味着上线失败。她脸都没顾得上洗一把,就一路小跑回到了切换现场。她环顾了一下四周,看着一张张疲惫的面庞,坚定地对大家说:“没有退路,只能向前,相信我们一定还有办法挽救。”
在她的快速统筹下,供应、财经、数据湖领域的专家们迅速集结到位。大家都是头一回遇到这个问题,多少有些不知所措。张晓燕结合自己丰富的项目经验提出:数据问题本质上是数据溯源的问题,只要我们能够追溯到源头,就能找到线头,逻辑自然就能理顺了。
在她的启发下,供应订单专家快速理清思路,用数据推导的方式快速还原了数据血缘关系,希望瞬间燃起。早上 7 点,项目组关键领导全部到达切换现场,成立了临时“指挥所”。在华为,“指挥所”永远设置在最前线。
问题处置方案迅速形成了两派。项目组领导建议保险起见,先临时解决问题,上线成功后再择机彻底解决;财经领导认为,此举可能会留下更大的隐患,还是要一次性解决问题。双方一度僵持不下。张晓燕见状立即提议,成立两个攻坚队,给大家两个小时的时间。其中一队主导方案优化,一次性把钉子拔掉,彻底解决;另一队分析临时方案的可行性,在不影响切换的情况下绕过这个障碍。
作战室顿时忙碌和热闹起来,喊话声、电话铃声、键盘敲击声,此起彼伏。随着时间一分一秒过去,方案逐步清晰,攻坚队员也从最初的焦虑、紧张,逐步恢复了自信。领导们的心情也伴随着现场气氛起起伏伏,他们抑制住想要了解方案详情的急迫心情,没有去打扰攻坚队队员,生怕会打断队员们的思路。
两小时很快就要结束了。张晓燕恨不得这两个小时有两天那么长,这样就可以给兄弟们更多的时间去思考,让方案更加稳妥;她又恨不得这两个小时像两分钟那么短,这样切换就可以更快一些。30多位专家聚集,让这个大作战室变得非常拥挤,临时攻坚队队长灌了一口功能饮料,开始了推演汇报。张晓燕认真聆听了两个团队的方案推演,并参考现场专家的建议,决定选用临时方案,该方案充分推演了8种典型场景,最终警报得以解除。
经过一天的平稳运行,15日16点,项目组审视业务验证情况,一切正常,于是宣布:马来西亚 MetaERP 上线成功!
经过无数的不眠之夜,历经孕育期的惶恐、不适和分娩前的阵痛,在所有人的期待和手忙脚乱中,MetaERP 这个新生命终于诞生了。
在后来的表彰会上,张晓燕带领大家朗诵了一首集体创作的诗歌,一年多来所有的压力、焦虑与委屈,在这一刻都得到了完全的释放。
从没想过
像我这样平凡的人
也能书写一段酣畅淋漓的故事
2019 年 5 月 16 日 阴
合作多年的驻场顾问全部离开
我们面面相觑
2019年 12 月 20 日 阴
ERP项目立项沉甸甸的责任
2020年 8 月 1 日凌晨 3 点 大雨
完成一体机切换
保障了又一次财务月结
喝下又一杯咖啡
2020年 9 月 16 日 多云
产品迭代开发的第一个版本顺利上线
今天也是我的生日
我们聊着聊着,哭了又笑了
2021年 8 月 13 日 晴
终于将手上最后一个测试案例测试完毕
3万多个测试用例,100 多个核心用户
合上电脑的那一刻,犹如宝剑入鞘
2021年 9 月 11 日 晴
经历了上线切换的头一个 24 小时
十二点半项目组班车上
身旁的大哥在鼾声中张大了嘴
2021年 10 月 2 日 晴
马来西亚顺利出账
下班回到家已然熟睡的孩子
电话那头没时间联系的父母
偶尔抱怨却默默支持的爱人
感谢你们的理解与包容
我们是父母、子女、妻子、丈夫
我们更是华为 ERP 人
我们扛住了狂风骤雨
雄心在路上!
5 架桥
MetaERP 在马来西亚上线成功,给全体项目成员和公司上上下下都带来了极大的信心。但是,马来西亚子公司的业务只占华为整体业务的不到 1%,这个系统还非常脆弱,无法支撑 200 多家子公司的业务量。就像中央红军抢占了安顺场渡口,但只找到一条小木船一样,这样是无法支撑主力部队快速渡河的。红军必须抢夺泸定桥,才能让大部队安全、快速地通过。
MetaERP 的“泸定桥”在哪里?
常栋的设想是由易到难:“等在马来西亚上线后,我们总结沉淀经验,先把 100 多家销服型子公司全面覆盖,然后辐射到全球 4 个供应中心,最后来啃中国区这块硬骨头……”
但当时华为正遭受新一波的制裁,形势越发紧张,在ESC 会议上,领导说:“我们现在的形势越来越严峻了,工具软件也被禁用,照这 个形势下去,ERP 系统的切换时间可能比我们原先设想的更紧迫,我们可能要找到整个链条上最关键的那个根节点,优先替换。大家都说说,对于下一步项目计划的看法。”
这是一个艰难的抉择,业界在实施ERP软件新版本时,首先要进行试点,而且保险起见,为了催熟产品,新版本最好能经过一到两年的业务运营试用。也就是说,公司如果直接完成中国区切换,就要冒巨大的风险。
中国地区部销售主管打破了沉默:“从销售侧看,现在海外战场收缩,中国区市场快速增长,整体规模已占到全球近 70%。”
大家感受到了70% 业务量所带来的压迫感,这更是一次对公司业务而言生死攸关的决策,财经、供应体系主管也各自补充了信息。
“中国区现在是我们连接全球各个节点的关联交易中心,也是我们的全球账务中心。”
“全球生产物料的采购、关键零部件的生产全部集中在这里,如果老 ERP 系统不能用了,无法保障买得到、造得出、供得上,公司就会真的停摆。”
“那就切中国区!”一个声音打破了沉闷。安静了几秒后,领导组成员纷纷表示支持,ESC主任拍板,“下一阶段我们就上中国区,没有退路!”
中国区的这场硬仗,让常栋想起当年的飞夺泸定桥战役。现在,马来西亚子公司成功上线MetaERP,一支小部队已经渡到了河的“左岸”,但大部队还在“右岸”。接下来,团队要架起一座“铁索桥”,即通过技术攻关,提升 MetaERP 系统的性能、容量与稳定性,使之具备支持全球业务的能力。
新的基因
第一项技术攻关,是元数据多租的技术架构。
所谓元数据,是指描述系统基本属性的数据。如果把 ERP 系统比作一张桌子,元数据就是长、宽、高等基本属性。在传统 ERP 系统中,这些属性的可调整空间是非常有限的。华为老 ERP 系统也因此构建了 490 多万行的定制代码,衍生出 300 多个外部应用,变得越来越庞大,架构难以治理。
而在元数据多租的架构中,具有共性的元数据被标准化,桌子的长、宽、高是基本属性,但用户可以增加颜色、材质等扩展属性,差异化需求可以做到灵活扩展、个性配置,这样就把 ERP 系统变成了一个开放、可扩展的系统。
元数据多租架构在 ERP 领域还没有先例,如果华为能够成功应用,这将是一个创举。
但在讨论过程中,也有不少担忧的声音。有人担心,现在进度本来就很紧了,元数据多租和当前任务冲突严重,项目能顺利完成吗?还有人说,以团队现在的能力和软硬件限制,能把 ERP 系统搞出来并上线,就已经非常了不起了,为什么还要增加难度,引进没有经过验证的新技术,搞砸了怎么办?
为了消除大家的疑虑,在一次研讨会上,常栋提出了“打造通用产品的七大原则”,统一了元数据多租整改的标准与方向。他说:“各位主管和产品经理在思想和意识上一定要统一,我们要抓住历史机遇,基于元数据打造业界领先的企业数字化平台产品,不断提升产品竞争力,支撑公司未来 30 年的发展。”
为了确保产品质量,项目组决定紧急刹车,将现有开发任务暂停 3 个月,由于距上线时间仅剩 6 个月的时间,所有产品团队必须在 3 个月内完成元数据多租整改。
熊彼特说过,创新就是一个创造性破坏的过程。项目组勇于打破思维惯性的约束,敢于中断本来就捉襟见肘的开发进程,这真是一个疯狂的决定!认准了就勇往直前,所有人奋笔疾书,签下了任务书,开始了覆盖全产品的元数据多租整改。
经过紧张的整改工作,项目团队成功完成了 32 个业务对象、505 个实体、 1482 个应用服务、544 个页面等元数据的构建及发布,元数据就此全面诞生,为 MetaERP 产品注入了面向未来的基因,让它不再只是一个冷冰冰的软件程序,而是拥有了可以自我分裂和扩展的生命力。
新的底座
第二项攻关,是云原生技术。所谓云原生,是指在云计算环境中构建、部署和管理应用程序的软件方法。原厂 ERP 系统由一组大机来承载,云原生则意味着 ERP 系统的数据底座将不再是固定的物理硬件,而是调用云平台的强大计算能力和资源弹性能力,来实现各种场景下的系统功能。
2021年 11 月的一个晚上。夜已深,ERP 研发作战办公区内依旧灯火通明。突然,啪的一声打破了夜晚的宁静,顿时众人的目光不约而同地聚焦在一处。
“算不准,还是算不准,这可怎么办?微服务解耦后数据太碎了,一张多维度科目余额报表,花了 4 小时计算,结果还有误差。”交易核算团队的技术负责人几近崩溃地拍打着桌子。
“以前老 ERP 系统在大单体结构下,数据都集中在关键的几张表中,现在七零八落,要从十几张表中汇集,这不光影响数据库的性能,数据的准确性还一直在 80% 左右徘徊,怎么办?怎么解决业务数据 100% 一致的问题?”
“MetaERP是分布式系统,按照布鲁尔定理,保证可用性、容错性的情况下,分布式系统的数据一致性是不可能达到 100% 的。这可是一道世界难题啊!”一位经验丰富的技术人员低声嘀咕,说出了会议室里每一位技术专家的心声。
刘振羽是 MetaERP 的首席技术架构师,看到大家忧心忡忡,他一时间也想不到好的办法。他想出去抽支烟提提神,于是起身走出办公楼。在经过车库的时候,他看到一辆辆电动汽车在车位上充电,突然有一种茅塞顿开的感觉。他知道,每台电动汽车都有一个集中的电源管理系统,这个系统负责数千颗锂 电池的充电、放电、散热和生命周期管理,非常强大。受此启发,他创造性地提出了ERP“总体控制”的设想,即在各个微服务之上,专门构建一个应用,自动监控数据不一致的现象,一旦发现系统或数据差异,立刻报警,并及时进行干预,这样无限逼近布鲁尔定理的极限,使数据一致性等同于 100%。
一致性问题找到了解决思路,但是,还有个性能问题横在大家面前。
随着研发会战不断深入,华为云的技术攻关也在不断告捷。云的容器起弹速度从最初的每分钟 1000 个容器,提升到每分钟 3000 个,团队提前达成目标,士气高涨。但在接下来的采购订单大单处理的性能测试中,结果却全部没有通过。大家十分着急,加班加点进行攻关,想了很多方法,比如加计算资源、数据库扩容、代码优化,但是收效有限,阻塞情况仍未改善。
连续几天的攻关,使采购模块技术架构师徐华非常疲惫,他坐在公司班车上,看着窗外飘着的绵绵细雨和拥堵的车流,喃喃自语道:“今天估计要迟到了。”
大巴车仿佛读懂了他的心思,竟一路畅行,通过了拥堵路段。
“噢,对啊,虽然其他车道很堵,但公交车道是畅通的。”
公交车道——这几个字闪现在徐华的脑海里。
“对,就是这个公交车道。如果为不同类型的采购订单划定不同的车道,比如大订单跑慢车道,高优先级的跑快车道,最后再设计一条紧急车道,处理加急订单,同时再结合华为云的容器弹性能力,这样不就最大限度缓解拥堵了吗?”
到达公司后,徐华立即与团队制订了进一步的实施方案,启动代码优化。经过 3 个月攻关,采购订单的处理终于不堵了。业务端到端的性能指标也从个位数一路攀升到 1000,最终实现了 10 倍业务最大流量下性能不降的目标。自信的笑容又重新回到团队成员的脸上。
随着联合攻关中一个个技术难题被解决,MetaERP 上华为云的所有技术障碍都被扫除了。经过项目组周密部署,2022 年 5 月,51 个应用、100 多个数据库全部正确部署到贵安华为云,未出现一例错误和遗漏。
贵安华为云数据中心有一个接地气的名字:云上屯。这是一片五彩斑斓的欧式建筑群,依山势而建,远远望去,俨然一个童话小镇。数据中心是耗能大户,而云上屯充分运用当地自然环境,将绿色和智能技术融入整体设计中,使用瀑布和人工湖水自然冷却,实现了业界领先的能效比。现在,“生于云,长于云”的 MetaERP 系统就运行在这山水间的虚拟空间之中,成为一朵无迹可寻却又无时不在的云彩。
新的数据库
第三项攻关,是数据库根技术的突破。数据库被誉为“软件皇冠上的明珠”,是 ERP 系统存储和管理数据的核心,其性能和稳定性对系统运行至关重要。华为在数据上有多年积累,也有自研的高斯数据库产品,但 MetaERP在数据库的替换上经历了一波三折,最终通过集中攻关,才取得成功。
早在 2002 年,华为就开始研发嵌入式内存数据库。2011年,为解决“卡脖子”问题,华为成立高斯部,开始打造完整的数据库产品。高斯是世界上最伟大的数学家之一,享有“数学王子”的美誉,他的成就非常多,单以 “高斯”命名的研究成果就达 110 多项。华为成立高斯部,自然也希望在数据库领域能取得世界级的研究成果。随后几年,高斯部推出数据库产品,并有行客户开始商用。
但多年以来,高斯数据库的定位是做“备胎”,主要进行技术储备,公司使用的主流产品仍是国际厂家的数据库。2019 年,外部环境发生巨变,保障业务连续性成为头等大事,数据库产品的替代方案也要考虑。已经坐了 8 年冷板凳的高斯数据库,终于迎来了“转正”的机会。
在 ERP 替换项目启动后,项目组对高斯数据库进行了测试,结论是“无法满足 ERP 要求”,所以最终决策选用开源数据库产品。
2021年 9 月,项目组在规划中国区切换方案时,认为现有的开源数据库单库容量小,难以支撑中国区庞大的数据量,于是决定转向使用高斯数据库,但提出了极高的性能要求。
公司成立了数据库联合攻关组,由数据库领域的负责人苏光牛和李玉章牵头,带领近 200 名研发人员,签下了军令状,要在 8 个月内达成目标。
李玉章调集高斯部精干力量,组建了“博士军团”进行攻关。有长期在 MetaERP深耕的架构师杨迪博士,有在存储引擎技术上打造核心竞争力的任阳博士,有攻克全密态数据库技术难关的郭亮博士,有突破高可用技术瓶颈的王磊博士,有解决数据优化器和执行器、实现系统 10 倍压力下不崩溃的刘梦醒博士……
其中,任阳博士的突破经历颇具传奇色彩。他小时候家庭条件不好,在上高中时,家里出现变故,父母希望他接班去工厂做一名工人,但他坚持上学,并发奋读书,考上了重点大学,又继续读了硕士、博士。他做的是偏理论和底层技术的研究,由于担心毕业以后找不到合适的工作,他的内心常常充满焦虑。跨出校门之后,他下定决心要向数据领域发展,并最终如愿应聘进入华为高斯部。但他对数据库完全是个门外汉,入职后面临完全陌生的领域。依靠自己在博士阶段积累的学习能力,他开始梳理并阅读数据库技术文献,一年内学习了上千篇文献,并与内外部不断进行交流碰撞,刷新知识结构,终于踏入了数据库技术的殿堂。任阳博士潜心钻研,花费 5 年时间主导了新一代 Ustore 存储引擎的开发,这是高斯数据库的核心技术之一,是华为与银行客户联合创新的成果,结合了华为在分布式架构上的优势,也是国内首个媲美业界最先进数据库的技术突破。
经过联合研发攻关,高斯数据库在不到一年的时间内,各项技术指标幅提升,全面甚至超额完成目标:单体数据库容量提升 6 倍, 从 4T 到 24T;可用性从 99.99% 提升到了 99.999%;在系统韧性上,做到了 5 倍压力下性能不下降,10 倍压力下不崩溃;逻辑复制速度提升了 6 倍,达到每秒 300MB……
在新技术和客户需求的双轮驱动之下,高斯部通过这一场硬仗,为 MetaERP 提供了一个高性能、高可靠的数据仓库。在技术攻关过程中,团队成员也证明了自己的能力与价值,捍卫了“高斯”这个名字的荣誉。
为系统注入灵魂
项目组通过一年的技术攻坚,完善了 MetaERP“身体”的各项机能,在架构层面重新定义了系统,在根技术层面实现了性能提升和自主可控。
但 MetaERP 并不是一个单一的技术系统,技术并不能带来智慧。要让 MetaERP 这个“大脑”变得聪明,就必须不断地把知识和经验赋予它—将华为积累的流程制度与管理经验和技术能力相结合,把场景抽象成规则,把规则变成可配的系统功能,再把功能用算法和代码来实现,从而形成成熟且灵活可配的产品,支撑全球业务的运作。如果说核心技术的攻关是强健其体魄,企业管理规则的沉淀就是丰富其灵魂。
袁国林是财经领域业务侧的项目经理。他在华为财经系统工作了 20 多年,担任过会计、审计师、子公司财务总监等多项职务。他带领着一支由 56 位资深专家组成的专职业务团队,这些专家大都在华为工作了 10 年以上,具有丰富的业务管理和项目变革经验。他们调动数千兼职业务人员,负责对财经业务规则进行梳理和验证。
在财务管理上,华为面临着极为复杂的场景和业务规则。公司在 170 多个国家和地区开展业务,要适应国际会计准则和各国的差异化准则,满足海关、税务、贸易合规等外部遵从要求,这些对 ERP 系统都提出了极高的需求。
固定资产的折旧计算,是ERP资产模块的一个重要功能。华为折旧计算较复杂,对同一项资产的折旧计算可能同时要满足多个外部要求:集团会计准则政策、本地会计准则政策、本地税务政策。折旧计算的方式都不一样。袁国林对项目组提出了需求,在折旧计算时,能够同时按 3 套规则进行运算。根据这个需求,IT 开发团队设计了新的资产折旧引擎,将多种场景抽象成可配置的折旧规则,新引擎不仅实现了全自动化处理,还能快速响应各国会计政策、税法的变化,实现多折旧规则下的集成与法人口径的折旧计算。
成本模块支撑着华为上千亿元的存货交易计价,涉及多产业和 200 多家子公司的复杂交易处理。在存货计价规则上,集团成本与子公司成本的计算方式也不一样,袁国林团队也把这些规则输出给IT 团队,IT 团队新开发了满足多计价方法、多成本口径的成本计算引擎。
与此类似,用于记账的会计引擎模块沉淀了华为在全球 100 多个国家和地区会计遵从的实践经验,以及内部各大差异化产业的精细化核算规则,形成了一套完善的会计实务方法,并构建了应对多会计准则的能力,运行以来,实现了核算规则运行零差错,年结日均 3000 万行分录平稳处理,结账没有延迟一秒钟,也没有算错一分钱。
在供应领域、采购领域、服务交付领域,另有一群“袁国林”,带着各自领域的业务专家团队干着相同的事业,他们梳理场景、抽象规则,共同铸就 MetaERP 的灵魂。
6 主力过河
华为南方工厂位于东莞松山湖高新技术产业开发区,是公司全球供应、采购、制造的主要基地,MetaERP 中国区切换所涉及的核心业务,就在这座工厂。这里有十多栋整齐划一的超级厂房,内部有各类先进的自动化生产与物流设备,偌大的生产线上几乎见不到人影;在巨大的屋顶上,布满了太阳能光伏发电面板,为工厂提供源源不断的绿色能源;而在厂房之外,有着蜿蜒的中央湖景、精致的小瀑布,以及安静的休闲漫步区。第一次来访的人常常感到恍惚,这到底是花园还是工厂?经过技术攻关和业务规则梳理,现在,中国区 MetaERP切换的“铁索桥”已经在这里准备就绪,但主力部队如何过桥,仍然面临两难选择。
大型企业在升级或切换ERP 系统时主要有两种方法:一是全量切换法,好处是数据完整、能平滑支持业务,但切换难度大、时间长,往往需要两周以上,对企业运营影响较大;二是余额切换法,即只切换余额和未结业务数据,历史数据保持在老系统中,通常可在几天内完成,对业务影响较小,但切换后数据不完整,影响业务效率。
两种方式各有利弊,如何做好这道选择题,落到了单进的肩上。
飞行中换发动机
单进是华为资深的 ERP 专家,严谨务实且富于思辨精神,历经海外 ERP统推行、IFS 等变革项目,对 ERP 系统有着深刻的理解,并多次参加华为过去的 ERP 系统升级,对各个环节熟稔于心。ERP 项目成立后,单进被任命为首席解决方案架构师,他的一项重要任务,就是牵头准备系统切换方案。
“这次中国区切换,能给我们多长时间?”单进问道。
“最多只有 7 天。”常栋给他透了底。ERP 系统每停机一天,供应链上亿 的设备无法发运,上亿的款项无法收付,7 天是公司能够容忍的最长停机时间。
“没问题,保证完成任务。”单进并不紧张,毕竟按照以往经验,7 天时间足够了。
ERP系统切换一般包含两部分,即系统部署和历史数据迁移,前者是在应用系统上做配置,并与周边系统打通集成,后者则是把业务数据搬迁到新数据库中,让业务能跑下去。单进的初步想法是把原先串行化的系统部署和数据迁移并行,而两者之中数据迁移尤为关键,中国区的业务量是马来西亚子公司的 100 倍。为此他满怀希望地求助于技术专家刘振羽,希望通过增强硬软件的方式压缩迁移周期。
然而,刘振羽当场就给他泼了一盆冷水:“基于现有的硬软件水平,在极致优化的情况下,迁移中国区的历史数据至少要两周。”
单进并不气馁。数据迁移仍然是主要矛盾,既然软硬件层面暂不能突破,那么就想办法压缩迁移数据量。按照以往的经验,通过余额切换法,可以大幅压缩迁移数据量,这次是否可以采用这种方式呢?
但常栋给他浇了第二盆冷水:“华为历史上变革项目的系统切换做过太多不平滑的事,新业务数据在新系统处理,旧业务数据在原系统中查询,给业务带来极大不便,按余额切换法,可能会让我们的业务数字化水平倒退 5 年。这个项目是 ERP 连续性项目,绝不能再做业务‘不连续’的方案,我们要挑战无感平滑切换,探索通过新方式实现数据全量迁移,把困难留给自己,把方便留给业务。”
常栋提的这个目标,本质上是要发挥两种切换方式的优势,同时要克服各自的弊端。既要全量切换保持业务完整,又要快速切换保持业务连续,这相当于给在飞行中的飞机换发动机,业界没有先例。
单进在心里嘀咕:“完了,领导吹的牛能实现吗?”
经过一番苦思冥想,单进创造性地提出了一个“全量+增量”的数据切方案。即提前两周启动所有历史数据的迁移,在 MetaERP 正式上线时,用一天时间把这两周新增的数据量迁移到新系统中,这样,最后切换的时间将大大减少,对业务的影响也可以降到最低。
这个极具创意的假设,一下子激发出大家的灵感。
刘振羽立刻补充道:“是否可以用‘一次全量 + 多次增量’的方式迁移数据,将每日的增量数据都迁移到新系统中,进一步减少正式切换时的数据迁移量。”
话音刚落,中国区切换的总体负责人张长汝抢过话筒:“这就是 ERP 版本的《生死时速》,电影中满载乘客且安装了炸弹的大巴是旧系统,另一辆大巴是新系统,乘客就是业务数据,通过两辆车的平行逼近和等速行驶,把乘客逐步迁移过来。”
但有专家质疑:这种迁移方案是好,但如何保证数据不重不漏?
张晓燕回复道:“只要每天都做好新旧系统数据校验,查缺补漏,就能分散风险,保障最终数据一致,我们可以找个产品打样论证。”
库存模块是数据迁移量最大的产品模块之一,通过周密的可行性分析, “一次全量+ 多次增量”的方案在库存模块上通过了验证。随即财经、采购、供应领域的技术人员都调动了起来,通过不断的代码调优和测试验证,最终实现在 MetaERP 正式上线时,仅需 4 小时就可以完成最后一次增量切换,把 “生死时速”方案变成了现实。
这时,历经几周冥思苦想、几近殚精竭虑的单进,终于松了一口气。他充满了自信,对常栋说:“7 天切换期限太长了,对业务影响太大,我要在两天内拿下。”
常栋笑了:“先别着急吹牛,还有问题没解决呢。”
数据迁移慢的主要矛盾解决之后,系统部署慢又成为新的矛盾。旧系统 与几百个外围系统之间存在着几千个集成点,这些集成点在切换时需要转接,会消耗大量时间。在研讨中,单进提出了做一个“防腐层”的设想,即提前把几百个外围系统和新、旧 ERP 系统连接起来,由统一的“红绿灯”控制业 务数据流向,这样在切换当天,就可以批量完成系统部署。
陶景文听到这个想法后深有共鸣,他回忆起 20 世纪 90 年代做交换机切换的场景:“华为做通信设备割接时,业务无感知是一个重要标准。在交换机时代,客户要求厂商在一天内切换百万门交换机,其中最困难的是打线,要小时内打 100 万根线,这是根本不可能完成的任务。为了解决这个难题,华为发明了智能配线架的工程方法,并且在海口首次实施了无感割接。你们 要把这个方案模块化,通过工程复用降低成本,提升切换效率。”
单进综合了大家的想法,在架构设计上专门规划了一个独立模块,称为 “ERP 伴侣”,由技术专家盛俊带领团队完成实施落地。这是一项重大的工程 创新,后来在中国区切换过程中大放异彩,在一个普通周末,不足 48 小时,几百个外围系统从老 ERP 系统到新 ERP 系统的集成切换就顺利完成了。
切换的那个周末,单进在现场值班,平静的夜晚随着一条条顺利进展的通告而流逝,迎着天边微微泛白的曙光,他内心无比感慨:幸不辱使命,曾经吹过的牛,算是超额实现了。
前拉后移
2022年 1 月,供应体系召集 MetaERP 切换部署会议。作为中国区切换的总体负责人,张长汝比任何人都更清楚 ERP 系统对于供应体系的意义。20年前,刚入职 3 天的他就加入了全球 ERP 推行项目组,全程参与实施过程。20 年后, ERP 切换的重担再一次落在了他的身上,他要把自己当年参与实施的系统给换下来。可以说,他在华为 20 年的职业生涯,干的就是一件事:上 ERP,再上 ERP。
但这次和过往不一样。不切换,老系统说不定哪天就崩溃了;切换失败,生产、供应就会直接停摆。张长汝环顾了一圈会场,从公司首席供应官到供应、采购、制造各部门的业务主管,每个人都表情凝重。
“各位业务主管,这次中国区的切换,复杂度要比马来西亚的切换高出几十甚至上百倍。涉及全球 170 多个国家和地区、数万客户与供应商,以及上百家工厂。系统切换期间,相关业务不能作业,我们得想清楚以什么口径跟外部沟通,这种情况会不会引起业界恐慌,让人觉得华为公司内部出了大乱子,以及怎么能不影响对客户的海量交货。”
制造部主管说:“这么多年来,以客户为中心一直是华为坚持的基本准则,哪怕是最难的‘5·16’期间,我们也都挺过去了。制造部每年 6 月底之后的第一周会做年中盘点,有没有可能把年中盘点和这次切换结合起来,利用这个时间窗,再延长一两天,对外沟通的口径就还是盘点?”
“大家有没有考虑过,盘点也就是 3 天的时间,万一 ERP 切换出问题,就不是一两天不能用,可能得按照一两周不可用的假设来做预案。”供应部主 管抛出了一个棘手的问题。
“那不行,按正常的业务量,每天有上亿元的发货,一两周不可用,影响至少 20 多个亿啊。”
“如果只是把这个切换时间点错开,把客户的急单提前到 6 月生产,不紧急的订单推后到系统切换完之后呢?”人群中不知道谁提了一句。
“对,前拉后移,错开这个时间窗!”
前拉后移,简简单单四个字,张长汝心里却禁不住咯噔了一下。但凡做供应业务的人都知道,供应链讲的就是均衡生产,一旦生产计划要变,相应的计划、采购、仓库库存管理就都得跟着调整,其中的难度不敢想象。
“这次切换涉及 400 多家国内外供应商,难度肯定是有的。不过,这些供应商都是我们的长期战略合作伙伴,这几年也一直陪着我们挺过了最难的那段日子,相信这次一定也会支持。我现在就派人先去和供应商摸个底……”采购部总裁拿起手机就往外走。
3天后,张长汝接到了他的电话:“长汝,告诉你一个好消息,首批关键器件的 30 多家供应商摸底信息已拿到,无一例外,都愿意配合支持我们。我们初步判断,前拉后移这条路,行得通。上次咱们在会上讲这次切换有难度、有决心,这次我们可以再加上一个——有信心。”
挂完电话,张长汝心里有底了。内部有一支敢打敢拼的队伍,外部有产业链伙伴的支持,在这个不太平静的冬天里,团队的力量犹如一股暖流,温暖着每个团队成员。
特殊的集结
2022年的夏天格外炎热,中国区的 ERP 切换也如火如荼,从业务方案、IT产品实施测试到业务准备,一切都在有条不紊地进行着。不知从哪一天起,RP项目组各作战区悄然出现了倒计时电子牌,红色的“100 天”是那么醒目。看着数字从 100 跳到 99、98、97……大家意识到,那一天马上就要到来了,所有人都有些紧张,也有些渴望,三年磨一剑,几千人的付出,将在这一天迎来真正的考验。
在距离切换只有一个月的时间时,传来了一个不好的消息:部分专家有可能会被隔离在深圳,届时将无法参与切换。
工作组进行了紧急讨论,并很快决策:将专家提前集结在东莞市松山湖。当晚,不少人连夜从深圳赶往东莞,对于女士,则由男同事先打车接上,再一起到松山湖。出于保密考虑,专家跟家属也不能说是 ERP 切换,只是说临时有急事,必须赶到公司。担心家属有情绪,人力资源部给这些专家的家属一个个地打电话进行安抚,有些家属不理解,劈头盖脸就是一顿骂。
人力资源部好不容易想办法安抚好家属,这边张长汝又开始发愁了:多达 300 人的切换团队,提前几周开始集中办公,去哪里找这么大的地方呢?这个地方既要有足够的空间协同指挥,还要有各自的研讨空间。关键的一点,万一出现极端状况,这个办公地点必须能支持所有人员的工作与生活的自循环。
“咱们不是正在建设 D7—供应运营指挥中心大楼吗?那里非常独立,既有大决策指挥中心,又有小的作战室……”供应子项目的项目经理范美华突然灵机一动。
“哦,好像是条路子。”还没等范美华说完,张长汝就兴奋地抬起头。透过 D5 大楼办公区窗户往前望去,对面 D7 大楼的主体建筑已经高高耸立。远远看去,像极了一座小型的体育馆,但仔细一看,底层的脚手架尚未拆除,偌大的窗户上还有未撕掉的白色保护纸。D7 主体建筑是建设得差不多了,但软装部分还在陆续进场,连桌子、椅子都还没完全到位呢。
“D7的负一楼不是用来做食堂的嘛,我们昨天去看了下,已经到了一部分桌椅,可以把这些桌椅搬到楼上作战室用。”范美华补充道。
“食堂桌椅都空了,那吃饭怎么办?”张长汝还是有顾虑。
“吃饭可以站着吃,办公不能站着办,对吧?大家一起端着碗站着吃,才有意思呢。”
一时间,张长汝被她逗笑了。就这样,这个建议迅速得到业务主管的采纳,食堂的桌椅很快被腾挪一空,布场、网络、空调调测……新建中的松山方工厂 D7 大楼就这么摇身一变,成为供应体系切换保障总指挥中心。
2022年 6 月 1 日,后勤保障组在这里举办项目开工会,围绕医、食、住、行四个要素,以及平时保障、应急应对、正式切换 24 小时保障三类典型场景,做了详细的保障部署。从场地选定、临时布场、准备就绪到最终入驻,仅仅历时 6 天。
6月 7 日,切换动员会在 D7 大楼召开,团队共同宣誓:
我们团结一致,全力以赴,没有退路就是胜利之路;
我们深谋远虑,死磕细节,万事俱备方能雷厉风行;
我们稳扎稳打,坚韧不拔,供应铁军切换步步为赢;
积小胜成大胜,众志成城,坚决夺取 ERP 作战胜利。
波澜不惊
有了集中办公场所,最后的工作推进颇为顺利,离正式切换的日子越来越近了,自信洋溢在每个人脸上,一切都显得势在必得。
7月 1 日,切换组召开切换前的最后一次周例会。审视完所有议题,供应体系主管说:“会议结束前,我提最后一个要求。负责供应链、制造、采购的三位总裁,在切换前后三天,不允许到切换指挥中心现场。”
三位主管一时间有点蒙,这么重要的场合,作为责任主管,不应该在现场和大家一起并肩作战吗?
“我也不去。因为我们去现场也干不了什么活,反而会给切换团队增加心理压力。这三个周末,项目组已经连续做了三轮演练,每一轮演练都是模拟真实场景来做的,准备得很充分,我们要充分相信他们。”
转过身,他又对张长汝、范美华说道:“你们按计划步骤执行切换就行,我们几个呢,就静待你们切换成功的喜讯。”
7月 8 日晚,中国区切换启动。聚集 300 人的 D7 大楼指挥中心,安安静静,若不是正前方大屏上不断跳动的进度,没人知道这里正在进行一场关键的决战。
24点,MetaERP 系统正式开始切换,要完成老 ERP 系统关账、系统设置数据切换等一系列工作。
10日 8 点 30 分,MetaERP 软件系统上线,业务正式启动小批量试运行。
15点 10 分,从计划到制造业务流当天率先完成。
16点 05 分,全部业务流切换完成。
原本安排现场值班的十多位业务专家,一个业务问题都没收到。大家感慨,这是供应链多年来系统切换最平静的一次,简直有点不敢相信。
MetaERP上线后,供应团队为了验证新系统,花 600 元在系统里下单购买了一个电源模块,试跑第一单。跑通之后,这个富有纪念意义的电源模块被装进了一个精美的纪念品礼盒中,上面刻着“华为 ERP 首单发货”,作为历史的见证。
切换成功,整个团队都沉浸在欢庆的气氛中,大家一起尽情释放着这份喜悦。范美华对张长汝说:“对了,差点忘了,不是还有几位领导在家里等消息吗,咱们是不是得给他们发个消息同步一下?”两人哈哈大笑,赶紧拿起手机,发出“切换成功”四个字。
在这个欢乐的现场,一位名叫董香咀的女生看上去却有点落寞。
董香咀是一位熟悉供应业务的架构师,负责回退方案的设计。一旦新系统切换失败,就要通过她的方案回退到老系统,以最大限度减少对业务的影响。这最后一道防线,她要保证万无一失。同时,她又希望自己的方案永远都用不上。
在系统切换的前一天晚上,董香咀独自一人在办公室里加班,检查着回退方案的每一个细节。在 MetaERP 系统顺利切换后,她也很欣喜,她知道这是最好的结果。可是,和团队一个多月的努力付出,那个属于她和她团队的时刻并没有到来,多少让人有一点失落。
看出了董香咀的落寞,范美华走上前来,用《孤勇者》的歌词安慰她:“谁说只有站在光里的才算英雄。”
董香咀就是那个在黑暗中为团队点亮灯火的人,她是团队里最没有存在感的人,但同时也是最有成就感的人。
在这个夏日的黄昏,透过办公区的落地玻璃窗,她看到 D7 大楼前的人工 湖平静如镜,波澜不惊。晚餐后绕着湖边散步的人群,三三两两,有说有笑。园区外的公路上,已经开始例行拥堵,鲜红的汽车尾灯连成了一条长龙。一切都像往常一样,仿佛什么都没有发生过。
7 胜利会师
在中国区切换完成后,MetaERP 又经受了月结、年结的考验,日趋成熟。紧接着,面向全球 200 多个子公司的收官之战就要打响了。
虽然海外子公司业务类型相对简单,但切换同样充满风险,收官之战也不能掉以轻心。华为在海外推行ERP 系统曾经有过惨痛的教训,那是在 2010 年前后的巴西,因当地税务规则复杂,ERP 系统经历了三上三下,到第四次上线才算勉强成功。如何吸取过去的教训,避免再次“踩坑”,成为机关切换组和一线实施同事都在思考的问题。
经过激烈讨论,项目组达成共识:先找地区部典型子公司试点,构建全球批量切换能力,后续再分两批,第一批于2023 年 5 月一次 切换 88 家子公司,最后一批切换剩下的 129 家。
一次切换88 家子公司,这真是一个疯狂的计划! 88 家子公司 涵盖 5 个地区部,跨越 75 个国家,这是一场全球联合作战,组织、沟通和动员工作都是巨大的挑战。
常栋要求全球覆盖不能再使用“人海战术”,而是要高效、高质量,让业务无感知。切换组总结了前期经验教训,把方案设计、配置、测试、切换等主要环节全部实现了 IT 自动化。有了强有力的工具平台之后,接下来一线团队能否积极投入,就成为全球切换成败的关键。
吴跃璨是全球切换实施经理,他要组织动员全球的业务人员,确保区域资源投入。站在摊开的世界地图前,吴跃璨画了一条长长的跨越五大洲的路线。他下定决心,要深入一线战场,开展实地动员,打通全球切换的指挥与协作系统。
动员十万里
第一站是中东中亚地区部。
夜已深,9000 米高空上,吴跃璨望着飞机窗外漆黑的夜空,只有机翼上的灯光在闪烁。
“各地区是否已经充分投入准备?业务主官是否足够重视?当地业务差异是否识别完整?”吴跃璨感觉肩上的担子很重,对此次动员之行心怀忐忑。
“第一站就是迪拜,希望一切顺利,也必须一切顺利。”吴跃璨下意识地握紧拳头。
踏上迪拜的土地,他的第一印象就是“热”,这是一片热土,真的很热!
他步入地区部办公区,醒目的标语张贴四方——“中东中亚地区部, MetaERP 切换必胜!”“客户因我们而卓越,我们因客户而成长”。地区部和代表处骨干成员都已就位,正在紧张地忙着各自的准备工作。
“巴基斯坦存在分省计税的场景,与全球其他区域不同,请机关专家重点审视;我们会重点跟进差异方案落实和测试,确保平滑切换,业务无感。”巴基斯坦税务经理 Joanne Ang 直面应对地区部关键的差异点,信心满满地说道。
“MetaERP是我们业务运作的基础,地区部每个责任部门的主管都要对自己的业务方案和测试验证质量负责,都要签字画押。”地区部总裁特别强调。
“巴基斯坦今年发了大洪水,把骨干网冲断了,虽然运营商已经抢修了,但还是不太稳定,国内也有动乱。中东这边的主战场就在巴基斯坦了,到时候我会前往现场。”地区部 CFO(首席财务官)李壮实点头应道。
“喂……”这时,有电话呼入,李壮实走出会议室接电话。
“不好意思,刚才接了领导电话,数字能源那边叫我赶紧回机关报到!”
“怎么?换岗了?”吴跃璨皱着眉头,临阵换将可不是好现象。
“嗯,我的下一站是担任数字能源的 CFO,但我跟领导说,中东的 ERP系统切换工作是我从头到尾负责的,我一定要在岗位上,把这件事办妥了再走。”
在 CFO 的带领下,中东本地同事自发奋斗的热情,和中东的热土一样,沸腾了整个项目组,也感染了吴跃璨。
第二站是欧洲。
在杜塞尔多夫,莱茵河畔已是绿草青青,外观古朴、内部现代的建筑旁边,高大的杨柳随风飘摇,显得恬淡安逸。
欧洲地区部涵盖整个欧洲区域,各国业务差异大,如法国特殊的会计准则、意大利的复杂税制等,且各子公司的业务类型复杂,有制造公司,有研究所,批量切换面临巨大挑战。发动所有相关业务人员积极投入、验证充分,是切换成功的关键。
地区部测试动员暨“金种子”(接受新系统培训的首批用户)证书颁发大会,在杜塞尔多夫会议室举行。“有使命、有定力、有担当、有信念”—大红色的横幅挂在会议室中央雪白墙壁的顶部,激励着现场的每个同事,也通过会议将奋斗精神传递到每个欧洲华为人的眼中和心中。
“中国区切换,是在我手上完成的。中国区的经验是:一把手高度重视,要保证当期成功切换及长期稳定运营;地区部 CFO 重点抓好账、税方案适配,确保财报准确、内部流程遵从、外部合规;要与各代表处 CEO(首席执行官)沟通,保障资源投入。”刚从中国区任上调过来的地区部总裁要求管理团队高度重视,做到上下同欲。
“我们除了组织了‘金种子’的赋能活动,还扩大了赋能范围,要求涉及的业务人员都加入进来,提前赋能,确保测试验证,上线后平稳运营。值得赞扬的是,我们所有的‘金种子’都通过了考试。”地区部 IT 主管王辉自豪地说。
在激昂的进行曲中,所有“金种子”都被授予了证书。
“我很荣幸通过了 MetaERP 的认证!一路走来,我从原来只懂局部业务的业务骨干,成长为整条业务流都能道出个所以然的专家。感谢项目组给我这个机会,我也为能参与这次伟大的变革感到骄傲。请组织放心,我们一定不辱使命!”其中一位“金种子”Rigalatu Su 激动地说道。
清晨慢跑在莱茵河边,空气清新,随着路过的跑友一声“Good Morning”,吴跃璨感受着多元文化,心情也暂时放松了下来。
第三站来到了北部非洲。
非洲区域是首次参与MetaERP切换,要一次就切换完,国家多、任务重、验少且工作条件艰苦。
吴跃璨来到摩洛哥,步入位于海边的办公大楼,热烈的气氛迎面而来。
“我们是沙漠里的胡杨,奋斗在非洲,虽然外部环境艰苦,但我们的热情超过全球任何其他地方。干就是了,有我北非在,必拿第一。”地区部实施经理周斌坚定地说道。
“我是华为阿尔及利亚一名普通的开票专员,我第一次被拉上来是在地区部的项目开工会上,当时觉得项目和我每天做的事好像关系不大。在项目中,我了解到了原来 ERP 系统对我们这么重要,几乎跟所有的业务有关。兄弟代表处都你追我赶地提拉测试进度,我们阿尔及利亚代表处必须保持领先。”本地税务经理 BENGAYOU Djaouida 激动地说道。
“老吴,请你跟地区部的兄弟们商量一下,我们已经加快处理了北非的问题单,让他们不要催得那么急,早上催,中午催,半夜还在催。”吴跃璨接到了机关支持组的电话,有些哭笑不得。
“北非的兄弟姐妹们,请大家控制一下节奏,我们已经请机关优先处理北部非洲的场景和问题单,但是也请大家注重质量,不求快。”在例会上,吴跃璨第一次因为地区部进度太快、跟进太紧而不得不提醒道。
“放心,在质量上,我们加了两道堤坝,除了每一个测试用例要出报告,还要抽查、审视测试质量,确保验证不漏、不错、不重!”周斌回应道。
奋斗北非,果然名不虚传。坐上飞往阿根廷的航班,吴跃璨脸上泛起微笑。
踏上拉美的土地,吴跃璨难掩内心的激动。这是一片物产丰富的土地,孕育了灿烂的古文明。这里是距离祖国最远,也是时差最大的一个地区部。而在这里奋斗的同事们常挂嘴边的却是“阳光拉美,心有所爱”。
“拉美的税则在之前都是有特殊的补丁包的,这次,我们联合区域和机关专家,按业务场景梳理了所有的税则,同时 IT 也在系统功能上做了分析。当前,我们把拉美涉及的税则都已经梳理清楚了。”Natalia 对解决拉美的业务差异非常有信心,说:“考虑到拉美地区内部都有 4 个小时时差,我们便把所有的税务经理都集中到阿根廷,对方案适配和测试验证集中攻关,确保上线无差错。”
“我们特别强调发挥本地员工的重要作用,完成了所有材料的英文化,同时,由我负责所有本地员工的赋能和系统支持。”Emmanuel 展示了关于本地员工组织和赋能的相关工作。
“考虑到与机关的时差,我们这边还安排好了后勤保障措施,包括医疗、车辆和膳食。期待在切换当天,我们吃着阿根廷牛肉、喝着智利红酒庆祝成功。”行政后勤人员曾雄伟举手道。
“阳光山海,心有所爱,奔赴山海。拉美地区部与阿根廷共享中心已经做好准备,全力以赴,一定会夺取 MetaERP 切换的胜利。”这一刻,大家的手紧握在一起,必胜的信念萦绕心间。
亚太地区部是最后一站。
马来西亚既是 MetaERP 的首发地,也是华为亚太地区部总部所在地,这里锻造了一个敢打敢拼的团队。
一踏入人头攒动的切换指挥室,吴跃璨就看到了切换现场总指挥刘玥。
历练过多次切换的刘玥显得格外镇定:“老吴,欢迎坐镇亚太指挥,这次亚太剩余的 10 个代表处,也将在今晚全部完成切换,请总体组放心。” “很感谢项目组把这个艰巨而光荣的任务交到我们手上,从马来西亚首战开始,这是第三次切换,我们已经是熟练工了,但还是会认真细致,把每次切换都当成第一次,坚决完成任务。”马来西亚账务共享中心的 Leow Wooi Chin 在已经准备就绪的作战室里进行着动员。
“亚太地区部和共享中心人员在马来西亚主作战室已经就位。”亚太地区部的 Lee Lin Yuan 完成了地区部指挥中心和各代表处分作战室连线。
“这里是菲律宾代表处,参与切换人员已经到位!”
“这里是印度尼西亚代表处……”
“这里是日本代表处……”
回望十万里的动员之路,中东热土将官坚守,多元欧洲全员备战,奋斗非洲勇争第一,阳光拉美扎根本地,亚太铁军坚如磐石。
斗志满满,马蹄声声,催人奋进。
这一幕幕,深深地感动着吴跃璨。
争抢首单
2023年 5 月 13 日,是全球 88 家子公司正式切换的日子。
此次切换总指挥,就是之前负责老 ERP 系统维护、主持过大机切换的周启涛。一大早,他就来到了指挥中心。这是一间剧院式的大厅,可以容纳 300 多人同时在现场办公,两侧还设有多个小型作战室。大厅的正前方是一面高 10 米、宽 30 米的巨型显示屏,实时显示着各地 MetaERP 切换准备的进展,各项子任务的进度条、数据迁移状态密密麻麻,而对每一条信息,他都了然于胸。
“连线各战区作战室,检查会议质量。”5 个地区部,6 个共享中心,35 个作战室,开始做最后的连线检查。15 分钟之内,参与切换的 88 家子公司,共计 1000 多人集结完毕。
此时大屏上呈现出全球 35 个作战室的实时画面,因为时差,罗马尼亚、毛里求斯、阿根廷的共享中心的窗外还是漆黑一片,而室内却热火朝天。
事后,阿根廷共享中心总监惋惜地说道:“我以为这次集结,我们能够抢个第一,没想到还是没抢过毛里求斯。我这里是晚上,你们那里可是凌晨。”
“不好意思,第一还得是我们的,这么激动的时刻,反正也睡不着,所以干脆没回去。”毛里求斯那边调侃道。
北京时间 9 点,5 月批次全球切换正式启动。
六大账务共享中心的会计们立即在老 ERP 系统里面开始关账作业,涉及上百个操作步骤,这要在平时月结关账,要花费两天才能完成,但是这次只预留了 5 个半小时,他们不能浪费一秒钟,不能做错一个步骤。
北京时间 13:13,罗马尼亚率先报告完成关账。其他共享中心也紧随其后,陆续传来了顺利关账的好消息。
只用了 4 个半小时,切换组就完成了 88 个子公司的业务处理、过账、对账、关闭会计期等关账作业,切换的第一个阶段所用时间比预期的提前了一个小时,大家紧张而兴奋。
“接下来接力棒交给 IT 团队,开始数据迁移和应用系统部署。”周启涛心中有数,关账比预想的顺利。
一行行数据如流水般从老 ERP 系统流向 MetaERP,历经 4 个小时,88 家子公司的 263 亿项数据完成迁移,业务完成了所有科目余额验证,一条不漏,一条不错。
各地区部、代表处参加业务上线首单验证的工作人员已经提前半个小时完成集结。
周启涛宣布:“5 个地区部,请开始业务首单验证部署!”
“中东地区部已经备好能量补给,请同事们补充能量,我们争取第一个完成首单验证。”
“拉美地区部已经就绪,首单必中。”
“欧洲的将士们,一举拿下欧洲高地。”
亚太地区部连线菲律宾、印度尼西亚、日本等 15 个国家,高喊“每战用我,用我必胜”。
指挥中心大屏上,各地区部验证进度条不断攀升。
13分钟后,大屏上“已完成数量”从 0 跳到了 1。随即传来一条消息: “报告总指挥,拉美地区部完成首单验证!”
“祝贺拉美地区部率先完成首单验证,请大家继续加油,确保验证质量。”周启涛回应道。
随后,各地不断传来业务验证进展。
“意大利 100% 验证完成。”
“南部非洲地区部 100% 验证完成。”
……
各地区部全部完成业务验证,天涯共此时,五湖四海都洋溢着胜利的喜悦。
5月 24 日零点,经过 15 小时紧张有序的切换,周启涛宣布:“MetaERP 5月批次 88 家子公司业务正式上线!”顿时,全球 35 个作战室掌声雷动,欢呼声此起彼伏,不绝于耳。
这是一场跨五洲、越四洋的大型协作任务,犹如一场华丽的交响乐,宏大而精致,磅礴而平顺丝滑。
3个月后,一场规模更大的批量切换启动了,仅仅用了 13 个小时,全球129 家子公司就顺利切换到 MetaERP 系统。
至此,华为主要业务领域和区域的“换芯”行动告一段落,200 多家子公司突破封锁,胜利会师,创造了“强渡大渡河”的奇迹。
全球切换完成后,周启涛去了一次机房。这时,原厂大机成了“备胎”,被移出了机房,静静地躺在仓库的一个角落。周启涛拍了拍结实的机柜,和 这个老伙计做了最后的道别。
平凡的英雄
MetaERP是华为全球员工团结奋斗的结果。让我们穿越时空,回顾在世界各地华为人的奋斗故事。
在巴基斯坦,代表处的三名本地员工 Ammad Hassan、Aamir Iqbal Siddique和 Usman Safdar 是地区部培训的 MetaERP 本地“金种子”,负责订单、收入触发和 PO(采购订单)等业务的验证。切换的当天晚上,正值巴基斯坦爆发抗议行动,首都伊斯兰堡边境附近经常被封锁,交通中断。三位同事为了不耽误工作,提前两个小时,骑着摩托车从位于边境小镇的家中出发,及时赶到了切换作战室。
作战室里已经有十多位同事正在紧急地准备着,墙上贴着“共作战、守连续、促经营,确保中东 ERP 切换成功”的中英文标语。这三位本地员工承担了重要的验证任务,大家都在急切地等着他们,看到他们顺利抵达,会议室内响起了热烈的掌声。
随着总体组小批量验证的指令下达,三位“金种子”有条不紊地开展业务验证,在切换后 5 分钟内就完成了收入确认,半小时内完成了所有场景的验证通过。待到切换结束时已经是 24 点,由于边境封锁,三位同事无法回家,好在办公室早就备好了各种生活物资,于是他们就地过夜。
早上 7 点,他们在办公区洗漱完毕,享用了代表处厨师准备的热乎乎的早餐,这时,传来好消息,边境封锁解除。于是三位摩托骑士一路肆意驰骋,顺利返回家中。自此,“摩托三兄弟”的名声传遍了整个区域,赢得了大家的赞扬。
在毛里求斯,核算会计 Bhavish 在切换期间组织了十多次培训,带领 25 个本地同事,对新系统提出了 20 多个更新点,优化了 26 个核算工具。他骄傲地说:“毛里求斯 MetaERP 模块的切换,已经从我这个小小的种子,蜕变成本地团队的一片森林。”
Djaouidaj是阿尔及利亚代表处唯一的本地测试员工,就在测试前夕,他 的腿部意外受伤,医生建议他在家里休息。但他不想因为自己而拖了项目后腿,毅然决定拄着拐杖返回办公室。项目开工会后第一天晚上,当夜幕降临, Djaouida 拄着拐杖,一步步走向座位,开始了代表处从订单到回款业务流的测试。每一个步骤,每一个细节,他都全神贯注,一丝不苟,保证测试顺利进行。他的坚韧精神和专业能力,赢得了所有同事的尊敬和赞扬。
在尼泊尔,该国使用的历法不是世界通用的公元纪年,而是诞生于公元 5世纪的“超日王历”,比公历早 57 年,其新年在公历 4 月 13 日至 16 日。面对这个特殊场景,卜珂、Leong Yee Leng、Toh Suk ying 等进行了详细测试和场景验证,制订风险预案,保障了“超日王历”这一特殊场景下的顺利切换。
时空转换到距离深圳 2 万公里的拉美区域。8 月 12 日破晓时分,正值秘鲁代表处切换的关键时刻,却被一个意想不到的突发状况打断了。凌晨 5 点20 分,突如其来的停电使整个办公楼陷入了黑暗,办公室和电梯都无法使用。面对突发情况,后勤服务人员迅速做出反应,首先将项目组成员紧急转移到 公司餐厅,确保安全。同时与大楼物业管理团队紧急沟通,催促尽快恢复供电。5 点 41 分,办公楼供电得以恢复,尽管这场意外让他们的计划推迟了,但整个验证工作进行得仍然很顺利。清晨 6 点,伴随着初晨朝阳,系统成功上线,现场每个人的内心都洋溢着快乐。
……
尽管面临各种突发状况和特殊场景,但全球数千员工还是顶着风雨前 行,用汗水和智慧保障目标达成。一群平凡的人创造了历史!在他们的心中, MetaERP 系统全球覆盖不仅是一项工作任务,也是一场完美的团队合作,更 是一段珍贵的人生记忆。
8 星火燎原
华为溪流背坡村位于东莞松山湖高新技术产业开发区,这是由 12 个欧式风格小镇所组成的大型研发与办公园区。牛津、温德尔都、布鲁日、博洛尼亚、勃艮第……一个个经典建筑样式,共同组成面积达 1900 多亩的花园式研发基地,将理性的科技创新与旖旎的自然风光融为一体。低密度的办公楼依地势而建,为研发人员提供了舒适的办公环境;园区内有专用轻轨连接,帮助员工在各办公区之间穿梭;各种风味的咖啡厅散落其间,为员工提供开放交流的氛围。
这座园区的诞生,本身就是一个国际化开放融合的故事。其设计师来自日本,他在美国上大学、读硕士、读博士。他从经典的欧洲小镇建筑中得到灵感,由此创造设计出园区原型,最终在松山湖这个天然湖泊旁得到了实现,园区被冠以“溪流背坡村”这个具有中国乡土风情的名字。在松山湖游客的眼中,这里是华为的“欧洲小镇”;而在华为员工口中,这里被简称为 “溪村”。
2023年 4 月 20 日,MetaERP 表彰暨誓师大会在溪村举行。大会为数千名关键贡献者颁发了奖牌,其中有一个为合作伙伴颁奖的特别环节,陶景文在发言中说:“特别感谢我们的伙伴,你们是‘强渡大渡河’的同路人。”
华为为这些英雄颁发的精美奖牌由巴黎造币厂设计制作,正面雕刻“萨莫色雷斯的胜利女神”像,她身披战裙,身姿勇美,栩栩如生的双翼迎风展开,以一种无畏的胜利姿态,屹立在乘风破浪的船头。
一枚枚奖牌,见证了 ERP 项目组、合作伙伴团结合作、风雨同舟的奋斗成果。
MetaERP的成功,不是因为哪几位领导或技术天才的伟大,而是群体决策、群体奋斗的结果。在群星的光亮照耀之下,团队胜利地走完了这段艰难的征程。在生死存亡的关头,一支队伍的命运取决于组织动员能力和集体行动能力,而造就这种组织能力的因素主要有两个:一是团队文化精神,二是领导力。华为能够突破封锁,在制裁中活下来,也正是因为 30 多年来在文化精神和领导力上的持续建设。
MetaERP的成功,不只是华为一家企业的胜利,也是软件产业的共同胜利。在不断创造奇迹的历程中,我们见证了无数英雄的诞生,他们为华为突破技术封锁做出了重要的贡献。
在 MetaERP 替换的全过程中,合作伙伴全力调动资源,与华为项目组成员一道攻坚技术难题,把华为 30 多年管理实践落到这套系统中,一起构建了先进的工程方法和丰富的业务应用。
在 MetaERP 周边重要的 IT 系统连续性工作中,合作伙伴与华为一起打造了企业核心商业软件系统,在 ERP、人力资源管理、产品数据管理等领域实现了替换。
工业软件是先进工业发展的催化剂,打造领先的工业软件,要坚持长期 主义,持续投入,也有赖于生态环境的协同。一个封闭的体系无法产出世界 级工业软件。工业软件的研发和应用不仅需要底层技术的支持,如操作系统、数据库、网络基础设施,也需要与上下游企业紧密配合,不断迭代和优化。
在这个复杂的生态系统中,每个企业都有其独特的优势和站位。
华为希望与合作伙伴一起构建软件生态,让更多的企业在这片“黑土地”上发展壮大,打造覆盖千行百业的丰富应用,实现根深叶茂。
风雨同舟,星火燎原。
三年前,公司给流程 IT 部门特批了 300 个招聘名额,现在,项目组输出了 300 名管理者和骨干。经过 MetaERP 的磨砺与洗礼,他们将成为华为软件领域崛起的中坚力量。
MetaERP创造了奇迹,但这只是第一步。
9 新的征程
“我们亲手砍下了20多年前种的树,又栽下了新树苗。”
“我们做了一件别人想都不敢想的事情。如果没有制裁,我们也不敢想。”
“中国有了自己的高端 ERP 系统,我们再也不用跟在国外厂家后面‘吃土’了。”
“MetaERP彻底打破了封锁,实现了 IT 系统和数据的自由。”
这些都是项目亲历者的真实感受。MetaERP 的成功,不仅帮助华为保障了业务连续,鼓舞了中国软件产业的信心,也是对世界的一个有力证明:技术都是人干出来的,封锁是封不住的。让技术造福全人类,才是技术最好的归宿。
对很多参与者来说,这段经历也是一次自我超越。因为经历了 MetaERP从萌芽到成长,他们的人生也收获了不一样的意义。他们都是普通人,既是公司的骨干员工,也是家里的顶梁柱,在 4 年时间内,他们有喜怒哀乐,可能要面对职业生涯上的瓶颈,也可能会遇见自己的另一半,迎接新生命的诞生,见证孩子的成长,或是要面对亲人的永远离去。
老张在公司负责了多个重大 IT 项目,自己感觉在这个领域已经做到顶了,对职业发展十分迷茫,正准备申请退休时,听到了 ERP 替换的消息,他顿时打起了精神。MetaERP 所带来的前所未有的挑战,让他有了新的追求,充满了前进的动力。
小罗交了女朋友,但为了工作,好几个月都没能见上面。在所有测试案例跑通时,他喜极而泣。同事问他:“你和女朋友关系还稳定吗?”他说: “我们的感情就像 MetaERP 一样稳定!”
系统切换前的一段时间内,测试工作非常紧张,每天都有固定的测试目标,当天必须完成所有关键步骤的验证。阿瑞是某产品测试组的组长,每天都带领着“金种子”,加班加点努力追求目标,提前完成各项关键任务,以预留时间做好数据兜底。在发现系统功能问题时,她当天就提交电子流,及时将问题升级,给 IT 预留充分的时间解决。她同时也是一位妻子和母亲,那段时间,照看孩子的重任落到了她老公的肩上。在她老公生日的那天晚上,她也没有放下工作,而是选择留在公司,继续与队友并肩作战。第二天上班,有同事问她:“昨天晚上你老公有没有生气?”她说:“没有啊,我老公赶在晚上 11:59许愿吹蜡烛,然后我们开开心心吃蛋糕。他说,这可能是他这辈子印象最深刻的一次生日。”
大翔负责计税模块相关产品的开发,他勤于思考,对所有细节都悉心打磨。大家经常开玩笑说产品就是他的“干儿子”。而他真正的孩子,也在产品打造的过程中降临人间,他收获了双重的欣喜。
老徐是一位长年从事变革项目管理的老员工,眼里满是架构、设计、问题、方案,恍惚间,昨天还是小学生的儿子,如今已经高考完毕。妻子说: “老徐,孩子的高考志愿你必须得关心一下了,再不关心,他就飞远了。”在切换的封闭期间,他回到酒店,远程和家人研究高校录取攻略。MetaERP 切换初战告捷,老徐的儿子也被心仪的大学顺利录取,接连的胜利让他喜不自禁。
在项目攻坚时期,晓玲的母亲身患重病,项目上线后,她才得以陪伴照顾母亲。一段时间后母亲离世,她很悲伤,也充满了愧疚和自责。
……
这些平凡的英雄,就像一颗颗星星,每个人只散发出一点点微弱的星光,却汇聚成了星河,照亮了团队前行的征程。现在,除了少数人继续 MetaERP的开发维护,大多数人都已回归自己原来的岗位,或是进入新的业务领域,开启了各自职业生涯中新的征程。
华为坂田基地 F 区有一幢 19 层高的办公楼,顶层是一间员工餐厅,环境简洁典雅,提供可口的粤式菜肴和茶点,项目组几位同事正相约在这里聚餐。
这里也是整个园区的制高点,站在餐厅的大落地窗前俯瞰环视,中式、欧式等各种风格的办公楼依次映入眼帘,林荫大道、天鹅湖、莫奈花园、园区森林、咖啡屋等尽收眼底,这个能够容纳几万名科技人员的超大花园,在明媚的阳光下显得格外美丽。往远眺望,繁忙的公路、穿梭的高铁、鳞次栉比的摩天大楼,无不显示着深圳这座年轻城市的现代化力量和面向未来的勃勃生机。再往远,在目光所及之外,是波澜不惊的深圳湾,连接着碧波万顷的伶仃洋、中国南海,通向广袤无垠的太平洋……
*本文节选自《质量为纲》,田涛著,中信出版集团出版。本文推荐阅读 学习交流,版权归作者或出版商所有,若涉及版权问题,烦请留言联系,我们将第一时间更正或删除。
推荐阅读:
不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)
腾讯XX集团数据湖项目建设方案(附下载)