翻车了,记一次 Go 线上事故

Go语言精选

共 1858字,需浏览 4分钟

 ·

2021-05-05 10:53

点击上方蓝色“Go语言中文网”关注,每天一起学 Go

关键词:golang、go、gorm、零值、有担当的富人

翻车日期:2021.03.04

翻车现场

今天下午3:30有同事反馈,app冷启动出现了测试公告弹窗。

画外音:半小时前刚更新一个服务,赶紧检查下配置吧。

事件回述

  • 10:27:代码发布sandbox环境
  • 10:27~11:30:测试配置导入(因为配置比较多)生产环境,并手动修改少量差异配置
  • 11:30~11:50:sandbox环境验收完成
  • 11:51: api开始灰度
  • 12:46: 灰度结束,api全量发布
  • 15:00: 优化配置解析,重新发布了config服务
  • 15:30: 同事反馈app冷启动有测试弹窗,立即检查并修正公告配置

蛛丝马迹

上午上线了一个需求,迁移了48条配置到业务配置中心(原来的配置是硬编码在项目里面的,每次改都要修改代码重新发布)。

上午上线之前明明验收过,没有问题才发生产的呀!

为了验证迁移之后接口一致性,我还特地安装了一个json-diff工具(官网),还特地从4.x5.x6.x验证了多个版本的配置,都没有问题。

image-20210304201103809

为啥现在有几条配置跟我验证时候的不一样了呢?

image-20210304201442816

等等,这些文案不是测试环境的文案么?

画外音:这个很可疑哦!

来龙去脉

因为配置文件比较多,一个个在生产环境加太麻烦了,我就直接把测试配置导入到生产环境中。然后手动修改下生产和测试不一致的几条配置,其中就包含了测试公告的几条配置。

画外音:但是为什么验收的时候是好的,然后下午重新发布了下服务就出问题了呢?

我打开数据库,看到数据库里面这几条配置记录还是测试的配置,并没有修改过来。。。我打开我的goland,翻看了下编辑接口代码,一下就发现了可疑之处:

err := tx.Table(p.tableName).Where("id=?", configID).Updates(t).Error

gormUpdates有个坑啊——如果你传的是一个structgorm默认是不更新“零值”字段的。这个坑我早就知道,无奈再一次重重的的踩进去了。git blame看了下作者——原来就是我自己,去年12月份写下的😭(自己的坑自己填,好在没有祸害到别人)。

豁然明朗

我画了一个简图,方便大家明白:

  • 配置服务是无状态服务,所有配置都保存在内存中(业务配置不多,不会爆内存)
  • 服务启动的时候从mysql(持久化存储)加载所有配置,并与etcd保持一致性
  • 增量配置会保存到mysql中,并通过etcd保持所有节点同步

画外音:终于知道了为什么上午验收是好的,下午重启就出问题了!!!

上午导入的测试配置,生产环境正好要把他们其中几条改成空值。增量数据通过etcd同步到内存是正确的,但是持久化到mysql的时候gorm把应该置空的字段忽略了,导致数据库里面没有修改正确。下午一重启,GG。。。

总结

领导好像没有说什么,因为没有客诉,事情并不是很大。

画外音:既然领导没有说故障定责,要不就这样算了?

犹豫了半分钟——还是主动写个故障报告吧。

我犹豫的是,没有产生客诉,问题时间不长,而且犯得是这么低级的错误,是不是睁一只眼闭一只眼就过去了。。。

还是写了报告是因为内心告诉我,小事都不能承担责任,大事(优质项目)还轮得到我么?

最近看了《穷爸爸 富爸爸》这本书,书中说到“穷人的恐惧包括:害怕付不起账单、害怕被解雇、害怕没有足够的钱、害怕重新开始等等”。简单说就是,穷人总数怕这怕那。而这一次,我选择了做个有担当的富人😭。。。

教训与改进

  • 使用json-diff工具,自认为可以100%验证,就自测上线
  • 数据同步场景不仅仅要观察表象,也要关注持久化数据是否与表象一致
  • 加强开发规范,需求不分大小,都需要请测试把关
  • 不能盲目自信,保持一颗敬畏的心


推荐阅读


福利

我为大家整理了一份从入门到进阶的Go学习资料礼包,包含学习建议:入门看什么,进阶看什么。关注公众号 「polarisxu」,回复 ebook 获取;还可以回复「进群」,和数万 Gopher 交流学习。

浏览 48
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报