翻车了,记一次 Go 线上事故
共 1858字,需浏览 4分钟
·
2021-05-05 10:53
关键词:golang、go、gorm、零值、有担当的富人
翻车日期:2021.03.04
翻车现场
今天下午3:30有同事反馈,app冷启动出现了测试公告弹窗。
画外音:
半小时前刚更新一个服务,赶紧检查下配置吧。
事件回述
10:27:代码发布sandbox环境 10:27~11:30:测试配置导入(因为配置比较多)生产环境,并手动修改少量差异配置 11:30~11:50:sandbox环境验收完成 11:51: api开始灰度 12:46: 灰度结束,api全量发布 15:00: 优化配置解析,重新发布了config服务 15:30: 同事反馈app冷启动有测试弹窗,立即检查并修正公告配置
蛛丝马迹
上午上线了一个需求,迁移了48条
配置到业务配置中心(原来的配置是硬编码在项目里面的,每次改都要修改代码重新发布)。
上午上线之前明明验收过,没有问题才发生产的呀!
为了验证迁移之后接口一致性,我还特地安装了一个json-diff工具(官网),还特地从4.x
、5.x
、6.x
验证了多个版本的配置,都没有问题。
为啥现在有几条配置跟我验证时候的不一样了呢?
等等,这些文案不是测试环境的文案么?
画外音
:这个很可疑哦!
来龙去脉
因为配置文件比较多,一个个在生产环境加太麻烦了,我就直接把测试配置导入到生产环境中。然后手动修改下生产和测试不一致的几条配置,其中就包含了测试公告
的几条配置。
画外音
:但是为什么验收的时候是好的,然后下午重新发布了下服务就出问题了呢?
我打开数据库,看到数据库里面这几条配置记录还是测试的配置,并没有修改过来。。。我打开我的goland,翻看了下编辑接口代码,一下就发现了可疑之处:
err := tx.Table(p.tableName).Where("id=?", configID).Updates(t).Error
gorm
的Updates
有个坑啊——如果你传的是一个struct
,gorm
默认是不更新“零值”
字段的。这个坑我早就知道,无奈再一次重重的的踩进去了。git blame
看了下作者——原来就是我自己,去年12月份写下的😭(自己的坑自己填,好在没有祸害到别人)。
豁然明朗
我画了一个简图,方便大家明白:
配置服务是无状态服务,所有配置都保存在内存中(业务配置不多,不会爆内存) 服务启动的时候从mysql(持久化存储)加载所有配置,并与etcd保持一致性 增量配置会保存到mysql中,并通过etcd保持所有节点同步
画外音
:终于知道了为什么上午验收是好的,下午重启就出问题了!!!
上午导入的测试配置,生产环境正好要把他们其中几条改成空值
。增量数据通过etcd同步到内存是正确的,但是持久化到mysql
的时候gorm
把应该置空的字段忽略
了,导致数据库里面没有修改正确。下午一重启,GG。。。
总结
领导好像没有说什么,因为没有客诉,事情并不是很大。
画外音
:既然领导没有说故障定责,要不就这样算了?
犹豫了半分钟——还是主动写个故障报告吧。
我犹豫的是,没有产生客诉,问题时间不长,而且犯得是这么低级的错误,是不是睁一只眼闭一只眼就过去了。。。
还是写了报告是因为内心告诉我,小事都不能承担责任,大事(优质项目)还轮得到我么?
最近看了《穷爸爸 富爸爸》这本书,书中说到“穷人的恐惧包括:害怕付不起账单、害怕被解雇、害怕没有足够的钱、害怕重新开始等等”
。简单说就是,穷人总数怕这怕那。而这一次,我选择了做个有担当的富人😭。。。
教训与改进
使用 json-diff
工具,自认为可以100%
验证,就自测上线数据同步场景不仅仅要观察表象,也要关注持久化数据是否与表象一致 加强开发规范,需求不分大小,都需要请测试把关 不能盲目自信,保持一颗敬畏的心
推荐阅读