FA12# 流量录制回放智能降噪知识点梳理
瓜农老梁
共 1024字，需浏览 3分钟
·
2022-03-02 13:41
引言
已录制的流量进行回放，如果回成功率较低，比如20000个请求错误率5%，也有1000个错误， 对开发测试排查成本过高，疲惫抱怨也会增加。本文降低排查成本提升开发测试效率，侧重在智能降噪这块涉及的知识点进行整理，主要内容有：
常见噪点 智能降噪 文章小结
1.时间差异
流量录制和回放时间戳不同，代码中使用该时间戳进行逻辑判断，例如：System.currentTimeMillis() native方法，如果响应的Response也有时间戳也会造成差异。
2.随机数差异
请求参数或者返回结果中使用了随机数字，这种大概率是会失败的。
3.自增数据差异
无论请求还是返回，自增数据也会造成比对失败。
4.链路ID标识
类似链路ID、SequenceID等标识，在系统中会透传，可能造成回放失败。
5.配置中心数据
线上配置中心的数据和回放的测试环境配置数据不一致，也导致了数据回放失败。
6.返回无序元素集合
在方法接口调用返回时无序的元素集合，也会造成结果对比误差。
1.降噪配置
通过提供全局、应用级别、接口级别对噪音字段进行配置，配置可以解决一部分问题，适合存在通用性字段且数量不多的情况。可以作为降噪的第一层配置。
2.智能降噪
是一种通过对流量diff的自动对比的降噪方式，下面以Twitter开源框架Diffy为例走查其运行原理，可供我们实践中定制二开或者自研参考 。
通过三个版本系统进行流量对比，将其噪声过滤：
候选版本：即待提测上线版本 稳定版本：可以部署线上Master分支 稳定版本副本：可以部署线上Master分支
工作原理：
通过向稳定版本和稳定版本副本回放流量，对比其流量差异得到【噪声 】 通过向候选版本和稳定版本回放流量，对比其流量差异得到【原始区别 】 再从【原始区别】剔除【噪声】得到最终的diff结果
Diffy的Github的地址：
https://github.com/twitter-archive/diffy
本文罗列了流量回放中常见的噪音以及解决噪音的常见措施。需要以智能去噪为主，加以一些定制化配置字段去噪综合治理来降低测试开发的排查成本。
评论