异常场景测试

作者|洪渺

什么是异常测试？

异常测试是有别于功能测试和性能测试的又一种测试类型，通过异常测试，可以发现由于系统异常、依赖服务异常、应用本身异常等原因引起的系统问题，可以帮助我们改善以后的设计方案，提高系统的稳定性。

为什么要做异常测试？

常规的功能测试过程中，主要关注的是业务的正常逻辑是否能够走通，以及在正常逻辑多并发运行过程中是否有潜在的性能问题，往往忽视了各种异常情况对服务造成的影响。随着产品规模的扩大以及业务的不断迭代，我们无法预料每个应用可能出现的异常情况。所以在测试过程中不但要关注正向测试也需要关注异常场景测试。

如何展开异常测试？

从异常测试的定义来看，想要开展异常测试，首先需要知道怎么去设计异常用例，应该使用哪些测试方法来模拟异常场景？接下来我将以保卖业务为例从接口异常和业务操作异常两个维度进行具体的介绍。

一、接口异常测试

接口异常测试可能会与业务操作异常有部分重叠，但个人觉得接口异常测试放在接口测试阶段比较合适，并且接口异常测试可以为后续业务操作异常测试做铺垫。

• 整体流程：了解产品需求，分析需求特点-》了解接口实现逻辑-》设计接口用例-》确定测试方法

• 关注重点：依赖服务调用异常和输入异常时，业务代码能否容错及容错逻辑是否合理。

• 测试内容：主要包括输入异常、操作异常、服务异常等。

• 接口类型：http接口、scf接口

1、http接口测试

保卖回收估价平台为后台系统，存在很多新增、删除、修改模板等操作，业务逻辑会要求在新增修改等操作时不允许为空或重复等校验，一般像这类操作前端和后端都会做校验，单纯从页面只能测试前端校验逻辑是否正确，无法测试后端校验是否正确，通过http接口测试就可以覆盖到后端的校验逻辑。所以基于业务逻辑在进行接口测试时会重点关注以下异常情况，其中主要包括：

• 重复和非空校验：名称重复、必填项字段为空等

• 异常参数：参数不完整、参数重复等

• 异常查询：缺少分页信息、缺少品类id\型号id等

• 数值校验：设置参数为非数值类型、包含特殊字符等

测试工具主要使用Yapi平台：在设计接口case时通过异常参数的传参，可以清楚的验证异常场景下接口的返回值。

2、scf接口测试

在测试保卖订单流程时，会重点关注订单状态的流转。以参拍接口为例，为避免出现超卖，会针对接口进行并发测试，来校验后端在参拍时是否对回收单状态进行了校验。

测试方式：使用注解的方式对TestNg线程池和执行次数进行配置

invocationCount：表示执行的次数

threadPoolSize：表示线程池内线程的个数

二、业务操作异常测试

业务操作异常测试一般是放在功能测试的后期，因为业务异常用例的设计需要对项目有一定的理解，是业务强相关的。整体流程主要分为以下四步：

结合业务需求，确定业务重点-》了解开发实现逻辑-》设计异常场景用例-》确定测试方法

1、基于业务的异常场景测试

以保卖估价器业务为例，估计器系统为后台操作系统，每个模块都存在新增、编辑、删除等功能，映射逻辑的上传都是通过导入excel的方式。所以在测试期间会重点关注页面异常操作和excel上传异常。

（1）页面异常操作

• 思路：由于在接口测试阶段已经将对应模块的接口异常case覆盖到，所以在功能测试阶段只需要重点关注页面层面的异常操作。

• 异常测试点：提交时快速多次点击、频繁添加/删除

• 测试方法：主要通过页面频繁操作对系统并发情况进行验证

（2）excel上传

• 思路：了解对应上传功能校验逻辑，针对校验逻辑设计异常case

• 异常测试点：上传内容包含特殊字符、文件格式不正确、非空校验、最大条数限制、表头顺序是否一致、业务内部逻辑

• 测试方法：主要通过修改上传的excel文件中的内容，来模拟异常数据的上传

2、通用性异常场景测试

（1）幂等校验

（2）缓存测试

为提升效率，很多系统应用了缓存机制，那么对于缓存测试以下三点在测试过程中需重点关注。