InfectionPHP 突变测试框架
Infection 是一个基于 AST(抽象语法树)突变的PHP 突变 (Mutation ) 测试库。它用作 CLI 工具,可以从项目的根目录执行
突变测试是一种基于故障的测试技术,它提供了一种突变评分指标 (MSI)的测试标准。MSI 可用于衡量测试集在检测故障能力方面的有效性。Infection 提供如下测试功能:
- 运行测试套件,以查看是否所有测试都通过
- 使用一组预定义的变异器(变异运算符)来变异源代码
- 对于每个突变体(经过一次更改的修改代码),Infection 会进行新的测试(覆盖已更改代码)
- 分析测试是否失败
- 收集被杀死、逃脱的突变体、错误和超时的结果
假设你有一个带有 hasErrors() 方法的 Form 类,
// Form.php
public function hasErrors(): bool
{
return count($this->errors) > 0;
}
Infection 会产生以下突变体:
边界条件突变:
public function hasErrors(): bool
{
- return count($this->errors) > 0;
+ return count($this->errors) >= 0;
}
条件协商突变
public function hasErrors(): bool
{
- return count($this->errors) > 0;
+ return count($this->errors) < 0;
}
整数 0- 1,1 -0 突变
public function hasErrors(): bool
{
- return count($this->errors) > 0;
+ return count($this->errors) > 1;
}
突变评分指标(MSI)
Metrics:
Mutation Score Indicator (MSI): 47%
Mutation Code Coverage: 67%
Covered Code MSI: 70%
这个例子报告了一些测试分数:
突变评分指标 (MSI)
MSI 为 47%。这意味着所有生成的突变中有 47% 被检测到(即杀死、超时或致命错误)。MSI 是主要的突变测试指标。鉴于代码覆盖率为 67%,存在 20% 的差异,因此在此示例中代码覆盖率是一个糟糕的质量度量。
计算公式:
TotalDefeatedMutants = KilledCount + TimedOutCount + ErrorCount;
MSI = (TotalDefeatedMutants / TotalMutantsCount) * 100;
突变代码覆盖率
MCC 为 67%。正常来说,它应该跟正常代码的覆盖率在同一范围内。
计算公式:
TotalCoveredByTestsMutants = TotalMutantsCount - NotCoveredByTestsCount;
CoveredRate = (TotalCoveredByTestsMutants / TotalMutantsCount) * 100;
覆盖代码变异评分指标
被测试覆盖的代码的 MSI 为70%(忽略未测试的代码),这个数据展示了测试的实际效果。
计算公式:
TotalCoveredByTestsMutants = TotalMutantsCount - NotCoveredByTestsCount;
TotalDefeatedMutants = KilledCount + TimedOutCount + ErrorCount;
CoveredCodeMSI = (TotalDefeatedMutants / TotalCoveredByTestsMutants) * 100;
评论