阿里云 PTS VS Jmeter -性能测试初体验之工具对比
本文为您对比两个压力/性能测试工具阿里云PTS(免费版)与Jmeter。有什么不妥之处,请留言我们。我们开始吧,直入主题!
0.使用 设置 等
使用限制:阿里云免费版并发数量最大支持50,运行时长最大5分钟。最便宜套餐:1000元/月。
Jmeter为Apache旗下的一款开源压测工具,免费无限制。
用户量:Jmeter>阿里云PTS
1.服务器CPU/内存等硬件监控 方面 (非业务指标)
共同坑点:a.使用时都必须安装java,并配置JAVA_HOME环境变量;b.必须在服务器端开启运行radar(阿里云)/ServerAgent(Jmeter)
峰值:阿里云pts的统计数据曲线平滑,不能提现突出地体现峰值;Jmeter可突出体现。
CPU/内存等计算:阿里云自动计算平均值,数据不支持导出
Jmeter只自动生成了图标,平均值需要导出数据,手动计算,不过Jmeter的支持导出数据,也可以借助excel自动统计。(注意:这里不是业务指标)
2.业务指标方面
阿里云pts各项指标,自动生成,主要的性能指标都有提现;
Jmeter各项指标,自动生成,指标更多一些
其中,阿里云pts展示出的指标与Jmeter对应关系如下:
阿里云pts -----Jmeter
事物名-------Label
TPS --------Throughout
RT(ms)-----Average
执行事物数-----samples
失败事物数 ----samples*Error%
失败率-------Error%
3.响应断言(对应阿里云pts的检查点)
断言是:返回状态码正确的情况下,为了进一步验证返回页面是否正确
个人感觉阿里云的简陋了一些,参数化比较麻烦,使用过程中发现,填写了断言后阿里云执行有事会报错(原因不明);
Jmeter到时没有发现这样的情况,除非填写的字符串不在返回值内或服务器挂掉。
4.日志
阿里云只提供了返回状态与返回字节大小
Jmeter使用结果树可以查看具体的日志详情(返回页面信息等)
5.不同测试工具 测试数据的差别
由于是不同的工具,机制不一样,数据有差别是难免的。
响应时间等跟网段等环境也有一单关系。
已知的差别:测试过程中发现同样的并发量,使用PTS时的服务器的资源(CPU/内存等)使用率 比 使用Jmeter略底。PTS这点不错。
6.简单总结
工具的选择可根据工具的开源与否、自己的喜好、公司规模/经费等,进行选择适合自己的工具。当然还有很多工具,Loadrunner、pylot等,本文不做介绍。
||本文由人云亦云撰写。为您对比两个压力/性能测试工具阿里云PTS(免费版)与Jmeter。有什么不妥之处,请留言我们。