Bench4Q软件测试基准工具
评论
随着电子商务的持续发展，电子商务收入占国民经济收入总量的比例越来越大，电子商务企业正面临着前所未有的发展机遇。与此同时，电子商务企业竞争日益激烈，为了在激烈的竞争中生存和胜出，电子商务企业一方面需要吸引新的客户，另一方面留住已有的客户变得越来越重要。随着竞争的日益激烈，价格竞争越来越艰难，电子商务企业在非价格方面的竞争优势成为了留住用户的关键。其中，提供给最终用户的服务质量在留住已有客户方面起着至关重要的作用，将直接影响企业的商业利益。
在电子商务领域，大部分企业会使用已有的成熟的中间件技术来搭建自己的应用。因此，这些中间件技术所能提供的服务能力及服务质量保障能力特别值得关注。测试基准(Benchmark)则是推动该研究工作的重要手段之一。测试基准通过模拟典型的应用场景来评价中间件，对于电子商务企业在选择中间件平台及中间件平台的评估方面有较大的指导意义。
TPC-W是目前比较流行的B2C模式的测试基准，是由TPC（The Transaction Processing Performance Council，事务处理性能委员会）所提出的。其主要关注点是整个系统的峰值性能，测试的主要指标是WIPS（每秒处理的Web交互次数）及$/WIPS(每WIPS的花费)。TPC-W只是单纯的从性能指标维度来评价整个系统的优劣，不能反映出服务质量在电子商务中的关键地位和重要作用。同时，TPC-W的负载生成方式是封闭的，是基于用户总数来生成负载，在这种生成负载方式下，存在着session间的依赖，使得TPC-W不仅难以模拟动态开放的Internet计算环境，而且使得模拟的压力部分取决于待测系统的表现，从而无法实现真正意义上的负载的完全控制。
本项目针对当前基准测试中的不足，研究一种面向服务质量的测试基准，在TPC-W的基础上，提出了一种面向服务质量的电子商务测试基准——Bench4Q。Bench4Q在模拟负载仿真、度量分析等多个方面对TPC-W进行了扩展。
Bench4Q Tool是一个Bench4Q的实现，Bench4Q Tool为JEE应用服务器的测试提供一个开放的测试环境及丰富的结果分析功能。程序提供了丰富的配置参数，包括测试场景、Open或者Close的测试模式及思考时间、容忍度等用户行为模拟。同时，系统提供了性能相关（吞吐量、响应时间等）、QoS相关（事务数、收益等）的统计工具及图形化展示工具。
Bench4Q Tool系统构成如下图所示：
系统基本运行界面如下图所示：