rpt自动化测试与报告分析教程.docx

1、rpt自动化测试与报告分析教程Rational Performance tester自动化测试与报告分析教程一 Rational Performance tester性能测试工具简介 二 Rational Performance tester的安装说明三 记录和回放测试 脚本录制和回放四 场景设置与实战，常用工具对比五 执行测试脚本和监视测试资源六 分析结果七 Rational Performance tester和LoadRunner的比较目录一 Rational Performance tester性能测试工具简介 1二 安装说明 2三 实战举例：以工作流审批系统的“登陆”为例 41. 录

2、制脚本 51.1. 创建性能测试项目 51.2. 录制测试脚本 71.3. 脚本回放 81.4. 编辑测试脚本 92. 场景设置 122.1. 创建性能调度 122.2. 性能调度的设置 133. 测试结果分析 153.1. 总体报告 153.2. 摘要报告 163.3. 页面性能报告 163.4. 响应时间和摘要报告 173.5. 响应与时间详细信息 183.6. 页面吞吐量报告 183.7. 服务器运行状况摘要报告 193.8. 服务器运行状况详细信息报告 203.9. 服务器资源监控报告 20四、Rational Performance tester和LoadRunner的比较 214.

3、 工具大比拼 215. 小结 23五 常见问题 23六参考文献 24一 Rational Performance tester性能测试工具简介 IBM Rational Performance Tester(简称RPT)是IBM基于Eclipse平台及开源的测试及监控框架Hyades开发出来的最新性能测试解决方案。它适用于性能测试人员和性能优化人员，用于开发团队在部署基于HTTP和Https通信协议的Web应用程序前，验证其可扩展性、性能和可靠性。在为性能测试员和性能优化人员提供了前面所提到的各种性能测试能力以外，它还提供了可视化编辑器，一方面可以使新的测试人员可以在无需培训和编程的情况下，即

4、可快速上手完成性能测试；另一方面，也为需要高级分析和自定义选项的专家级测试人员，提供了对丰富的测试信息的访问和定制能力、自定义 Java 代码插入执行能力、自动检测和处理可变数据的能力。二 安装说明（1）软件的安装目录172.16.7.38Folder 1测试中心资料库01安装软件05测试软件rational_performance_testerx.x，里面有3个文件RPT_Vx.x_Part_1.zip，RPT_Vx.x_Part_2.zip，RPT_Vx.x_Part_3.zip。（2）安装过程首先点击“RPT_Vx.x_Part_1.zip”，软件解压，自动安装，如图1所示，整个安装过程

5、非常简单，没有复杂的设置。按照默认的步骤安装就OK了。下面列出几点需要注意的地方：开始安装界面图 安装过程其中的一步在这一步，我们直接点击“下一步”就行了，因为我们不知道你现在机器上的Eclipse IDE是否兼容rational performance tester。图 提示“插入磁盘”界面安装到大约一半的时候，会提示插入第2张磁盘。这里点击“浏览”，把“RPT_Vx.x_Part_2.zip”解压，选中解压文件，自动安装。图 出现此界面表明安装成功！特别说明：按照默认的安装方式，将不会用到RPT_Vx.x_Part_3.zip。三 实战举例：以工作流审批系统的“登陆”为例使用RPT对系统性

6、能进行分析的过程包括四个步骤：测试脚本录制、编辑与调试 场景设置 执行测试脚本测试结果分析 下面对这四个步骤进行详细介绍。1. 录制脚本1.1. 创建性能测试项目打开RPT，在菜单项中选择“文件” “新建”选择“性能测试项目”点击“下一步”，输入项目名（比如test），输入完后点击”完成“,(如图2.1,图2.2所示)弹开“根据记录来创建新测试”界面，选中“HTTP记录”“下一 步”,输入测试文件名，这里输入 “workflow_test”。如图2.3，2.4所示。图2.1新建项目界面 图2.2图2.3 图2.41.2. 录制测试脚本1）.创建完性能测试以后， RPT会打开一个浏览器，提醒你在

7、记录之前删除临时文件和cookie文件。在浏览器输入要测试系统的路径，比如输入http:/172.16.114.211:8088/approve/index.do。并模拟用户对系统的实际使用情况进行操作，RPT将自动录制其操作过程。图2.5所示。图2.52）. 录制完后，关闭浏览器来停止脚本录制。RPT记录器停止工作， “记录控制器”视图的内容显示如下：如图2.6所示。图2.61.3. 脚本回放在“测试导航器”中选择需要回放的测试，右键菜单选择“运行”“性能测试”，弹出“启动测试”的对话框。你也可以点击详细信息键来查看启动测试的详细信息。在第一次启动测试时，会自动生成测试代码。如果回放后，在“

8、性能报告”界面的总体TAB页中显示“完成”，并且界面中的柱状图都到达100，“错误日志” 视图内没有错误提示，则说明本测试脚本回放成功了。1.4. 编辑测试脚本对测试脚本的设置主要由7个方面：所有的操作都在图2.7中设置。选取测试消息，通过更改其详细的标题，建立更易于理解和重用的测试脚本； 通过在测试脚本中添加自定义的HTTP请求，循环和条件语句，测试员可以随意控制测试脚本的执行过程。循环语句可以控制指定消息的执行次数，条件语句（IF/ELSE语句块）可以实现根据上一消息的响应内容，决定测试脚本的执行路径； 通过在测试脚本中添加自定义的Java代码，测试员可以实现对消息返回内容的验证、为后面的

9、消息构造动态消息数据或执行各种特殊任务； 通过将一些消息组织成相应的事务，使得整个测试脚本更加容易理解，同时可以更方便的对测试结果进行分析； 通过启用页面标题验证点、响应代码验证点和响应包大小验证点，RPT会自动完成对测试执行过程中的页面标题、消息响应代码和数据包大小的验证，生成各种测试验证报告。右键点击页面/页面请求/页面响应，在右键菜单中选择启用相应的检查点。RPT提供了三种检查点： 页面标题VP：对预期标题大小写敏感。响应代码VP：设置响应代码VP后，在每个页面请求的响应下面增加一个“响应代码验证点”的文件夹。如果匹配方法选择“模糊”，那么如果记录测试时的响应代码为200，在测试执行时，

10、响应代码为201，202等均不会报错。响应大小VP：设置响应代码VP后，在每个页面请求的响应下面增加一个“响应大小验证点”的文件夹。设置动态数据， 在RPT里，可以通过数据池获得动态更新的数据。数据池把你在记录过程中所捕获的每个单独的数据以一组测试运行中的数据值做替换。数据池的目的是通过为每一次测试提供唯一的数值，以确保回放的真实性。创建数据池的步骤如下： 1)在“测试导航器”中选择需要创建数据池的项目，右键菜单中选择“新建”“数据池”，弹出“新建数据池”对话框。2)选择数据池所在的项目，输入文件名，如果想创建空的数据池，则直接点击完成键；如果需要将数据文件中的数据导入，那么就点击下一步键，选

11、择需要导入数据的csv文件。如果欲导入的csv文件第一列是正常的数据，且第一行没有列名时，那么在导入csv文件的界面中，“第一行包含变量名和建议类型”和“第一列包含等价类”选项均取消选中。手动关联，正确的测试执行中，一个服务器请求常常使用前一个请求返回值。确保准确的相关性会导致性能更好的测试。一个对 Web 服务器的请求可以包含来自前一个请求的响应数据。我们对此类型关联所使用的术语是数据关联。步骤：1、打开测试2、定位到必须由引用来替代的值的位置3、将该值高亮：按下鼠标左键，拖拽鼠标将其覆盖。4. 右键单击高亮值，选择 从以下位置替换 ，并选择适当的替代值。值呈现为深绿色且关联加入到了该页面的

12、 测试数据表格的代替为列中，这表示已经关联上了。测试编辑器按照标题列出测试的 HTTP 页面，当展开时，显示出每一页的请求及响应数据。你可以使用编辑器查看或定制从一个被记录的会话中自动生成的测试，或者如果你坚信你能够自己编写测试的代码。测试编辑面板有两个主要区域。左区， 测试内容，显示测试的 HTTP 页面的层次结构。右区， 测试元素详细信息，显示关于当前在测试层次中所选择条目的细节（测试，页面，页面请求，页面响应，或连接）。当你展开一个测试页面时，你会分别在各自独立的文件夹中看到一个关于页面请求的列表，文件夹的名字是完整的URL请求字符串减去开始的 http:/。如图2.7所示。图2.7列表

13、中粗体显示的是最初请求，页面标题来自这个请求。如果最初的请求没有返回页面标题，测试生成器从URL的第一个结点为其生成一个唯一的名字。当你展开一个请求，你会看到这个请求的响应，也许还会有连接数据。如图2.8。图2.8每个请求中的 Response 数据显示了 Web 服务器基于请求向浏览器返回的数据。被列在这个页中的请求对 Web 服务器为此页而返回的任何事物负责。Connection 数据包括关于向 Web 服务器连接的信息，例如 SSL，验证，或是代理选项。如图2.9所示。图2.92. 场景设置 我们将使用性能测试调度来表示我们要在服务器上运行的工作量。虽然录制脚本占去了大部分时间，然而准确

14、的性能测试对保重有效的负载来说是极为重要的。这部分的目的是精确的估计实际用户将向系统提交的工作量。 我们需要根据系统的性能需求来设计我们的测试实施工作。这就需要在性能测试调度中进行设置。2.1. 创建性能调度新建测试调度的步骤如下：1） 在“测试导航器”中选择需要新建测试调度的测试项目，右键菜单选择“新建”“性能调度”，弹出“性能调度”对话框。2） 在“性能调度”对话框中，选择性能测试项目对应的文件夹，并输入文件名(比如workflow_schedule)，点击完成键即可。如图2.10所示图2.10 新建测试调度后，还需要对测试调度进行设置后，才可以运行。在这里我们设置测试调度的内容如下：1）

15、右击用户组，然后点击 添加 测试. 2）在 “选择性能测试” 对话框中，展开项目名字以显示“ workflow_test”。 3） 选择测试，点击“确定”。2.2. 性能调度的设置性能调度的设置主要有以下几个方面：如图2.11，全部的设置都在此界面上设置。根据需要创建用户组设置用户组运行的测试设置运行持续时间设置思考时间(thinking time)设置资源监控设置响应时间细分设置测试日志图2.11 性能调度设置界面 1根据需要创建用户组。 步骤： 1)在性能调度编辑界面，右键点击性能调度名，在右键菜单中选择“添加”“用户组”。 2)在用户组的调度元素详细信息界面中设置用户组名、组的大小（按照

16、百分比或设置实际用户数）、运行用户组的位置。 2设置用户组运行的测试。 步骤： 1)右键点击用户组，在右键菜单中选择“添加”“测试”，弹出“选择性能测试”对话框。“选择性能测试”对话框中列出了所有当前工作空间中打开的性能测试项目。 2)选择用户组需要执行的测试，点击确定键。这里可以通过shift和ctrl键来进行多选。 3设置延迟时间。用来模拟真实环境中，用户在进行不同业务操作中可能存在的思考和等待时间。设置了延迟时间后，表示每个测试都会延迟设置的时间，可以方便你更好的控制用户的动作。 步骤：1)右键点击用户组，在右键菜单中选择“添加”“延迟”，在延迟的调度元素详细信息中设置延迟的时间。4设置

17、循环次数，即设置脚本的迭代次数。 性能调度只包含了用户组和测试，用户组中的每个测试会按顺序的执行。循环提供了比简单的顺序运行复杂的多的控制。增加循环让你按照一定的迭代重复测试，并且设置测试运行的频度。 步骤： 1)右键点击用户组，在右键菜单中选择“添加”“循环”，在循环的调度元素详细信息中设置迭代次数。 2)（可选）如果需要的话，也可以设置迭代速率。迭代率是指设置测试运行的速率，如每分钟4次迭代。 3)设置了循环次数后，需要为循环添加测试，步骤如2.设置用户组运行的测试。所设置的迭代次数是针对循环内的所有测试起作用。 5设置随机选择器。 增加一个随机选择器，可以让你随机的重复一系列的测试，模拟

18、真实用户的不同活动。假设一个随机选择器包括两个测试：浏览和下订单。你分配“浏览”测试权重 7，“下订单”3的权重。每次执行循环时，“浏览”测试有70%的机会被选中，“下订单”测试有30%的机会被选中。 步骤： 1)右键点击用户组，在右键菜单中选择“添加”“随机选择器”，在随机选择器的调度元素详细信息中设置迭代次数。 2)按添加键，添加加权块，并输入加权块的权重。 3)设置了随机选择器后，需要为加权块添加测试，步骤如2.设置用户组运行的测试。23执行测试脚本最困难的部分已经解决了！现在进行测试运行，按如下步骤进行：在测试导航器中，选择 “workflow_schedule”。 右击时间计划，然后

19、点击 “运行方式” “性能调度”。这将启动测试，并成生报告。这个工具更好的特性之一是报告能够实时产生。3. 测试结果分析您可以很容易地获取性能测试的结果。结果将在运行期间动态生成。您还可以在运行后重新生成结果以用于查看和分析。性能在缺省情况下具有 8 种类型的报告： 总体报告 包含运行状态的进展信息，以及显示运行的总体成功情况的条形图 摘要报告 显示对测试运行而言最重要的数据，并允许分析最终或中间结果 页面性能 显示当测试进行时测试中最慢的 10 个页面的平均响应 响应与时间摘要 显示平均响应趋势的时间曲线图 响应与时间详细信息 显示响应趋势的时间曲线图 页面吞吐量 显示每个时间间隔所传输的结

20、果的频率概览 服务器运行状况摘要 显示关于服务器响应负载的好坏程度的总体指示 服务器运行状况详细信息 显示 10 个执行最不成功的页面的特定详细信息 3.1. 总体报告总体报告提供了运行状态过程的信息，一个柱状图显示了运行的整体结果。默认的，你将总能看到页面元素状态代码成功的百分比，以及整个运行中的页面状态代码成功的百分比。可选的，如果运行包括页面标题验证点或者运行包括应答代码或应答大小验证点，你也可以看到他们通过率的百分比。图 2.12 总体报告3.2. 摘要报告摘要报告是所见即所得的。它显示了测试运行中最重要的数据，并使你可以大概地分析测试最终或中间结果。在这个报告中，你将能够发现例如运行

21、状态，持续时间，活跃的/终结的/全部的用户，最大/最小/平均响应时间，总采样数量，以及通过的验证点的百分数等信息。图2.13 摘要报告3.3. 页面性能报告页面性能报告显示了在测试过程中，最慢的10个页面的平均响应时间。这使得你在测试过程中或在测试之后对系统响应做出评估。这个标签页分为两个部分：曲线图和表格。此图显示了最慢的10个页面的平均响应时间。每条柱代表在记录过程中你所访问的一个页面。当你运行这个测试时，这个图随时发生改变，因为在运行过程中，最慢的10个页面会动态更新。在运行之后，标记显示了整个运行过程中最慢的10个页面。图2.14 页面性能报告3.4. 响应时间和摘要报告响应与时间的摘

22、要报告使你能够以图形化的方式查看整个时间区间内的平均响应趋势。它包括两个线性图以及相对应的摘要表格：左边的曲线性图显示了所有页面在运行期间内的平均响应时间。图中的每个点为在整个时段内所发生的一个平均值。图下的表格显示了这样一个值：运行时间内所有页面的总平均响应时间。 右边的曲线图显示了所有页面元素在整个运行期间内的平均响应时间。图中的每个点为在整个时段内所发生的一个平均值。图下的表格显示了这样一个值：运行时间内所有页面元素的总平均响应时间。你可以在时间计划中 Statistics sample interval作为时间计划的一个属性。图2.15响应时间和摘要报告3.5. 响应与时间详细信息响应

23、与时间细节报告使你可以以图形化的方式查看整个时间内的响应趋势。每个单独的曲线代表每一页。曲线图显示了每一页在时间段内的平均响应。图下的表格包括了如下补充信息：最小，平均以及最大的运行响应时间，在最近取样区间内相对一个区间的页面连接尝试率，以及每个区间页面连接尝试次数。图2.16响应与时间详细信息3.6. 页面吞吐量报告页面吞吐量报告为你提供了每个时间段内被传递请求频率的概述信息。左边的曲线图显示了所有页面每个时间段内页面尝试连接率以及页面点击率。 页面尝试连接 表示被发送出的初始请求；它不包括位于页面内的请求。点击 表示服务器接收了请求，并返回应答。在图下方的汇总表显示了总点击率并对运行期间内

24、的每个页面进行计数。 图2.17页面吞吐量报告3.7. 服务器运行状况摘要报告服务器运行状况摘要报告使你可以查看关于服务器是如何良好的对负载做出应答的整体指标。左边的柱状图显示了全部的页面连接尝试，页面点击以及运行成功而显示的状态代码。图下方的表格显示了同样的信息。左边的柱状图显示了总体页面元素连接尝试，页面点击，以及运行成功而显示的状态代码。图下方的表格显示了同样的信息。图2.18服务器运行状况摘要报告3.8. 服务器运行状况详细信息报告服务器运行状况详细信息报告提供了对成功完成的10个最差的页面的特定细节信息。图下方的汇总表显示了对所有页面连接尝试的总量、点击、运行中成功次数，以及运行期间

25、内每秒钟连接尝试次数。图2.19 服务器运行状况详细信息报告3.9. 服务器资源监控报告此报告在默认设置下并没有产生，需要在“性能调度“界面中设置。220资源报告以下是服务器资源监控指标：Bytes Transmitted/sec: 随机存取存贮器每秒钟传输的字节数。Total Errors/sec: 随机存取存贮器每秒钟读写错误的次数。Bytes Received/sec: 随机存取存贮器每秒钟接收的字节数。Total Processor Time :系统上所有处理器都忙于执行非空闲线程的平均时间Pool Nonpaged Bytes:非分页池中的字节数，指可供操作系统组件完成指定任务后从其

26、中获得空间的系统内存区域。Pool Paged Bytes: 分页池中的字节数。Pages/sec: 为解析内存对页面（引用时不在内存中）的引用而从磁盘读取的页数或写入磁盘的页数。Page Faults/sec:此值为处理器中的页面错误的计数。Disk Read Time:选定的磁盘驱动器对读请求提供服务已用时间所占百分比。Disk wirte Time:选定的磁盘驱动器对写请求提供服务已用时间所占百分比。Disk Time:选定的磁盘驱动器对读写请求提供服务的已用时间所占百分比。四、Rational Performance tester和LoadRunner的比较4. 工具大比拼下面是我在学

27、习Rational Performance Testerx.x时，将RPT和LR操作进行的对比。仅限于操作和功能上，不包括内部结构等深层次对比。表1、RPT和LR操作内容上的比较操作内容LoadRunner8.0 Rational Performance Testerx.x1.录制脚本在Virtual User Generator中录制。创建测试项目后，进行“记录性能测试”操作2回放脚本在Virtual User Generator中，运行当前脚本在“测试导航器”中，选中需要回放的脚本，以“性能测试”方式运行3编辑脚本参数池技术在Virtual User Generator中，创建一个参数；然

28、后将需要参数化的变量与此参数进行关联。在“测试导航器”中，选中需要添加数据池的测试项目，执行添加数据池操作，在“测试内容”界面右键执行“添加数据池操作”，最后对需要关联的变量进行替换。插入事务在Virtual User Generator中，在需要进行事务控制的页面前后分别添加事务开始点和结束点。在“测试导航器”中，双击打开需要插入事务的测试，在“测试内容”界面中插入事务。不需要添加事务开始点和结束点。插入集合点在Virtual User Generator中，在需要进行集合点操作的页面添加集合点，并可以在Controller中设置集合点策略。默认所有用户到达后同时开始测试。有“延迟”这个属性

29、设置集合点策略。手工关联找到关联的参数，使用web_reg_save_param函数手动建立关联。4.场景设置在Controller中，设置用户组、虚拟用户数、执行策略（包括：每个用户启动延迟时间、运行时间、每个用户停止延迟时间）新建性能调度，在测试调度中设置用户组、虚拟用户数和执行策略。5执行测试在测试执行时，可以看到测试执行的情况及监控测试场景的执行情况。在测试导航器中，运行性能调度，在测试执行时，可以看到测试执行的主要报告。6分析测试在Analysis中进行报告的处理在性能测试运行中，找到相应的报告记录。 表2.RPT和LR功能和操作易用性上比较对比项LoadRunner8.0Ratio

30、nal Performance Testerx.x界面友好性纯英文界面，但界面非常简洁中文界面，系统基于Eclipse平台，界面易于理解。资源占用情况内存需要512M以上，进程占用50M以内的虚拟内存内存需要768M以上，进程占用的虚拟内存随着测试运行的延续而增加，占用的虚拟内存维持在100M400M。测试录制过程可在录制过程中添加集合点、事务等操作。登录、退出等只操作一次的部分可放在不同部分（vuser_init，vuser_end）。在录制过程中不能进行添加事务等操作。登录退出等只操作一次的步骤和迭代循环的部分录制在一起。录制脚本不超过10个页面时，可不设置集合点。测试执行过程执行过程中的性能情况可以通过监控界面看到，且信息直观。执行过程中能看到具体步骤的性能数据，步骤是按照函数来分的。执行速度稳定，不同次数执行测试所需的时间差距不大。执行过程中可以通过不同的Tab页面查看性能数据。执行过程中可以看到阶段的性能数据。阶段划分颗粒较大，是按照HTTP页来划分的。执行过程不稳定，时快时慢。测试执行结果相对较稳定，正常情况下几次执行的测试数据偏差不大。执行结果的数据差距比较大。事务的定位容易事务准确定位比