AndroidUI自动化测试框架Orange

随着移动互联网的浪潮，公司移动产品日益增多，为了更好的保障产品质量，我们在手工测试的基础上对于稳定的主干功能会引入UI自动化测试，这篇文章将介绍我们基于开源框架Robotium开发的Android UI自动化测试框架Orange。

一、    Orange介绍

Orange是基于开源框架Robotium进行的二次开发，主要解决Robotium运行用例过程中偶尔某个用例crash、超时等导致收集不到所有用例测试结果的问题，以及提升用例运行的稳定性。与此同时新增了PC端的支持，包括对模拟器的操作以及测试结果的收集以及展示，编写用例后通过简单配置即可以实现整个运行流程的自动化。

当前主要功能如下：

1、   支持自动创建、启动、关闭、删除模拟器以及自动重签名指定apk功能

2、   支持一份用例自动在不同SDK版本下运行

3、   支持用例运行crash、超时、失败后自动重跑以及失败用例自动截图功能

4、   支持WebView控件

5、   支持可视化测试结果展示

6、   支持和持续集成Jenkins平台结合

7、   支持Windows、Linux、Mac平台

8、   支持Android模拟器、真机运行测试用例

orange架构图如下：

哪些项目或者团队适合使用Orange？

1、Orange是UI自动化测试框架，所以主干UI稳定的项目适合使用Orange编写回归自动测试用例，UI不稳定会导致后续的维护工作量比较大。

2、测试用例的编写维护需要投入一定的时间，所以团队中每个测试版本平均能够投入1-2人天左右的时间来编写维护自动测试用例的团队适合使用Orange。

二、    Orange具体使用步骤

1、  编写测试用例

2、  添加配置文件

在项目根目录中新增config.properties文件添加以下配置选项。

# 填写需要测试的android sdk版本，多个的话中间用逗号 target= android-7,android-8,android-10,android-15,android-16   # 指定被测试应用存放的位置，不允许为空   apkpath=apk\\pris_generic_1.5.0_online.apk   # 指定测试程序存放的位置，不允许为空（编写测试用例后由orange自行打包生成测试apk文件）   testapkpath=bin\\PrisAndroidUITest-release.apk   # 指定程序进行重签名的key文件，必须放在工程根目录下   keystore=debug.keystore   # 收件人的smtp服务器地址，运行结果的收件人列表，多个用户用逗号分割，允许为空   smtp=corp.netease.com   maillists=***@corp.netease.com,***@corp.netease.com,***@corp.netease.com   # 测试用例的配置文件路径，不允许为空   testCaseFile=test-xml\\AllTestCases.xml   # 用于发送结果邮件时显示的邮件发件人   sender=orange@google.com   #配置按照指定的字符过滤logcat，过滤后的logcat日志会附在邮件中发送，不配置则不发送   logTag=Pris-   #如果需要修改模拟器的hosts文件，需配置此项   hostsFilePath=   #如果运行真机，在这里配置真机的设备id（通过adb devices可以查看设备id） devicename=HT843KV06088, HTC89213333

同时使用类似TestNg的方式配置需要运行的测试用例，当用例个数增长时通过配置不同文件可以方便的进行用例分组，每次指定运行不同的测试用例。

<!-- timeout为单个用例执行的超时时间，不配置默认240s,maxCount为用例运行有异常重跑的最大运行次数，不配置默认为3 --> <classes timeout="240" maxCount="2"> <!-- name：指定需要运行的测试类（包名+类名）--> <class name="com.netease.mobile.autotest.testing.BookAttributeTest" >         <methods>         <!-- 此处可配置一个或多个include节点              name：需要运行的具体测试方法，必填项，              timeout：针对单个用例的超时时间，如果此处配置则根节点的timeout无效，不是必填项 -->             <include name="testInputBookShelf"  timeout="360"/>             <include name="testBookReviewAndShare" />             <include name="testBookRemoveAndCommentButton" />         </methods>     </class> </classes>

3、  命令行运行测试用例

在完成如上的配置同时准备好脚本后，启动命令行运行起来吧。进入项目根目录输入下面命令，启动自动测试，开始运行后你就可以先喝杯咖啡休息一下了。

java -jar ./libs/Orange.jar config.properties

4、  测试结果展示

总体运行情况汇总：邮件中除了会展示当前测试用例的信息外，同时包含当前的操作系统，计算机名/IP以及机器内存的信息，方便收件人对本次用例的运行环境有一定了解。

 

失败用例信息：配置注解@Description时，会将注解中的信息写在description列中，邮件中同时包含失败时的错误log，以及相应截图，方便定位原因。

成功用例信息：包含用例的描述（@Description中书写），重跑的次数（重跑次数较多的用例可能会是可优化的用例）以及运行耗时。

5、  持续集成平台Jenkins的结合

Job中添加shell或者batch命令，目前通过wget从ftp或者http中获取每日构建的apk和资源文件（R.java），并放到相应Job的特定目录下。

Execute Shell   wget -r -L -np --cut-dirs 4 -nH ftp://192.168.**.**/**/PRIS/pris.apk -P apk wget -r -L -np --cut-dirs 4 -nH ftp://192.168.**.**/**/PRIS/R.java -P src/com/netease/pris

添加Ant执行用例，通过build文件支持在Job中动态修改config文件中配置的数据。

Ant配置

ant -buildfile  pris_linux.xml -Dusername=*** -Dpassword=** -Dlogin_mode=Phone -Dtarget=android-15,android-16 -DtestCaseFile=PhoneTestCases.xml -Dapkpath=apk/pris.apk -Dmaillists="***@corp.netease.com"

展示用例运行结果趋势图：Jenkins自带的插件可以展示TestNG结果报表。

三、Orange使用经验分享

如何使用Orange更好地编写维护运行自动测试用例？

1、自动测试用例也是代码，所以开始编写自动测试用例之前需要有统一的编码规范，编写后需要定期Review代码，出现问题需要考虑测试代码的重构。

2、编写测试用例需要开发的协助，首先需要用到的控件可以让开发协助添加唯一的id，推荐让开发协助提供R.java资源文件来编写测试用例，降低维护成本。

3、编写维护测试用例推荐使用PageObject模式，用例可读性、可维护性会有比较大的提升。

4、编写测试用例推荐在测试方法中加入@Description标签，填写用例描述，维护作者，此信息也会在结果邮件中展示，出现失败用例后能够在邮件中查看用例维护者，方便项目负责人跟进用例修改。

5、推荐和产品每日构建结合，应用构建完后自动运行测试用例，通过反馈结果能够在版本提测前及时掌握用例的运行情况，以及UI的变化情况，该阶段推荐只维护导致大量用例运行失败的问题，如果每个失败用例都及时维护可能会导致投入大量时间，而且产品开发阶段UI存在变动的风险相对来说会更大。

6、推荐产品提测前几天开始正式维护自动测试用例，可以根据该版本UI的变化情况以及每日构建执行情况决定具体提前多少天开始维护（按照之前的经验大版本需要提前2人天左右），保证在提测后用例运行全部通过。

7、如果在模拟器中运行自动测试用例，推荐在Linux或者Mac系统，windows中的模拟器非常慢以及不稳定。

使用Orange对于测试人员的技术要求如何？

使用Orange编写自动测试用例是新建Android测试工程，使用Java语言和Orange提供的API来编写，所以对于测试人员需要掌握Java知识，对于Android开发了解即可。

 

网易云新用户大礼包：https://www.163yun.com/gift

本文来自网易实践者社区，经作者孔庆云授权发布。