可通过多种方式使用 Firebase Test Lab for Android 对您的 Android 应用运行测试,包括命令行界面、Android Studio以及 Firebase console 中的Test Lab UI。 不过,您选择启动测试后,结果将存储在您指定的 Firebase 项目中。 本页面介绍如何查阅和分析这些测试结果。
主要概念
若要查看所有以前的测试运行结果,请在 Firebase console 中项目的左侧导航面板中选择 Test Lab。本页面显示您的应用中已使用 Test Lab随项目一起测试的所有测试运行。
若要查阅测试结果,您首先需要了解三个概念:
-
测试维度。 测试维度 是一组相关的设备属性。 Test Lab 使用的维度是设备类型、Android API 级别、语言区域和屏幕方向。 在测试应用前,从每个维度选择属性,然后 Test Lab 将创建这些属性的所有有效组合的列表。 Test Lab 支持每次在最多 200 个不同组合上测试您的应用。
-
测试执行。 您为测试矩阵选择的每个有效的测试维度组合都是一个测试执行。 举例来说,如果您选择五个设备类型(Asus Google Nexus 7、LG G3、Samsung Galaxy Note 2 等)、两个 Android API 级别(21、22)、两个语言区域(en_US、es_ES)以及两个屏幕方向(横向、纵向),则此测试包含 5*2*2*2 = 40 个测试执行。每个测试执行都可能通过测试或未通过测试。如果一个测试执行失败,则整个测试矩阵将被标记为失败。
-
测试矩阵。 测试矩阵 是您选择的测试维度属性组合所定义的测试执行集。 当您在测试矩阵上运行应用测试时,您将获得通过组合测试维度属性而创建的每个有效测试执行的测试结果。
下文介绍如何在测试结果中导航。
解释测试历史记录结果
通过选择 Test Lab 导航到测试结果时,您将看到迄今为止您已运行的测试的结果。
注:在运行测试后,测试结果仅保留 90 天。
测试历史记录按应用进行分组。仅显示每个应用最近的五个测试矩阵;如果需要更多矩阵,您可以点击位于应用测试列表底部的 All Matrices 链接,以查看该应用的完整列表。
解释测试矩阵结果
通过Test Lab UI 启动测试时,您将重定向到可以查看测试矩阵的页面,点击一个特定的测试执行可查看测试结果。Android Studio 和 gcloud 命令也提供测试矩阵结果页面的网址。
在一个典型的测试矩阵中,您可以在十二台设备或差异很大的设备上运行测试。 每个测试执行的结果都不尽相同。测试矩阵中任意测试执行的可能结果包括:
- 已通过:未发生任何故障。
- 未通过:至少发生一次故障。
- 无定论: 测试结果无定论,原因可能是出现了 Test Lab 错误。
- 已跳过: 矩阵中某些测试执行的选定维度值不兼容。 如果您选择的设备与您选择的一个或多个 Android API 级别不兼容,则会出现此情况。
若要查看您的 Firebase 项目中给定应用的所有测试矩阵的汇总测试结果,请点击该应用的名称,将显示测试矩阵结果页面,如以下示例所示。
只有四个测试执行的测试矩阵结果页面的示例
您将转到您的应用的测试矩阵列表,您可以在其中点击任意测试矩阵的名称以查看测试矩阵结果,在该结果中可点击应用的名称(显示在下面的红色框中),以查看与您的 Firebase 项目相关联的其他应用的测试矩阵列表。
测试矩阵列表页面示例
测试矩阵可能通过测试、未通过测试或无定论。如果测试矩阵中的任一测试执行未通过或无定论,则测试矩阵显示为未通过或无定论。
解释来自一个测试执行的结果
从测试矩阵结果页面,点击其中一个测试执行可查看这个特定测试执行的结果。
测试执行结果页面示例
在此页面上,您可以查看特定_测试案例_的结果(其与您的测试 APK 中的方法对应),该特定测试的测试日志输出、屏幕截图以及视频。
对于 Robo 测试,您还可以查看 Activity Map 选项卡,该选项卡以图形方式显示 Robo 测试访问的 UI 路径。