Analisar os resultados do Firebase Test Lab for Android

Há várias maneiras de usar o Firebase Test Lab for Android para executar testes no seu aplicativo Android, incluindo a interface de linha de comando, o Android Studio e a Test Lab IU no Firebase console. Não importa como você inicia os testes, os resultados serão armazenados no projeto do Firebase que especificar. Esta página descreve como rever e analisar os resultados do teste.

Principais conceitos

Para ver os resultados de todas as execuções de teste anteriores, selecione Test Lab no painel de navegação esquerdo do projeto no Firebase console. Esta página mostra todas as execuções de teste dos aplicativos que você testou com seu projeto usando o Test Lab.

Para rever os resultados do teste, primeiro será necessário entender três conceitos:

• Dimensão do teste. Uma dimensão do teste é um conjunto de atributos relacionados ao dispositivo. As dimensões usadas pelo Test Lab são tipo de dispositivo, nível da Android API, localidade e orientação da tela. Antes de testar o aplicativo, você seleciona atributos de cada dimensão e o Test Lab cria uma lista de todas as combinações válidas desses atributos. O Test Lab dá suporte ao teste do aplicativo em até 200 combinações únicas de cada vez.

• Execução do teste. Cada combinação válida das dimensões do teste que você selecionou para sua matriz de teste é uma execução de teste. Por exemplo, se foram selecionados cinco tipos de dispositivo (Asus Google Nexus 7, LG G3, Samsung Galaxy Note 2 etc.), dois níveis da Android API (21, 22), duas localidades (en_US, es_ES) e duas orientações de tela (paisagem, retrato), o teste contém 5*2*2*2 = 40 execuções de teste. Cada execução pode ser aprovada ou reprovada. Se uma execução de teste for reprovada, toda a matriz de teste será marcada como reprovada.

• Matriz de teste. A matriz de teste é o conjunto de execuções de teste definido pelas combinações dos atributos de dimensão do teste que você selecionou. Ao executar o teste do aplicativo em uma matriz de teste, você obtém resultados para cada execução de teste criada combinando atributos de dimensão do teste.

As seções a seguir explicam como navegar pelos resultados do teste.

Como interpretar os resultados de histórico dos testes

Quando navega pelos resultados dos testes selecionando Test Lab, você vê os resultados dos testes executados até agora.

Observação: Os resultados dos testes só ficam disponíveis por 90 dias após a execução de um teste.

O histórico de teste é agrupado por aplicativo. Somente as cinco matrizes mais recentes são mostradas para cada aplicativo; se mais de uma estiver disponível, clique no link All Matrices na parte inferior do teste do aplicativo para ver uma lista completa para o aplicativo.

Como interpretar resultados da matriz de teste

Ao iniciar um teste pela Test Lab IU, você será redirecionado para a página onde poderá ver a matriz de teste e clicar em uma execução de teste específica para ver os resultados do teste. O Android Studio e o comando do gcloud fornecerão um URL para a página de resultados da matriz de teste.

Em uma matriz de teste comum, você pode executar um teste em uma dezena ou mais de dispositivos diferentes. Cada execução de teste pode ter um resultado diferente. Os possíveis resultados para cada execução de teste em uma matriz de teste incluem:

• Aprovado : Não foram encontradas falhas.
• Reprovado : Pelo menos uma falha foi encontrada.
• Inconclusivo : Os resultados do teste foram inconclusivos, possivelmente devido a um erro do Test Lab .
• Ignorado : Os valores de dimensão selecionados para algumas execuções de teste na matriz eram incompatíveis. Isso ocorre quando os dispositivos que você selecionou são incompatíveis com um ou mais níveis da Android API selecionados.

Para rever os resultados do teste agregados para todas as matrizes de teste para um determinado aplicativo no seu projeto do Firebase, clique no nome do aplicativo, conforme mostrado na página de resultados da matriz de teste abaixo.

Exemplo de uma página de resultados da matriz de teste com somente quatro execuções de teste

Isso o leva para a lista de matriz de teste do seu aplicativo, onde você pode clicar no nome de qualquer matriz de teste para ver os resultados da matriz de teste e onde é possível clicar no nome do aplicativo (mostrado na caixa vermelha abaixo) para ver a lista de matriz de teste para outros aplicativos associados ao seu projeto do Firebase.

Exemplo de página da lista de matriz de teste

Uma matriz de teste pode ser aprovada, reprovada ou inconclusiva. Uma matriz de teste será mostrada como reprovada ou inconclusiva se quaisquer execuções de teste nesta matriz falharem ou forem inconclusivos.

Como interpretar resultados de uma única execução de teste

Na página de resultados da matriz de teste, clique em uma das execuções de teste para ver o resultado da execução desse teste específico.

Exemplo de página de resultados de execução do teste

Nesta página, são mostrados os resultados para casos de teste específicos (que correspondem aos métodos em seu APK de teste), saída de registro de teste, capturas de tela e vídeos para este teste específico.

Para o Robo test, uma guia Activity Map mostra graficamente os caminhos da IU que foram acessadas pelo Robo test.