Visão geral do Firebase Test Lab for Android

O Firebase Test Lab for Android executa testes em relação a uma matriz de teste que você criou para validar seu aplicativo em uma série de tipos e configurações de dispositivos. Para entender como funciona, primeiro precisamos explicar as dimensões e as execuções do teste.

• Dimensão do teste. Uma dimensão do teste é um conjunto de atributos relacionados ao dispositivo. As dimensões usadas pelo Test Lab são tipo de dispositivo, nível da Android API, localidade e orientação da tela. Antes de testar o aplicativo, você seleciona atributos de cada dimensão e o Test Lab cria uma lista de todas as combinações válidas desses atributos. O Test Lab dá suporte ao teste do aplicativo em até 200 combinações únicas de cada vez.

• Execução do teste. Cada combinação válida das dimensões do teste que você selecionou para sua matriz de teste é uma execução de teste. Por exemplo, se foram selecionados cinco tipos de dispositivo (Asus Google Nexus 7, LG G3, Samsung Galaxy Note 2 etc.), dois níveis da Android API (21, 22), duas localidades (en_US, es_ES) e duas orientações de tela (paisagem, retrato), o teste contém 5*2*2*2 = 40 execuções de teste. Cada execução pode ser aprovada ou reprovada. Se uma execução de teste for reprovada, toda a matriz de teste será marcada como reprovada.

• Matriz de teste. A matriz de teste é o conjunto de execuções de teste definido pelas combinações dos atributos de dimensão do teste que você selecionou. Ao executar o teste do aplicativo em uma matriz de teste, você obtém resultados para cada execução de teste criada combinando atributos de dimensão do teste.

Você pode escolher como iniciar o teste do seu aplicativo:

• A Integração com Android Studio permite que você teste seu aplicativo com base no ambiente de desenvolvimento
• A interface da linha de comando do gcloud permite a execução de testes da linha de comando de modo interativo, além de ser adequada para escrever um script como parte do processo automatizado de versão e teste.
• A Test Lab IU no Firebase console permite que você envie um binário do aplicativo e inicie o teste de qualquer lugar.

Seu aplicativo também pode ser testado com o Test Lab quando você envia e publica seus arquivos APK do aplicativo na Play Store usando o canal alfa ou beta. Para obter mais informações, consulte Usar relatórios pré-lançamento para identificar problemas e testes Robo.

Escolher o tipo de dispositivo

O Test Lab é compatível com testes em diversas marcas e modelos de dispositivos Android instalados e em execução no data center do Google. Testes em dispositivos físicos ajudam a detectar problemas que possam ocorrer ao testar o aplicativo usando o emulador do Android.

No momento, os seguintes tipos de dispositivos estão disponíveis:

Tabela 1: Dispositivos usados pelo Test Lab

Escolher o método de teste

O Test Lab pode ser usado para validar a estabilidade da experiência do usuário do aplicativo e a compatibilidade com o seu aplicativo em diversos dispositivos.

Observação: O Test Lab não se destina e não deve ser usado para teste de carga de quaisquer servidores de back-end usados pelo aplicativo.

Dois métodos de teste estão disponíveis para ajudá-lo a testar seu aplicativo: Os Testes de instrumentação e o Robo test do Test Lab podem ser executados.

Testes de instrumentação

Os testes de instrumentação são testes que você ou sua equipe escreveram especificamente para testar seu aplicativo, usando as estruturas de teste Espresso, Robotium e UI Automator 2.0 do Android.

Quando você escreve testes de instrumentação, é criado um segundo módulo de .APK que, posteriormente, será carregado no Test Lab junto com o módulo .APK do aplicativo. Para saber sobre a criação de APKs de teste, consulte Módulo de APK de teste.

Robo test

Mesmo se não tiver escrito nenhum teste de instrumentação para o aplicativo, você pode usar o Robo test para exercitar o aplicativo simulando as ações do usuário. Para saber mais, consulte Robo test.

Revisar os resultados do teste

Independentemente de como você inicia os testes, todos os resultados do teste são gerenciados pelo Test Lab e podem ser vistos on-line. Os resultados do teste incluem registros do teste e detalhes de qualquer falha do aplicativo. Para o Robo test, vídeos e capturas de tela também estão disponíveis. Consulte Analisar os resultados do teste para obter mais informações.

Quando o teste é iniciado do Android Studio, você também pode rever os resultados do teste de dentro do seu ambiente de desenvolvimento.

Cobrança

Para usar o Test Lab, atualize para o plano Firebase Blaze. Para atualizar o plano de cobrança, clique em UPGRADE no Firebase console e, em seguida, em SELECT PLAN na coluna do plano Blaze.

Você pode usar o Test Lab por US$ 5 por hora para cada dispositivo físico utilizado para testar o aplicativo. As cobranças são calculadas por minuto e você somente será cobrado pelo tempo necessário para executar os testes (não pelo tempo necessário para instalar o aplicativo nem para coletar os resultados do teste).

Test Lab e propaganda em dispositivos móveis

Para os desenvolvedores de aplicativo que usam ou trabalham com provedores de propaganda digital (p. ex., plataformas de demanda e redes de propaganda) e para provedores de propaganda digital:

O Test Lab fornece aos desenvolvedores uma infraestrutura de teste de aplicativo escalável que automatiza o teste do aplicativo. Infelizmente, essa capacidade pode ser usada indevidamente por aplicativos maliciosos desenvolvidos para gerar receita fraudulenta de propaganda.

Para minimizar este problema:

• Os desenvolvedores de aplicativo devem avisar a qualquer provedor de propaganda digital que eles trabalham com essa ferramenta para filtrar receitas e todo o tráfego correspondente gerado de dispositivos que pertencem aos provedores de teste, incluindo o Test Lab.
• Os provedores de propaganda digital podem filtrar as receitas de propaganda e todo o tráfego correspondente geradodo Test Lab ao filtrar o tráfego que se origina da seguinte faixa de endereços IP: 108.177.6.0.x - 108.177.6.24.x