РИТ++ 2017, AppsConf Зал Касабланка, 6 июня, 12:00 Тезисы: http://appsconf.ru/2017/abstracts/2822.html Мы продолжаем свой рассказ о тестировании мобильного продукта, у которого нет UI. В этой серии вас ждёт: - организация тестирования библиотеки, как минимум, под 3 платформы; - обзор существующих инструментов, которые мы использовали и не использовали; - и, конечно же, несколько оригинальных решений.

2. По заветам Франкенштейна.
Продолжаем автоматизацию тестирования SDK AppMetrica
Витенко Алексей, старший разработчик

3. AppMetrica
Немного о продукте

4. Единая платформа
AppMetrica QuickStart: http://bit.ly/app_met_doc
Яндекс.Субботник "Невероятные приключения событий":
http://bit.ly/event_adv
› Аналитика
› Трэкинг
› Крэш-репортинг
› Пуши

5. Аудитория
› 285 млн пользователей в месяц
› 12 млрд событий в день

6. Платформы

7. Из истории

8. Как мы тестировали?
› Unit-тесты
› Интеграционные тесты

9. Интеграционные тесты
› Тестирование чёрного ящика
› Взаимодействие с другими приложениями (провязка)
› Миграции
› Кейсы, специфические для реальных устройств

10. Первый вариант
Раз нет UI – значит его нужно придумать

11. Недостатки
› Сильно ограничивает тестирование
› Дорого по времени

12. Особенности проекта
› Общее API для всех платформ.
› Общий протокол.
› Большая часть времени тестирования - выполнение предусловий
сценария.

13. Идеи
› Решение с рефлексией и хранилищем тестов в JSON
› Существующие решения для тестирования мобильных продуктов -
решают вообще другую задачу

14. │ Наше функциональное
тестирование должно писать
код.

15. Пример теста
@Test
public void test() {
YandexMetrica.activate(getActivity(), "APIKEY"));
YandexMetrica.reportEvent("1");
}

16. TestCases Store

17. TestCases Store
Создатель
сценариев

18. TestCases Store
Создатель
сценариев
Git

19. TestCases Store
Создатель
сценариев
Git Teamcity

20. TestCases Store
Создатель
сценариев
Git Teamcity dex storage

21. TestCases Store
Создатель
сценариев
Git Teamcity dex storage

22. TestCases Store
Создатель
сценариев
Git Teamcity Наблюдатель
dex storage

23. TestCases Store
Создатель
сценариев
Git Teamcity Наблюдатель
.dex
dex storage

24. Итоги
AppMetrica
Воздействия Результат

25. Итоги
› тестирование стало ближе к проекту и разработчикам
› до сих пор используется
AppMetrica
Воздействия Результат

26. Автоматизация проверок
Android

27. Новая задача
Необходимо перехватывать исходящие запросы приложения

28. Новая задача
AppMetrica
Воздействия Результат

29. MockWebServer
https://github.com/square/okhttp/tree/master/mockwebserver

30. После перехвата
Повторить небольшую часть функциональности сервера

31. Структура ответа
События

32. Структура ответа
События
Сессии

33. Структура ответа
События
Сессии
Репорты

34. AssertJ: extractors
@Test
public void testNoFirstAfterSecondActivate() {
YandexMetrica.activate(AppMetricaRegistry.getContext(), getMainApiKey());
assertThat(reports().getSessions()).as("sessions").isNotEmpty();
assertThat(reports().getEvents())
.extract(Constants.ReportMessage.Session.Event.TYPE, Integer.class)
.containsOnlyOnce(Session.Event.EVENT_FIRST);
}

35. AssertJ
Декларативность - код теста должен 1 в 1 отображать описание
тестового сценария.

36. AssertJ: декларативность
@Test
public void testNoFirstAfterSecondActivate() {
YandexMetrica.activate(AppMetricaRegistry.getContext(), getMainApiKey());
assertThat(reports().getSessions()).as("sessions").isNotEmpty();
assertThat(reports().getEvents())
.extract(Constants.ReportMessage.Session.Event.TYPE, Integer.class)
.containsOnlyOnce(Session.Event.EVENT_FIRST);
}

37. Как запускать?
› JUnit
› AndroidJUnit
› UI-test (Espresso & UIAutomator)
› Кроссплатформенные фрэймворки

38. Appium
Плюсы:
› Кроссплатформенный
› Масштабируемость на Selenium Grid
› Опыт других команд
Установка + очистка данных.

39. Appium
Минусы:
› Задержки. Весьма существенны
› Усложняется система

40. AndroidJUnit
Плюсы:
› Скорость
› Ближе связь с платформой
Минусы:
› Отсутствие "песочницы"

41. Песочница
Для чистой активации необходимо:
› Стереть все данные sdk
› Сделать активацию в новом процессе

42. ProcessRunner
TestApp
Main Process
Test Process Metrica Process

43. ProcessRunner
TestApp
Main Process
Test Process Metrica Process

44. ProcessRunner
TestApp
Main Process
Test Process Metrica Process
Test Process Metrica Process

45. ProcessRunner
TestApp
Main Process
Test Process Metrica Process
Test Process Metrica Process
Test Process Metrica Process
Test Process Metrica Process

46. Где запускать?
▌ Эмуляторы
› arm – медленные
› x86 – проблемы на виртуальных агентах
▌ Реальные устройства
› организация фермы
› разные неожиданные проблемы

47. Остальные платформы

48. Два варианта
› Тесты на устройстве
› Старый способ с JSON wire-подобным протоколом

49. Тесты на устройстве
Плюсы:
› Нативно
› Тесты - код
Минусы:
› Масштабируемость на платформы
› Особенности разных платформ

50. Кроссплатформенные
Плюс:
› Один раз настраивается сервер, остаётся только делать
интерпретаторы для разных платформ
Минусы:
› Усложнение системы

51. Поиск баланса

52. Фрагментированность
iOS:
› симулятор - сокет
› устройство - свизлинг
Windows:
› 5 или 7 сборок

53. Решение
У нас есть:
› пул тестов
› код, который проверяет

54. Решение
А что если заменить библиотеку, и вместо Android-библиотеки вызывать
генератор команд?

55. Решение
@Test
public void testNoFirstAfterSecondActivate() {
YandexMetrica.activate(AppMetricaRegistry.getContext(), getMainApiKey());
assertThat(reports().getSessions()).as("sessions").isNotEmpty();
assertThat(reports().getEvents())
.extract(Constants.ReportMessage.Session.Event.TYPE, Integer.class)
.containsOnlyOnce(Session.Event.EVENT_FIRST);
}

56. Схема
Tests
УстройствоСервер

57. Схема
Runtime
Java
Tests
УстройствоСервер

58. Схема
Runtime
Java
ИнтерпретаторTests
УстройствоСервер

59. Схема
Runtime
Java
Core
ИнтерпретаторTests
УстройствоСервер

60. Схема
Runtime
Java
Core
ИнтерпретаторTests
УстройствоСервер

61. Полная схема
Runtime
Java
Core
ИнтерпретаторTests
УстройствоСервер
Android
Runtime
Android

62. Сравнение
Результаты:
› 12 с на тест на Android и 13,5 с на тест на iOS
› Поддержка плотформозависимых вещей отнимает сопоставимое
время
Узкое место:
› Логика проверок. Собственное расширение AssertJ
› Код тестов

63. Итоги

64. Итог автоматизации
› Регресс занимает 100 минут вместо нескольких дней
› 60% тестов общие на всех платформах.

65. Роль тестировщиков
› Работа над тестовыми сценариями
› Импровизация

66. Какой способ выбрать?
› Мы не нашли серебряную пулю

67. avitenko@yandex-team.ru
Спасибо за внимание!
Витенко Алексей
Старший разработчик