Выступление на конференции DUMP-2016.

2. Правильно тестируем сетевую часть
мобильного приложения
Усов Андрей

3. О себе
• Тестирование бекендов
• Интеграционное тестирование клиент-сервер
3

4. Доставка
данных

5. Покрытие
• 9 стран, 288 городов
• Больше 3 миллионов пользователей
• iOS, Windows Phone, Android (beta)
5

6. Нагрузка
• 16 серверов
• Пиковый трафик 4Gbps
• Около 512Tb в месяц данных
6

7. Критичность
• Актуальность данных
• Обязательства перед рекламодателями
• Новые важные фичи
7

8. Задача

10. Опасности

11. Проблемы в сети
• Медленный интернет
• Бетонные стены
• Ошибки на уровне DNS
11

12. Мобильный интернет
• Лимит трафика
• Роуминг
12

13. Проблемы сервера
• Пожар в дата-центре
• Перегрузки
• Толстые соседи
13

14. Посредники
• Блокировщики рекламы
• Подмена трафика
• Встроенная реклама
• Сообщения от провайдера
• Местные законы
14

15. Проблемы

16. Тест-дизайн
• Выбор конфигураций
• Расстановка приоритетов
• Оценка рисков
16

17. Окружение
• Настройка инфраструктуры
• Сложные бекенды
• Медленная и кривая настройка руками
17

18. Решение

19. Команда

20. Первые шаги
• Придумываем тесты (авторизация, обновления, публикация)
• Изучаем пользователей (как, где, когда)
• Готовим мобильное приложение
20

21. А что дальше?

22. Находим бекендера

23. Готовим инфраструктуру

24. Определяем конфигурации сети
• Внутреннее устройство бекендов
• Общая логика взаимодействия
24

25. Примеры: Устройство бекендов
• Сервер отвечает кодами
• 502 Bad Gateway
• 504 Gateway Timeout
• Выключен Nginx
25

26. Примеры: Устройство приложения
• Сервер отвечает кодами
• 503 Service Unavailable
• 404 Not Found
• Неизвестное имя хоста
26

27. Примеры: Общее изучение сети
• Сервер не найден
• Обрыв закачки
• Низкая скорость
27

28. Примеры: Опыт
• Редиректы
• Невалидный контент
28

29. Конфигурируем
• Правим конфигурации серверов
• Запускаем программы
• Фаервол
• Шейпер
29

30. Уже можно
тестировать

31. Как?
• Садитесь вместе с бекендром
• Для каждого кейса вручную меняете конфигурацию
Долго, дорого, ненадежно
31

32. Автоматизация

33. Системы управления конфигруациями

34. Бекендер
• Пишет сценарии
• Учит вас этим пользоваться
Бекендер больше не нужен
34

35. Best practice
• Следите за обратимостью каждого действия
• Имеем дефолтный экземпляр каждого файла
• iptables -F
• Имейте скрипт для возврата сервера в исходное состояние
• Реализуйте мониторинг состояния
35

36. Сложности
• Терминал Linux
• Много деталей для запоминания
• Однотипные долгие действия
36

37. Делаем
интерфейс

39. Скриншот Jenkins

40. Плагины
• Active Choices Plug-in
• description setter plugin
• Publish Over SSH
• Hidden Parameter plugin
40

41. Шаг первый: Выбираем бекенды
ваш_бекенд_1
ваш_бекенд_2
сторонний_бекенд_1
сторонний_бекенд_2

42. Шаг второй: Выбираем действие
Дефолтное состояние
Код ответа
Выключить сервер
Снизить скорость

43. Шаг третий: Указываем значения
404 — код ответа для данных
ничего не трогаем — для авторизации
502 — для изображений

44. Шаг четвёртый: Собираем
Вот и всё
44

45. Плюсы Jenkins
• Графический интерфейс
• Кроссплатформенность
• Очереди
• Плагины
45

46. Минусы Jenkins
• Плохая отзывчивость интерфейса
• Высокий порог входа
46

47. Теперь
• Заходим в Jenkins
• Тестируем
47

48. Результаты

49. Тестирование
• Быстрое
• Легкое
• Надежное
49

50. Система тестирования
• Проста в поддержке
• Масштабируема
50

51. Анализ мобильных платформ
• Android хорошо
• Windows Phone нормально
• iOS сложно
51

52. Подведем итог

53. Итоги
• Пользователи — это не только ваши коллеги
• Интернет имеет локальные особенности
• Проверяем на всех платформах
53

54. Вопросы?
Усов Андрей
usovand@gmail.com
54