1. Современный контроль качества:
давай сделаем это по-быстрому…
Игорь Хрол
http://www.wargaming.net
http://www.khroliz.com

2. О себе
• Игорь Хрол
• БГУ ФПМИ
• QA Automation Team Lead в
Wargaming
• Восемь лет в отрасли
• Десятки проектов
• Инженер, тренер, консультант,
менеджер, докладчик
• Мой блог: http://ru.khroliz.com

3. О чём говорим?

4. О чём говорим?
• Что такое «контроль качества» сегодня?
• Почему это важно-сложно-интересно-…?
Основано на
личном
мироощущении

5. Начнём с проблем…

6. Начнём с проблем…
Скопировать идею очень легко

7. Копирование идей и их реализаций

8. Копирование идей и их реализаций

9. А при чём здесь тестирование?

10. Классическая модель разработки

11. Что в ней плохого?
Продукт
уже
реализован

12. Это еще полбеды…
Что происходит на длительных проектах?

13. Нельзя сделать всё «за раз»
Требования меняются
вместе с окружающим
миром

14. Будем делать по чуть-чуть!
• Итерация 1: функциональность #1
• Итерация 2: функциональность #2
• Итерация 3: функциональность #3
Требования на
следующую
итерацию
корректируются

15. А что в тестировании?
• Итерация 1: функциональность #1
• Итерация 2: функциональность #2
функциональность #1
• Итерация 3: функциональность #3
функциональность #2
функциональность #1

16. Тестирование тормозит новые версии
Каждый раз всё
больше и больше…

17. «Дорогое» тестирование не позволяет
делать короткие итерации

18. Регрессионная спираль смерти

20. Вариант 1
Нанять еще людей

21. Проблемы «Варианта 1»
• Требуется больше организационных усилий
• Не решает проблему в долгосрочной
перспективе
На этом можно
зарабатывать

22. Вариант 2
Автоматизация тестирования
Вместе с кодом продукта пишем код, который
тестирует продукт (автотесты)

23. Как ведут себя роботы?
Делают работу по тестированию, но
самостоятельно

24. Какие есть проблемы у роботов?

25. Немного о другом
0
1
2
3
4
5
6
7
8
9
1 2 3 4 5
Деньги
Время
Стоимость дефекта

26. Выводы
• Чем раньше нашли дефект, тем лучше
• Роботы-автотесты должны работать быстро

27. Как выглядят современные
системы?

28. Как выглядят современные
системы?

29. Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800

30. Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 × 𝑉2 × 𝑉3 × 𝑉4 × 𝑉5

31. Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑖=1
𝑛
𝑉𝑖 ≈ 𝑉 𝑛
Сложность:

32. Экспоненциальная сложность
http://ru.wikipedia.org/wiki/Экспоненциальный_рост

33. Чёрный ящик = Экспонента

34. Автоматизация тестирования -
борьба с экспонентой
• Параллельные запуски не помогают
– 𝑚 – количество потоков
– Сложность:
𝑉 𝑛
𝑚

36. Разделяй и властвуй

37. Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800
5 + 8 + 2 + 1 + 10 = 26
26 + 4 + 1 = 31

38. Модель задачи по тестированию
5 8 2 1 10
800 vs 31

39. Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 + 𝑉2 + 𝑉3 + 𝑉4 + 𝑉5 + 5

40. Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑖=1
𝑛
𝑉𝑖 + 𝑛 ≈ 𝑉 × 𝑛 + 𝑛
Сложность:

41. Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑽 𝒏
vs 𝒏𝑽

43. Пирамида автоматизации
UI
API
Unit Tests

44. Вариант 3
Автоматическое тестирование
1. Постепенный контроль качества на всех
этапах разработки
2. Декомпозиция сложных систем на
составляющие и проверка их по
отдельности
3. Разработка через тестирование (TDD)

45. Контроль качества на всех этапах

47. Декомпозиция

48. Разработка через тестирование

49. Разработка через тестирование

50. Разработка через тестирование
• Автотесты лежат на «критическом пути»
выпуска продукта
• Новая функциональность не выпускается
без автотестов
«У вас нет времени писать автотесты? А у
нас нет времени тестировать одно и то
же два раза»

51. Подводя итоги…

52. Современный контроль качества
• Максимально проводится автоматическими
средствами
• Требуется на всех уровнях архитектуры
системы
• Обеспечивается глубоким пониманием
технологий и бизнес-требований

53. Спасибо!
Вопросы?
Игорь Хрол
i_khrol@wargaming.net / khroliz@gmail.com
http://ru.khroliz.com