Доклад Александра Шинкарева на конференции SQA Days-20. 24-26 ноября 2016. Минск www.sqadays.com

1. ОПРЕДЕЛЕНИЕ PASS/FAIL
КРИТЕРИЕВ ПРИ
ТЕСТИРОВАНИЕ И АНАЛИЗЕ
ПРОИЗВОДИТЕЛЬНОСТИ
АЛЕКСАНДР ШИНКАРЕВ,
PERFORMANCE QA TEAM LEAD

2. 2
WORLD OF WARSHIPS
КТО Я?
Skype: alexbljack
mail: a_shinkarev@wargaming.net
• Уже почти 3 года борюсь за производительность игры «World of Warships» в
Wargaming Saint Petersburg
• До геймдева занимался тестирование производительности платформ для
online-trading’а

3. 3
WORLD OF WARSHIPS
ЗАЧЕМ НУЖНЫ КРИТЕРИИ?
OR

4. 4
ВИДЫ КРИТЕРИЕВ
Ограничения платформы или окружения
«Использовать не больше 2 ГБ виртуальной памяти на Windows x86»
WORLD OF WARSHIPS
Требования к производительности
«Время обработки запроса не больше 10 мс при расчетной нагрузке»
Допустимая потеря производительности
«Увеличение времени загрузки приложения не более, чем на 5 секунд»

5. 5
ПРОБЛЕМЫ НА РАЗЛИЧНЫХ ЭТАПАХ ЖИЗНЕННОГО ЦИКЛА
Начало разработки
WORLD OF WARSHIPS
Активная фаза разработки
• Критерии определяются на этапе формирования требований
• Продукт разрабатывается, удовлетворяя заданным критериям
• В текущем состоянии система может не удовлетворять каким-либо критериям
• Оптимизация может затянуться, но интегрировать новое все равно необходимо
• Фиксированные значения критериев слабо применимы – always failed

6. 6
CРАВНИТЕЛЬНЫЙ АНАЛИЗ
WORLD OF WARSHIPS
• Какую потерю производительности считать «допустимой»?
• Сколько производительности мы можем пожертвовать на новую
функциональность?
Не всегда рост потребления ресурсов ведет
к ухудшению пользовательского опыта

7. «ИНДИКАТОРЫ» ПРОИЗВОДИТЕЛЬНОСТИ

8. 8
WORLD OF WARSHIPS
ЗАЧЕМ?
• Критерии PASS / FAIL в основном базировались на опыте инженера по
тестированию
• Трудно было доказать правильность своего решения команде разработки
• Не было понимания, с какими потерями производительности мы готовы
мириться
• Значений критериев были привязаны к конкретной тестовой конфигурации

9. 9
ЦЕЛИ
WORLD OF WARSHIPS
• Система принятия решений при интеграции новой функциональности
• «Не делать хуже то, что и так плохо»
• Фокус на комфорте пользователя

10. 10
МЕТРИКИ
WORLD OF WARSHIPS
•CPU
•Память
•IO
•Сеть
•….
Потребление ресурсов
•Время отклика
•Время загрузки
•Стабильность
•…
Комфорт пользователя

11. ИНДИКАТОРЫ
WORLD OF WARSHIPS
• Для всех метрик определяются допустимые диапазоны значений
• Весь диапазон значений для метрики делится на фиксированные интервалы
• Каждый интервал характеризует то, насколько удовлетворительно
состояние метрики
• Границы интервалов постоянны и не зависят от конфигурации

12. 12
ПРИМЕР ИНДИКАТОРА
WORLD OF WARSHIPS
«ВРЕМЯ ОТКЛИКА ДЛЯ ЭЛЕМЕНТА UI»
Very bad Needs attention Acceptable Good
Текущее значение

13. 13
И ЧТО ЭТО ДАЕТ?
WORLD OF WARSHIPS

14. 14
1. ВИЗУАЛИЗАЦИЯ СОСТОЯНИЯ ПРОИЗВОДИТЕЛЬНОСТИ
WORLD OF WARSHIPS
CPU USAGE
MEMORY USAGE
IO
NETWORK
LOGIN TIME
UI RESPONSE TIME
LOADING TIME
STABILITY

15. 15
2. PASS / FAIL
WORLD OF WARSHIPS

16. НА ПРИМЕРЕ ТЕСТИРОВАНИЯ WOWS

17. 17
МЕТРИКИ
WORLD OF WARSHIPS

18. 18
ВИЗУАЛИЗАЦИЯ ИНДИКАТОРОВ
WORLD OF WARSHIPS

19. 19
ДЕТАЛИЗАЦИЯ ПО КОНФИГУРАЦИЯМ
WORLD OF WARSHIPS

20. 20
СРАВНЕНИЕ ВЕРСИЙ
WORLD OF WARSHIPS

21. В ИТОГЕ

22. 22
ЧТО ДАЮТ «ИНДИКАТОРЫ»?
WORLD OF WARSHIPS
• Наглядная визуализация прироста / потери производительности
• Понимание «запаса» по производительности по каждой из метрик
• Гибкость при составлении PASS / FAIL критериев
• Возможность составить snapshot производительности в любой момент
• Быстрота принятия решений при высоком темпе разработки
• Отсутствие привязки к тестовой конфигурации

23. ВОПРОСЫ?

24. СПАСИБО ЗА
ВНИМАНИЕ!