От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
Построение процесса тестирования производительности игрового клиента
1. Построение процесса тестирования
производительности игрового клиента
С чего начать и куда двигаться
Чура Олег | Шинкарев Александр
Руководитель отдела Нагрузочного Тестирования | Старший специалист отдела Нагрузочного тестирования
2. Тестирование производительности игрового клиента 2
Для кого мы рассказываем?
• Тестировщики производительности
• Менеджеры проектов, тимлиды QA
• Функциональные тестировщики
Что в докладе?
• Процесс тестирования производительности
• Требования к продукту
• Hardware, Software
• Данные, хранение и предоставление
• Автоматизация
4. Тестирование производительности игрового клиента 4
Зачем тестировать производительность?
• Играют только в быстрый и стабильный продукт
• Системные требования четкие и адекватные
• Конкурентное преимущество на рынке
• Результат–конечнаяприбыльибольшеепокрытиеЦА!
6. Тестирование производительности игрового клиента 6
Как тестировать?
Руками
Бенчмарками
Реплеями
Просто, можно
приступать сразу,
низкая точность
Эффективно, хорошо для
фиксированных технологий
Высокая точность
Эффективно, легко
реализовать, реальный
пользовательский опыт
7. Тестирование производительности игрового клиента 7
Что тестировать? Всё!
Компоненты
игры и геймплей
Стабильность и
Выживаемость
Совместимость
В тормоза никто не
играет
Падения, утечки, деградация
производительности
Игроку важно знать,
пойдет ли игра на его
стандартном или не
очень железе
9. Тестирование производительности игрового клиента 9
Требования к игре
Требования к жанру
• FPS
• Время отклика
• Ресурсы системы
Требования Издателя
• Системные требования (минимальные и рекомендуемые)
• Настройки игры
• Время запуска
• Размер дистрибутива
Требования рынка
• Аналогичные продукты
• Совместимость
• Целевая аудитория
11. Тестирование производительности игрового клиента 11
Тестовые стенды – что это и зачем
Тестовые ПК нужны для:
• Покрытия пользовательских конфигураций и настроек игры
• Поддержки совместимого железа и ОС
• Независимости от загрузки рабочей станции и мусора в системе
• Повышения престижа отдела
Тестовый ПК – предполагаемый ПК целевой аудитории
12. Тестирование производительности игрового клиента 12
Тестовый стенд - важное
• Отсутствие корпоративных политик и сервисных задач
• Минимум стороннего софта
• Хорошее охлаждение и расположение на стойке
• Подключение к монитору через KVM-свитч
19. Тестирование производительности игрового клиента 19
Что делать с данными?
• Регулярно предоставлять данные в виде отчетов по
• Тестам
• Версиям
• Направлениям разработки
• Хранить данные за весь период разработки
• Для сравнения версий
• Понимания прогресса
• Прогнозирования проблем
21. Тестирование производительности игрового клиента 21
Как стоит делать отчет?
Версия игры
Информация о тесте
Резолюция
(Pass | Fail | Complete)
Результаты теста
(Графики, таблицы)
Тестовое окружение
(Описание стендов)
29. Спасибо за внимание!
Чура Олег
Руководитель отдела нагрузочного тестировния
29Тестирование производительности игрового клиента
Шинкарев Александр
Старший специалист отдела нагрузочного тестировния
Hinweis der Redaktion
Тестовый стенд – игровой пк подходящий под нужные критерии
Мы знаем на каком железе играют наши пользователи из статистики Steam и World of Tanks
Одна из «четверок» тестовых стендов покрывает один из вариантов Low, Medium, High, Very High
Несколько слабых машин выделены для QA в других отделах
Железо подобрано с учетом года производства
Несколько слабых конфигураций для выявления проблем
Минимальный набор ПО для автоматизации процесса тестирования:
Python 2.7
Необходимые Python-библиотеки
TortoiseSVN
Visual C++ Redistributable 2005-2012
Zabbix Agent
7-zip
MSI Afterburner
Несколько наборов тестовых стендов потому что:
Большое количество поступающих задач (~15 в неделю)
Нужно покрыть большое количество пользовательских конфигураций
Большая часть стендов – для автоматизации
Часть стендов для ручных проверок и исследований
Тестовый стенд – игровой пк подходящий под нужные критерии
Мы знаем на каком железе играют наши пользователи из статистики Steam и World of Tanks
Одна из «четверок» тестовых стендов покрывает один из вариантов Low, Medium, High, Very High
Несколько слабых машин выделены для QA в других отделах
Железо подобрано с учетом года производства
Несколько слабых конфигураций для выявления проблем
Минимальный набор ПО для автоматизации процесса тестирования:
Python 2.7
Необходимые Python-библиотеки
TortoiseSVN
Visual C++ Redistributable 2005-2012
Zabbix Agent
7-zip
MSI Afterburner
Несколько наборов тестовых стендов потому что:
Большое количество поступающих задач (~15 в неделю)
Нужно покрыть большое количество пользовательских конфигураций
Большая часть стендов – для автоматизации
Часть стендов для ручных проверок и исследований