1. Смотрим по сторонам - обычный процесс авто-тестирования 2. Убираем лишнее - реалистичный целевой процесс 3. DataDrivenTesting - создание спец. инструментов для конкретных сценариев 4. RobotFramework - что делать, если простых сценариев слишком много

1. От простого к сложному:
Автоматизация тестирования
Тимченко Сергей
stimchenko@ptsecurity.com

2. Первый тест

3. Первый автоматический тест
1
Старт автоматизации
Время
Количество тестов
Первый тест:
• CLI – значение exit code
• GUI – появление окна
• Сервис – состояние
• Web – Get “/” 200 OK
0

4. Фреймворк

5. Использование фреймворка
Цель: Сэкономить время
Решаемые задачи:
• Диагностика ошибок – место возникновения, используемые данные
• Выборочный запуск тестов – по группам, тегам, части имени
• Визуализация результатов – построение отчета, расчёт статистики
• Сравнение результатов – стабильность падения/прохождения
• Интеграция с системой сборки – специализированные форматы отчетов,
публикация артефактов тестирования

6. Тестовый клиент

7. Тестовый клиент
Цель: Оставить в тесте только важное
Решаемые задачи:
• Реализация контрактов
• Упрощение структур данных
• Значения по умолчанию
• Встраивание проверок в действия
Бонус: возможность использовать одни
и те же тесты с разными реализациями клиента

8. Data Driven Testing

9. Data Driven Testing
Цель: Уменьшить количество кода
Плюсы:
• Сокращение затрат на поддержку
• Проще расширять покрытие
• Единообразие проверок
• Возможность проверять глубже

10. Data Driven Testing
Тест 2
Действия
Проверка
Ожидаемый результат
Исходные данные
Тест 1
Действия
Проверка
Ожидаемый результат
Исходные данные
Тест 2
Ожидаемый результат
2
Исходные данные
Сценарий
Действия
Проверка
Тест 1
Ожидаемый результат
1
Исходные данные
Было Стало

11. Data Driven Testing
Механизм контроля отклонений
• Автоматизация решения проблемы нестабильности данных (текущее время, список процессов)
• Фиксация имеющегося некорректного поведения (баги заведены, но в процессе исправления)
Отклонения: Все = Ожидаемые + Неожиданные (ручной разбор)

12. Data Driven Testing
Исходные данные
Эталонный результат Неожиданные отклонения
Отчёт

13. Keyword Driven Testing

14. Keyword Driven Testing
Цель: Автоматизированное выполнение ручных тестов
Плюсы:
• Автоматизатор – автоматизирует
• Тестирует – тестировщик
• Повышение формальности тестов
• Высокая детализация отчета о выполнении
Бонус: инструмент для автоматизации вне рамок тестирования
(первичное наполнение данными, демонстрация функциональности)

15. Keyword Driven Testing
Ручной тест
Автоматический тест
Описание
Шаги
Логирование
Шаги
Было Стало
Данные
Тест
Шаги
Данные
Данные

16. Keyword Driven Testing
Текст теста
Отчет о
выполнении

17. Keyword Driven Testing
Состав
Действие

18. Благодарю за внимание!
ptsecurity.com