Доклад Аркадия Дементьева на конференции SQA Days-21 www.sqadays.com

1. Первый шаг на пути к тестированию белого
ящика для сложных систем
Дементьев Аркадий
Сбербанк Технологии

2. Сократить
сроки
Не потерять в
качестве
Актуальность
регрессионной
модели
Разработка
методик
тестирования
нового
функционала
Расширение
регрессионной
модели
Из чего состоит наша работа

3. К чему стремится сообщество
White
BoxAgile
Риск
тестирова
ние
Сокращение
объема
релиза DevOps
Микро
сервисная
архитектура

4. Эволюция АБС, проблемы тестирования
0
1000
2000
3000
4000
5000
6000
1900 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016
• Зачем тестировать то, что не меняется?
• Какие тест-кейсы проверяют именно тот функционал, который изменился?
• Как контролировать этап тестирования?
• Для большинства тестировщиков система – черный ящик

5. С чем столкнулись мы
• Система – Black Box, состоящий более чем из 40
тысяч операций
• Ежегодно разрабатываются и изменяются
более 2 тысяч операций
• Огромный регресс
• Что покрывают авто-тесты
• Что тестировать в первую очередь

6. Основной вопрос
А то ли мы тестируем?

7. Решение
• Использование штатных механизмов
аудита
• Статистический анализ
• Визуализация результатов с
возможностью отслеживания трендов
Oracle Audit
Jenkins
Java

8. Реализация
Сохранение данных
Сбор данных
Формирование статистики

10. • Собрать профиль для тестирования
• Оценить качество проведенных тестов
• Просмотреть и сравнить регресс за разные периоды
• Выгрузить статистику в Excel
• Оценка покрытия стенда авто-тестами
• Отслеживание прогресса тестирования
• Контроль сборок
• Оценка качества регрессионной модели
• Много еще чего 
Возможности

11. Визуализация
Инженер
Менеджер по
тестированию
Начальник
отдела
Тестирование
Планирование
Контроль и отчетность

12. Спасибо за внимание!