Доклад Алексея Маслова на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург

1. Автоматизация
и нагрузка в
большоооой
организации
Алексей Маслов

2. Централизованное управление качеством
АДМИНИСТРИРОВАНИЕ
ТЕСТОВЫХ СТЕНДОВ
АВТОМАТИЗАЦИЯ
ТЕСТИРОВАНИЯ
ФУНКЦИОНАЛЬНОЕ
ТЕСТИРОВАНИЕ
ТЕСТИРОВАНИЕ
ИНФОРМАЦИОННОЙ
БЕЗОПАСТНОСТИ
АДМИНИСТРИРОВАНИЕ
ТЕСТОВЫХ СТЕНДОВ
ДЕПАРТАМЕНТ
КАЧЕСТВА
НАГРУЗОЧНОЕ
ТЕСТИРОВАНИЕ

3. Департамент качества сегодня
 Более 1 000 специалистов в 9 регионах РФ
 Практиками тестирования покрыты все критичные системы Банка
 Переход от контроля качества к управлению качеством тестирования
 внедрена модель оценки рисков, оценка точности профиля НТ
 автоматизация сбора метрик и отчетности
 Внедрение практик DevOps
 автосборка (CI) и авторазвертывание (CD) релизов
 автоматизация тестирования и проверок стендов
 раннее тестирование

4. Повышение эффективности
S H I F T L E F T

5. Нагрузочное тестирование

6. 2 года под нагрузкой
47критичных систем Банка
> 100экспертов в 7регионах
Время решения инцидентов снижено в 2 раза
Контроль качества профиля AWR-Store
№1 в мире инсталляция HP PC
Уникальный инструмент НТ процессинга

7. Движение к DevOps: Нагрузка 2.0
< SHIFT LEFT >
 Анализ заявок на изменения
 Раннее тестирование
 Контроль качества кода и тестов
< DEVOPS >
 Smoke АФТ > Профиль НТ
 Авто Smoke НТ
 Pipeline: Auto Deploy + Auto Smoke НТ
< УЛУЧШЕНИЯ >
 Производительность GUI
 Интеграционное тестирование
 Стресс и отказоустойчивость
< КОМАНДА >
 Измеримость всех работ
 Гибкое управление Multi-Scrum
 Сервис разработки эмуляторов
< КОМАНДА > < SHIFT LEFT >
< УЛУЧШЕНИЯ > < DEVOPS >

8. 1 2 3 4 5 6 7 8 9 10 11 12
Релиз 21 Релиз 22
НТ 2.0. Эффект от Shift Left
-2.5 н е д е л и

9. Автоматизация

10. 44 системы покрыто автоматизацией
> 300 000строк кода
Эффект от автоматизации сотни млн.р.
Переход на Open Sourceрешения
> 45экспертов по АФТ в 6регионах
Статистический анализа кода Sonar
Создано направление RnD
2 года автоматизации

11. Движение к DevOps: Автоматизация 2.0
ЦЕНТРЭКСПЕРТИЗЫАФТ
> Автоматизация на местах
> Multi-Scrum
> RnD и методология
> Метрики и единая отчетность
> Синергия с НТ/ФТ/DEV
> Сервис по обучению
> Контроль качества (Sonar)
Автоматизация регресса <
Квартальное планирование <
«Ручной» сбор отчетности <
АВТОМАТИЗАЦИЯ1.0
 Технологии
 Экспертиза
 Измеримость
Разработка Тестирование СТ/ИФТ/НТ/ИБ ПСИ ПРОМ
VC ARC CI AUT CD ATVC VC CD AT CD

12. АФТ 2.0. Прозрачность и качество
704 725 725
782
889
4.9%
5.5% 5.5%
5.7%
5.4%
4.4%
4.6%
4.8%
5.0%
5.2%
5.4%
5.6%
5.8%
600
700
800
900
1000
1100
Январь Февраль Март Апрель Май
Тех.долг
Тех.долг ratio
47% 50%
56%
63%
22% 19%
21%
19%
20%
19%
10%
10%
6% 10% 9% 6%
Q3 2015 Q4 2015 Q1 2016 Q2 2016
0%
20%
40%
60%
80%
100%
Прочее
Простой
Пилоты
Поддержка
Разработка
Рост эффективности команды Контроль качества автотестов

13. АФТ 2.0. Фокус на эффективность
Q12014
Q22014
Q32014
Q42014
Q12015
Q22015
Q32015
Q42015
Q12016
Экономия на
OpenSource
Экономия
Чистый эффект
17.9% 18.4%
21.9%
26.1% 26.8%
22.6%
28.6%
24.6%
34.8%
41.1%
Январь Февраль Март Апрель Май
Покрытие АФТ
Автоматизация
деятельности
ФТ
Рост объемов автоматизации Экономический эффект

14. СПАСИБО
ЗА ВНИМАНИЕ