За четыре года разработки компонентов пользовательского интерфейса на JavaScript мы в DevExpress наладили тестирование на разных уровнях, изобрели пару велосипедов и пришли к системе, помогающей находить ошибки без единого тестировщика. Это обзорный доклад об истории тестирования в одной конкретной команде.

1. Тестирование веба без
тестировщиков: успех или провал?
Татьяна Рыженкова
и Сергей Звягин

2. 2КТО МЫ

3. 3О ЧЁМ РАССКАЖЕМ

4. 4КАК ЭТО БЫЛО

5. МОДУЛЬНОЕ ТЕСТИРОВАНИЕ

6. 6СЛОЖНЫЙ ВЫБОР
Framework QUnit Jasmine Mocha ...
Assertion Library ...Chai Should Expect
Stubs Library ...Sinon TestDouble Jack

7. 7TEST EXAMPLE #1

8. 8TEST EXAMPLE #2

9. 9TEST EXAMPLE #3

10. 10РЕЗУЛЬТАТЫ
1,5 месяца
4 разработчика
TDD
стабильность
?

11. 11JASMINE EXAMPLE

12. 12MOCHA EXAMPLE

13. ФУНКЦИОНАЛЬНОЕ ТЕСТИРОВАНИЕ

14. 14ПРИМЕР ФУНКЦИОНАЛЬНОГО ТЕСТА

15. 15СИСТЕМЫ ФУНКЦИОНАЛЬНОГО ТЕСТИРОВАНИЯ
www.seleniumhq.org
smartbear.com/testcomplete
cogitek.com/riatest
testcafe.devexpress.com
www.casperjs.org

16. 16TESTCAFE

17. 17
Удобный test recorder
Ожидание завершения XHR запросов
Поддержка Basic и Windows
аутентификации
ТУТ ДОЛЖНА БЫЛА БЫТЬ РЕКЛАМА

18. 18EAT YOUR OWN DOG FOOD

19. 19TEST EXAMPLE #1

20. 20ТО ЖЕ САМОЕ НА SELENIUM

21. 21
Актуальность
Ложные срабатывания
Время прогона
ЧТО НУЖНО УЧИТЫВАТЬ

22. 22РЕЗУЛЬТАТЫ
2 месяца
4 разработчика
меньше регрессий
с 210 до ~150 багов

23. МОБИЛЬНЫЕ УСТРОЙСТВА

24. 24
Ферма
устройств
Оптимизация
Continuous
Integration
Переход на
эмуляторы
НАШИ ВЕЛОСИПЕДЫ

25. 25ФЕРМА УСТРОЙСТВ

26. 26
Прогон тестов на устройствах только в
случае успешного прохождения unit-тестов
Подготовка окружения вынесена в
отдельный процесс на ферме
ОПТИМИЗАЦИЯ CI

27. 27ПЕРЕХОД НА ЭМУЛЯТОРЫ

28. 28КАК СЕЙЧАС ПРИНЯТО

29. 29РЕЗУЛЬТАТЫ
3 месяца
4 разработчика
со 155 к ~50 багов
ВСЕ устройства

30. СРАВНЕНИЕ СКРИНШОТОВ

31. 31ЧТО МЫ СДЕЛАЛИ
эталон скриншот разница
маска

32. 32ДОБАВИЛИ СРАВНЕНИЕ

33. 33ПРОБЛЕМЫ

34. 34
- Невозможно использовать одинаковые
эталоны для разных браузеров
- При обновлении браузеров может всё
сломаться
- Рендеринг шрифтов – ад!
ПРОБЛЕМЫ

35. 35
Некоторые компании тестируют веб-проекты
подобным образом
Коммерческих решений нет
ЕСТЬ ЛИ АЛЬТЕРНАТИВЫ

36. 36РЕЗУЛЬТАТЫ
1 месяц
2 разработчика
6 мес. стабилизации
в 2 раза меньше
"UI-разломов“
Оперативность

37. ПРОИЗВОДИТЕЛЬНОСТЬ

38. 38РАБОТА В ДВУХ НАПРАВЛЕНИЯХ
Автоматический
прогон тестов
Сравнение с
конкурентами

39. 39СЛЕДИМ ЗА КОНКУРЕНТАМИ

40. 40РЕЗУЛЬТАТЫ
2 месяца
3 разработчика
Следим
за скоростью
Обогнали 3-х
конкурентов за полгода

41. ВЫВОДЫ

42. 42
• Модульные тесты
• Функциональные тесты
• Тесты на мобильных устройствах
• Скриншотные тесты
• Тесты на производительность
А НУЖНЫ ЛИ НАМ?

43. 43ОБЩИЕ РЕЗУЛЬТАТЫ

44. 44
Автоматизировать тестирование возможно
TDD позволяет экономить ресурсы
В некоторых сферах QA-инженеры должны
обладать дополнительными навыками
ЕСТЬ ЛИ ЖИЗНЬ БЕЗ ТЕСТИРОВЩИКОВ

45. ВОПРОСЫ?

46. 46
Сергей Звягин DevExpress
sergey.zvyagin@devexpress.com
Татьяна Рыженкова DevExpress
tatyana.ryzhenkova@devexpress.com
НАШИ КОНТАКТЫ

47. Спасибо за внимание