Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Инструменты автоматизации тестирования - дефективные

1.361 Aufrufe

Veröffentlicht am

Презентация Дмитрия Химиона на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com

Veröffentlicht in: Bildung
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Инструменты автоматизации тестирования - дефективные

  1. 1. Инструменты автоматизации тестирования – дефективные Дмитрий Химион. Performance Lab
  2. 2. Дмитрий Химион руководитель направления автоматизации тестирования Performance Lab Skype: Picasso-Key Email: d.khimion@pflb.ru Докладчик на конференциях: – SQA Days 13 – ITSM Forum – SQA Days 14 – SQA Days 15 24 проекта по автоматизации тестирования +4 проекта - прототипы инструментария АТ
  3. 3. План доклада • «Горе от ума» - flash back SQA Days 14 • Из чего состоят инструменты • Аспекты и критерии оценки инструментов • Разложим инструменты по критериям • А что нам надо от инструментов? • «Интеграционный стандарт» • Итоги • Вопросы и ответы
  4. 4. «Горе от ума» - flash back SQA Days 14 Единая система авторизации
  5. 5. «Горе от ума» - flash back SQA Days 14
  6. 6. «Горе от ума» - flash back SQA Days 14
  7. 7. «Горе от ума» - flash back SQA Days 14 Мониторинг качества разработки
  8. 8. Из чего состоят инструменты? • Язык разработки тестов • Удобство разработки • Инструментарий отладки IDE • Интеграция с «внешним миром» • ОбработчикиAPI • «Object spy» – захват объектов • Взаимодействие с технологиями • Работы с процессами Platform • Управление записью • Автоматическое определение элементов • Форматирование тестов Record&Play • Параметризация • Управление тестами • Запуск/прерывание Test management • Файловые расширения • Настройка и дополнение логовLogs/Reports
  9. 9. Модули оценки инструментов IDE API Platform Record&Play Test management Logs/Reports TO Привет!
  10. 10. Размерность оценки критериев Критерий Оценка -1 0 1 Рефакторинг Работает только после серьёзных доработок Пользоваться можно, но надо явно доработать Приемлемое качество работы Вроде норм
  11. 11. Критерий Оценка -2 -1 0 1 Рефакторинг Критерий Оценка -1 0 1 Рефакторинг Функционал в инструменте существует номинально А ведь факт Размерность оценки критериев
  12. 12. Рассмотрим критерии IDE Критерий Оценка Навигация по коду Рефакторинг кода Подсветка синтаксиса Интеграция с Bug tracker/VCS/CI Кастомизация Инструментарий отладки Язык описания теста -5 из +7 Блокнот!
  13. 13. API Критерий Оценка DDT/KDT/ODT Надёжность работы API Скорость работы API Расширение API -1 из +4 Рассмотрим критерии
  14. 14. Platform Критерий Оценка Взаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами -1 из +5 Рассмотрим критерии
  15. 15. Platform Критерий Оценка Взаимодействие с 1 технологией Взаимодействие с 2-3 технологиями Взаимодействие с всеми заявленными технологиями Распознавание элементов интерфейса Взаимодействие с процессами -1 из +5 Рассмотрим критерии
  16. 16. Record&Play Критерий Оценка Запись теста Качество записанного кода Воспроизведение теста Автоматическое определение элементов Форматирование записанного теста -3 из +5 Рассмотрим критерии
  17. 17. Test management Критерий Оценка Параметризация тестов Комбинирование/предицирование тестов Механизм управления запуском тестов Прогон тестов по расписанию/триггеру Механизмы прерывания теста -2 из +5 Рассмотрим критерии
  18. 18. Logs/Reports Критерий Оценка Глубина по разделению ошибок Доступные расширения Оптимизация объёма лога Расширение информативности лога -3 из +4 Рассмотрим критерии
  19. 19. Сводка по результатам оценки IDE API Platform Record&Play Test management Logs/Reports -5 -1 -1 -3 -2 -3
  20. 20. Что нам надо от инструментов? IDE API Platform Record&Play Test management Logs/Reports -5 -1 -1 -3 -2 -3
  21. 21. Что нам надо от инструментов? IDE API Platform Record&Play Test management Logs/Reports -5 -1 -1 -3 -2 -3
  22. 22. «Интеграционный стандарт» • Универсализация «непригодных» модулей инструментов: – Test development (record&play) – Test management – Logs/Reports – Handlers for API AT tool Test management Logs Reports Handlers for API System Under Test
  23. 23. Итоги • Интеграция инструментов в среды разработки • Эволюция инструментов автоматизации в составной конструктор • Составляющие инструментов – отдельные решения • Развитие механизмов тестирования в сторону генерации тестов • Ориентация градации ошибок на стандарты типа ISO
  24. 24. Вопросы и ответы • Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru ?
  25. 25. Большое спасибо! • Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru The dark side of automation tools hides very much job

×