Средства автоматизации тестирования десктопных приложений. Сравнительный анализ

1. Средства автоматизации
тестирования десктопных
приложений. Сравнительный
анализ.
Вадим Зубович
ISSoft / Coherent Solutions

2. О себе
Вадим Зубович
Automation Tech Lead
ISsoft / Coherent Solutions
www.coherentsolutions.com
www.comaqa.by
www.dpi.solutions

3. Проблема
Для автоматизации тестирования веба есть безусловный
лидер:

4. Проблема
С десктопными приложениями все не так просто

5. Сравниваемые инструменты

6. Критерии сравнения
• Поддерживаемые платформы
• Поддерживаемые технологии
• Лицензионность
• Наличие системыRecord-Play
• Поддержка языков программирования
• Наличие инструментов для маппинга
• Поддержка создания собственной архитектуры
• Поддержка Data-Driven Testing
• Поддержка Test-Driven Development
• Поддержка систем непрерывной интеграции

7. Record-Play

8. Скриптовые тесты

9. Инспектор

10. Набор стандартных действий

11. Поддерживаемые платформы
Инструмент Платформы Оценка
Windows
Windows
Windows
Windows
Windows, Unix-like
Windows
Windows
Windows, Unix-like
Windows, Unix-like
Windows

12. Поддерживаемые технологии
Инструмент Технологии Оценка
C/C++, WinForms, WPF, Java, Qt
WinForms, WPF, Java, SAP
WinForms, WPF, Java, Qt, SAP
WPF
Использует AutoIT и др.
Работает на уровне ОС
Win Forms, WPF, Java
WinForms, WPF, Java
Распознавание образов
WinForms, WPF

13. Лицензия
Инструмент Технологии Оценка
Платная
Платная
Платная
Платная
Открытая
Бесплатная
Платная
Открытая
Открытая
Открытая

14. Record-Play
Инструмент Поддержка Record-Play Оценка
Да
Да
Да
Да
Нет
Нет
Нет
Нет
Нет
Нет

15. Языки программирования
Инструмент Языки Оценка
Python, C#Script, JScript, C++Script, VBScript, DelphiScript
VBScript
C#, VB.Net
C#, VB.Net
Own DSL
Own Basic-like language
Own DSL
-
Jython, Java
Java, Javascript, PHP, Python, Ruby, C#

16. Маппинг
Инструмент Встроенный инспектор Оценка
Да
Да
Да
Да
Нет
Нет
Да / Нет
Да
Нет
Нет

17. Архитектура
Инструмент Кастомная архитектура Оценка
Нет
Нет
Нет
Нет
Да
Нет
Нет
Нет
Да / Нет
Да

18. Data-Driven Testing
Инструмент Поддержка DDT Оценка
Да
Да
Да
Да
Да
Нет
Да
Да
Да / Нет
Да

19. Test-Driven Development
Инструмент Поддержка TDD Оценка
Да / Нет
Да / Нет
Да / Нет
Да (в VS)
Да
Нет
Нет
Да
Да / Нет
Да

20. Непрерывная интеграция
Инструмент Инструменты CI Оценка
Automated Build Studio
Jenkins plugin
Jenkins
Bamboo
Jenkins plugin
-
Test Execution Management
-
- / Любой Java-совместимый
Любой

21. Общая оценка
Инструмент Баллы
8 х
6 х
7 х
6 х
11 х
4 х
4 х
7 х
11 х
8 х

22. Спасибо за внимание
Вадим Зубович
ISSoft / Coherent Solutions
www.comaqa.by
www.dpi.solutions

23. Плюсы:
• Низкий порог вхождения
• Высокая гибкость скриптовых тестов
• Очень дорогая лицензия
Минусы:
• Огромная база знаний (На уровне MSDN)
• Свои специфичные скриптовые языки
• Выбор скриптовых языков, похожих на языки общего назначения

24. Плюсы:
• Низкий порог вхождения
• Высокая гибкость скриптовых тестов
• Строгая привязка к другим решениям HP
Минусы:
• Хорошая техподдержка
• Свой специфичный DSL

25. Плюсы:
• Низкий порог вхождения
• Скриптовые тесты на языке общего назначения (C#, VB.Net)
• Платная лицензия
Минусы:
• Хорошая техподдержка

26. Плюсы:
• Низкий порог вхождения
• Отличная параметризация Keyword-тестов
• Только WPF-приложения
Минусы:
• Поддержка DDT с использованием стандартных форматов (CSV, XLS, DB)
• Конвертация тестов в язык общего назначения (C#, VB.Net)

27. Плюсы:
• Поддержка сложной логики
• Отличная организация DDT
• Требует изучения
Минусы:
• Поддержка подключения стандартных .Net библиотек
• Свой специфичный DSL

28. Плюсы:
• Простота
• Отсутствие встроенных инструментов верификации
Минусы:
• Тест = exe-файл
• Отсутствие репортов
• Бесплатный
• Универсальность

29. Плюсы:
• Свой несложный читабельный Keyword-based язык
• Плагины для разных сред разработки
• Высокий порог вхождения
Минусы:
• Работа с разными операционными системами
• Поддержка разных языков программирования
• Инструментарий для создания своих Robot Framework библиотек
• Бесплатный

30. Плюсы:
• IDE проста в освоении
• Возможность писать тесты на языках общего назначения (Java, Python)
• Низкая надежность тестов
Минусы:
• Возможность работы на любых платформах и с любыми приложениями
• Медленная работа тестов
• Бесплатный
• Отсутствие работы с текстом
• Трудоемкая поддержка тестов

31. Плюсы:
• IDE проста в освоении
• Возможность работы на базе требований
• Отсутствие гибкости, присущей скриптовым тестам
Минусы:
• Встроенная БД для хранения тестовых данных и результатов
• Отсутствие CI
• Бесплатный

32. Плюсы:
• Знакомый синтаксис и API
• Поддержка всех языков, поддерживаемых Selenium WebDriver
• «Незрелый» инструмент
Минусы:
• Бесплатный
• Несовершенный способ локации элементов
• Мало документации