2. Марина Широчкина
Руководитель группы тестирования
Тестирование
Обзорная лекция

3. Что это такое и с чем его едят?
Введение

4. 4
Тестирование – процесс
сравнения ожидаемых результатов
с полученными.

5. 5
Тестирование – набор
инженерных практик, нацеленных
на раннее обнаружение дефектов.

6. 6
Тестирование – способ
предоставления и получения
обратной связи: как
технологической, так и
продуктовой.

7. 7
Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь

8. 8
Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь
• «Оно делает не то, что надо!»
(с) менеджер

9. 9
Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь
• «Оно делает не то, что надо!»
(с) менеджер
• «Я не могу использовать разработанный
тобой API, он не возвращает все
необходимые данные.»
(с) коллега-разработчик

10. 10
Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор

11. 11
Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор
• «Ребята, оно падает каждые полчаса, я не
буду это поддерживать.»
(с) системный администратор

12. 12
Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор
• «Ребята, оно падает каждые полчаса, я не
буду это поддерживать.»
(с) системный администратор
• «Эта реализация не выдержит
предполагаемой нагрузки.»
(с) кто-то битый жизнью

13. 13
Раннее обнаружение проблем –
залог здорового сна.

14. Народная мудрость
Баг лучше поймать сразу же
после его создания.
Уровни тестирования

15. 15
Unit-тесты – тесты, проверяющие
корректность работы отдельных
модулей программы.

16. 16

17. 17

18. 18
Входные (тестовые)
данные
Выходные данные
(полученный результат)

19. 19
Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».

20. 20
Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».
• Могут служить документацией к коду.

21. 21
Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».
• Могут служить документацией к коду.
• Упрощают процесс рефакторинга.

22. 22
Минусы unit-тестов
• Их надо писать.

23. 23
Минусы unit-тестов
• Их надо писать.
• Их надо уметь писать.

24. 24
Минусы unit-тестов
• Их надо писать.
• Их надо уметь писать.
• Их надо поддерживать.

25. 25
Даже если все компоненты по
отдельности работают правильно,
то это ещё ничего не значит.

26. 26
Интеграционные тесты – тесты,
проверяющие корректность
взаимодействия отдельных
модулей друг с другом.

27. 27

28. 28

29. 29

30. 30
Плюсы интеграционных тестов
• Находят баги, которые не могут быть
обнаружены unit-тестами.

31. 31
Плюсы интеграционных тестов
• Находят баги, которые не могут быть
обнаружены unit-тестами.
• Запускаются после сборки проекта и
позволяют быстро обнаружить проблемы
взаимодействия.

32. 32
Минусы интеграционных тестов
• все минусы unit-тестов

33. 33
Даже если все компоненты по
отдельности работают правильно
и корректно взаимодействуют друг
с другом – это ещё ничего не
значит.

34. 34
Приёмочные тесты – тесты,
проверяющие работоспособность
системы целиком. В реальном
окружении, с реальными данными,
на реальных сценариях.

35. 35
Железка
OS

36. 36
Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами

37. 37
Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами
• Позволяют оценить работоспособность
продукта целиком

38. 38
Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами
• Позволяют оценить работоспособность
продукта целиком
• На этом уровне с продуктом могут
ознакомиться будущие пользователи

39. 39
Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему

40. 40
Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему
• Занимают больше времени

41. 41
Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему
• Занимают больше времени
• Обнаруживают проблемы с некоторой
задержкой

42. 42
Что же выбрать?

43. Каждому виду багов – свой вид
тестирования
Виды тестирования

44. 44
«АААА! Ничего не работает»

45. 45
Функциональное тестирование
– проверка работы кода/продукта
на соответствие требованиям.
Проверка логики работы.

46. 46
«Не работает у части
пользователей»

47. 47
Конфигурационное
тестирование на клиенте –
проверка работоспособности на
различных конфигурациях. Для
веб-сайтов – в разных браузерах.

48. 48
«Мы это выкатили, и оно
перестало работать!»

49. 49
Конфигурационное
тестирование сервер-сайда –
проверка работоспособности в
окружении, максимально
идентичном продакшену (железка,
OS, утилиты, библиотеки, конфиги,
версии).

50. 50
«Всё сломалось, когда туда
пришли пользователи»

51. 51
Нагрузочное тестирование –
проверка работоспособности под
нагрузкой (одновременная обработка
большого потока запросов).

52. 52
«Работает, но страшно
тормозит»

53. 53
Тестирование
производительности – проверка
скорости работы системы.

54. 54
Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы

55. 55
Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы
• То же самое – под нагрузкой

56. 56
Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы
• То же самое – под нагрузкой
• В пользовательских условиях (сетевые
условия)

57. 57
«Всё было хорошо, пока не
пришли злые китайские
хакеры»

58. 58
Тестирование безопасности –
об этом вам прочитают отдельную
лекцию

59. 59
«А как этим пользоваться?»

60. 60
купил айфон а чо с ним делать
где кнопки чтобы нажимать
и как мне позвонить сереге
а вот и он звонит и чо

61. 61
Тестирование юзабилити –
тестирование удобства
использования.
Коридорный вариант доступен
всем.

62. 62
«Оно работало, а потом вдруг
упало»

63. 63
Тестирование стабильности –
тестирование стабильности
работы под нагрузкой, длительное
время.

64. 64
Всё?

65. 65
Ещё много…
• Volume тестирование
• Stress/Recovery тестирование
• Spike тестирование
• Localization тестирование
• Compatibility тестирование
И т. д. И т. п.

66. 66
Какие выбрать?

67. 67
Исходя из специфики
вашего проекта.

68. 68
Способы тестирования

69. 69
Ручное тестирование –
выполнение тестов вручную
или с помощью скриптов.
Ручной анализ результатов.

70. 70
Плюсы и минусы ручного подхода
Плюсы
• Более информативно – замечаются
дефекты рядом

71. 71
Плюсы и минусы ручного подхода
Плюсы
• Более информативно – замечаются
дефекты рядом
Минусы
• Долго

72. 72
Плюсы и минусы ручного подхода
Плюсы
• Более информативно – замечаются
дефекты рядом
Минусы
• Долго
• Дорого

73. 73
Автоматическое тестирование –
выполнение с помощью скриптов
или инструментов. Оценка
результатов проводится
автоматически.

74. 74
Плюсы и минусы неручного подхода
Плюсы
• Удобно и легко

75. 75
Плюсы и минусы неручного подхода
Плюсы
• Удобно и легко
Минусы
• Тесты нужно писать и поддерживать

76. 76
Плюсы и минусы неручного подхода
Плюсы
• Удобно и легко
Минусы
• Тесты нужно писать и поддерживать
• Тесты выполняются «в лоб»

77. 77
Плюсы и минусы неручного подхода
Плюсы
• Удобно и легко
Минусы
• Тесты нужно писать и поддерживать
• Тесты выполняются «в лоб»
• Сами тесты/скрипты/инструменты могут
содержать баги и порождать ложные
результаты

78. 78
Разумная комбинация
методов – залог успеха.

79. 79
Инструменты
Функциональное, приемочное тестирование:
Selenium (web app): http://seleniumhq.org/
TestComplete (desktop app): http://smartbear.com/products/qa-
tools/automated-testing-tools
Функциональное, unit тестирование:
подбирается под используемый язык, см http://clck.ru/4bsKa
Нагрузочное тестирование/тестирование
производительности:
Яндекс.Танк: https://github.com/yandex-load/yandex-tank
Jmeter: http://jmeter.apache.org/

80. 80
Инструменты
Как сымитировать плохую сеть:
Fiddler: http://www.fiddler2.com/fiddler2/
Charles: http://www.charlesproxy.com/
Утилита tc: man tc
Большой зоопарк разнообразных браузеров:
http://browsershots.org/

81. Марина Широчкина
pancakyes@yandex.ru
Спасибо