Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (18)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie Performance Tester's Professional Roadmap
Ähnlich wie Performance Tester's Professional Roadmap (20)
Performance Tester's Professional Roadmap
- 1. Профессиональный Roadmap нагрузочного тестировщика Андрей Похилько Инженер по нагрузочному тестированию UA Testing Days, Одесса, 18 августа 2012 года
- 2. Профессиональный Roadmap? • Почему мы говорим об этом? • Что это такое? • Зачем он тестировщику? • Зачем он менеджеру? 2
- 3. Откуда мы приходим в нагрузочное тестирование • Функциональщики • Админы • Разработчики • Случайные люди 3
- 10. Области компетенции Tестируемый сервис • Бизнес-область • Администрирование • Инфраструктура • Программная архитектура 10
- 11. Тестируемый сервис Бизнес-область • Кто и зачем пользуется • Суточный профиль, ЧНН • Мониторинг эксплуатации • Бизнес-приоритеты и планы 11
- 12. Следим за метриками эксплуатации
- 13. Тестируемый сервис Администрирование • Запускать и останавливать • Читать логи • Крутить настройки • Развертывать с нуля 13
- 14. Тестируемый сервис Инфраструктура • Структура кластера • Конфигурация оборудования • Протоколы обмена по сети • Топология сети и балансировка 14
- 15. Тестируемый сервис Программная архитектура • Перечень подсистем • Компоненты в подсистемах • Внутренняя архитектура • Исходный код 15
- 17. Области компетенции Tехнологии • Операционные системы • Сети • Программирование • Базы данных и хранилища 17
- 18. Технологии Операционные системы • Настольные и серверные • Администрирование • Мультизадачность • Метрики Тебе Ubuntu или MacOS, Нео? 18
- 19. Технологии Сети • Сетевое оборудование • Протоколы • Статусы и флаги TCP • Маршрутизация и настройка Это свитч или хаб? 19
- 20. Технологии Программирование • Веб-технология • Скрипты • Структура приложений • Многопоточность 20
- 21. Технологии Базы данных и хранилища • SQL-базы • Key-value хранилища • Писать запросы • Оптимизировать 21
- 22. Области компетенции Методики и подходы • Работа с SLA • Модели нагрузки • Локализация проблем 22
- 23. Методики и подходы Работа с SLA • Пользоваться готовым SLA • Самому формулировать 23
- 24. Методики и подходы Модели нагрузки http://bit.ly/I1zVWm 24
- 25. Методики и подходы Локализация проблем • Понятие о bottleneck-ресурсе • CPU / RAM / Disk • Недоконфигурирование • Блокировки и переключения Вот тебе bottleneck! 25
- 26. Области компетенции Инструментарий • Генераторы нагрузки • Средства мониторинга • Построение и хранение отчетов • Средства автоматизации • Средства отладки 26
- 27. Инструментарий Генераторы нагрузки • Сценарные и hit-based • Параметризация • Не-HTTP протоколы • Нестандартные протоколы 27
- 28. Инструментарий Мониторинг • Диспетчер задач / top • perfmon.msc / dstat • Интегрирован с генератором • Нестандартные метрики 28
- 29. Инструментарий Отчеты • Excel и скрипты • Встроенные в генератор • Интерактивные • Хранилище отчетов Успеть бы до утра... 29
- 30. Инструментарий Средства автоматизации • shell-скрипты • Шедулеры • ant / msbuild • CI-подобные системы 30
- 32. Области компетенции Анализ результатов • Одиночный тест • Сравнение тестов 32
- 34. Анализ результатов Сравнение тестов • По кумулятивному среднему • По распределениям времен • Разрезы по группам • Регрессионный анализ 34
- 35. Области компетенции Личные качества • Коммуникационные навыки • Командная работа •? •? 35
- 36. Личные качества Коммуникационные навыки • Почта и багтрекер • Личный контакт • Встречи и обсуждения Надо себя заставить... 36
- 37. Личные качества Командная работа • Обуза • Коллега • Бывалый • Лидер Морфиус играет в Ил-2 37
- 38. Матрица к обсуждению http://loadosophia.org/help/matrix/ 38
- 39. Я эксперт по всем фронтам! Что дальше? • Руководите младшими • Пишите статьи • Совершенствуйте инструменты • Создайте стартап 39
- 40. Андрей Похилько Инженер по нагрузочному тестированию, Яндекс apc@apc.kg @jmeter_plugins http://loadosophia.org
Hinweis der Redaktion
- Это про карьеру. Но не та карьера, где должности и оклады, а та где интересные проекты и технологии, уважение коллег На самом деле профессиональный roadmap это та же матрица компетенций, но слово roadmap намекает на действие, на некую динамику Для тестировщика это — карта, по которой идти вперед и способ измерить свою квалификацию Для менеджера — способ измерить квалификацию тестировщиков и подтянуть недостающие области
- Понятно, что в конце пути будет стоят чуть ли не идеальный тестировщик. Но для начала движения стоит понять откуда мы стартуем. Случайных людей жалко, но зачастую от недостатка понимания нагрузочные тесты вешают именно на них, это аналитики, технические писатели, саппорт. Люди не-инженеры и те кто совсем этого не хочет. Кстати окончание истории с девочками из яндекс-денег именно по этой причине грустное.
- Некоторые видели матрицу компетенций программиста, там по столбцам идут уровни мастерства, я действую точно так же. При чем, составляя матрицу, я стремился к тому чтобы каждый уровень мастерства был внутренне непротиворечив по всем скиллам.
- Ощущение у начинающего примерно как на картинке, «о боже, мне все в новинку, за что хвататься первым?» Этот уровень еще не приносит надежного профита и его нужно проходить как можно быстрее, качая все скиллы. НАпример, начинающий без сомнений делает нагрузочные тесты менее 1рпс самое типовое, самый простой тест на максимальный рпс Личинка тестировщика!
- Уже знает кунг-фу несколько режимов тестов обкладываемся мониторингами учимся анализу
- знание разных узких мест и их симптомов Анализ и отчеты Интерактивность отчетов
- гдб и прочее тут Хитрые узкие места Взглядом гнет ложки... и программистов.
- Знакомство с тестируемым сервисом Это делает ситуативной матрицу
- Уровень знаний о существующих технологиях Общая эрудированность Паван Равиндра Прашант Вабинав
- Ось — это контейнер, в котором работает всякий сервис
- Тут про то как важен MTU
- Важно понимать, как конструируются программы, чтобы знать узкие места Плюс собственные навыки разработки весьма помогают в сложных ситуациях
- Теории в НТ немного, но она важна Работа с SLA Модели нагрузки Локализация проблем
- Сценарные и hit-based Measure и Capasity Spike / Recovery / Endurance
- Генераторы нагрузки Построение и хранение отчетов Средства мониторинга Средства автоматизации Средства отладки
- Среднее, медиана, дисперсия Распределения и процентили Хронологии отклика и метрик Группы запросов