SlideShare ist ein Scribd-Unternehmen logo
1 von 19
Выбирай 
или 
проиграй 
Сравнительное юзабилити тестирование
Сравнение — великая движущая сила, 
которая побуждает нас к соревнованию и 
самосовершенствованию. 
Александр Вертинский
Зачем? 
• Сравнить себя нового с 
собой в прошлом 
• Выбрать между 
несколькими 
вариантами 
• Сравнить себя с 
другими
Что сравниваем? 
• Новый интерфейс со 
старым 
• Разные варианты 
прототипов одного 
интерфейса 
• Сравнение интерфейса 
с конкурентами
Кого тестируем? 
Несколько групп: 
• Существующие 
пользователи 
• Новые пользователи 
• Лояльные и не лояльные 
• Опытные/неопытные
Особенности 
тестирования? 
• 1 сценарий на 2 интерфейса 
• Рекомендую 2 интерфейса 
на 1 пользователя 
• Если сравнивается более 2 
интерфейсов или 
тестирование длинное, то 1 
человек – 1 интерфейс 
Миленько
Сколько человек? 
• Чем больше тем лучше, но не меньше 8 человек на 
один интерфейс
Если 1 пользователь 2 интерфейса 
Чередуем интерфейсы 
АВ ВА АВ ВА АВ ВА 
(контрбалансировка)
Критерии сравнения? 
• Успешность выполнений заданий 
• Количество ошибок юзабилити 
• Количество непонятных формулировок 
• Время выполнения заданий 
• Удовлетворенность 
• Семантический дифференциал 
*Можно спросить конечно, какой интерфейс больше понравился, но одного 
этого вопроса недостаточно
Успешность выполнения заданий 
= сколько человек выполнили задание в 
интерфейсе 1 и в интерфейсе 2 
Если разница велика, то это знак
Количество ошибок интерфейса 
Фиксируем проблемы. Ранжируем по критичности. 
Ошибке присваиваем вес: 
• 1 – незначительная 
• 2 – значительная 
• 3 – критичная, приведшая к невыполнению задания
Время выполнения заданий 
• Параметр измеряется там, где 
важна скорость выполнения 
заданий. Чем быстрее, тем лучше 
• На развлекательных сайтах 
ситуация может быть обратной. 
Чем дольше остается на сайте тем 
лучше. Здесь время не измеряем.
Удовлетворенность 
• После каждого задания 
• В конце тестирования 
Оцените удобство по 5-балльной шкале 
Оцените достаточность информации по 5- 
балльной шкале 
Оцените сложность интерфейса по 5-балльной 
шкале и др.
Семантический дифференциал? 
Удобный Неудобный 
Современный Устаревший 
Простой Сложный 
Дружелюбный Безразличный 
* Рекомендуется к применению на большой выборке пользователей
Живой пример: 
Сайт знакомств. 
Какой вариант профиля лучше?
vs 
1 2
vs ЛУЧШЕ 
1 2
«…Мы имеем право 
сравнивать себя 
лишь с собою 
вчерашним, 
соперничать с самим 
собою…»
Мария Чайкина mchaykina@gmail.com 
http://www.slideshare.net/fayona 
Зима близко… 
Группа UX-единомышленников, увлеченных своим делом 
UXIFY.IT 
www.uxify.it

Weitere ähnliche Inhalte

Ähnlich wie Сравнительное юзабилити-тестирование - Выбирай или проиграй

Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
qasib
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
Tatyana Pischasova
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7
student_kai
 
Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7
Technopark
 

Ähnlich wie Сравнительное юзабилити-тестирование - Выбирай или проиграй (20)

Оценка сроков IT проектов
Оценка сроков IT проектовОценка сроков IT проектов
Оценка сроков IT проектов
 
Шагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщикаШагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщика
 
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLabМастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
 
Опыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryОпыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product Discovery
 
Product discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехиProduct discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехи
 
9.1 Usability testing
9.1 Usability testing9.1 Usability testing
9.1 Usability testing
 
Почему достаточно 10 пользователей
Почему достаточно 10 пользователейПочему достаточно 10 пользователей
Почему достаточно 10 пользователей
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
 
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
 
JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7
 
Проведение юзабилити-тестирования Final
Проведение юзабилити-тестирования FinalПроведение юзабилити-тестирования Final
Проведение юзабилити-тестирования Final
 
Дмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложенияДмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложения
 
больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2
 
больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1
 
Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7
 
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
 
Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?
 
Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?
 

Mehr von SQALab

Mehr von SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Сравнительное юзабилити-тестирование - Выбирай или проиграй

  • 1. Выбирай или проиграй Сравнительное юзабилити тестирование
  • 2. Сравнение — великая движущая сила, которая побуждает нас к соревнованию и самосовершенствованию. Александр Вертинский
  • 3. Зачем? • Сравнить себя нового с собой в прошлом • Выбрать между несколькими вариантами • Сравнить себя с другими
  • 4. Что сравниваем? • Новый интерфейс со старым • Разные варианты прототипов одного интерфейса • Сравнение интерфейса с конкурентами
  • 5. Кого тестируем? Несколько групп: • Существующие пользователи • Новые пользователи • Лояльные и не лояльные • Опытные/неопытные
  • 6. Особенности тестирования? • 1 сценарий на 2 интерфейса • Рекомендую 2 интерфейса на 1 пользователя • Если сравнивается более 2 интерфейсов или тестирование длинное, то 1 человек – 1 интерфейс Миленько
  • 7. Сколько человек? • Чем больше тем лучше, но не меньше 8 человек на один интерфейс
  • 8. Если 1 пользователь 2 интерфейса Чередуем интерфейсы АВ ВА АВ ВА АВ ВА (контрбалансировка)
  • 9. Критерии сравнения? • Успешность выполнений заданий • Количество ошибок юзабилити • Количество непонятных формулировок • Время выполнения заданий • Удовлетворенность • Семантический дифференциал *Можно спросить конечно, какой интерфейс больше понравился, но одного этого вопроса недостаточно
  • 10. Успешность выполнения заданий = сколько человек выполнили задание в интерфейсе 1 и в интерфейсе 2 Если разница велика, то это знак
  • 11. Количество ошибок интерфейса Фиксируем проблемы. Ранжируем по критичности. Ошибке присваиваем вес: • 1 – незначительная • 2 – значительная • 3 – критичная, приведшая к невыполнению задания
  • 12. Время выполнения заданий • Параметр измеряется там, где важна скорость выполнения заданий. Чем быстрее, тем лучше • На развлекательных сайтах ситуация может быть обратной. Чем дольше остается на сайте тем лучше. Здесь время не измеряем.
  • 13. Удовлетворенность • После каждого задания • В конце тестирования Оцените удобство по 5-балльной шкале Оцените достаточность информации по 5- балльной шкале Оцените сложность интерфейса по 5-балльной шкале и др.
  • 14. Семантический дифференциал? Удобный Неудобный Современный Устаревший Простой Сложный Дружелюбный Безразличный * Рекомендуется к применению на большой выборке пользователей
  • 15. Живой пример: Сайт знакомств. Какой вариант профиля лучше?
  • 18. «…Мы имеем право сравнивать себя лишь с собою вчерашним, соперничать с самим собою…»
  • 19. Мария Чайкина mchaykina@gmail.com http://www.slideshare.net/fayona Зима близко… Группа UX-единомышленников, увлеченных своим делом UXIFY.IT www.uxify.it

Hinweis der Redaktion

  1. Сравни ее характер и мой бюст: мой круче!
  2. При наличии «сбалансированных» и «обычных» групп пользователей, исследователи могут проводить два круга тестов и оценивать влияние описанных выше факторов на их результаты. Например, если разделить группы на подгруппы из более опытных пользователей и менее опытных или тех, кто позитивно относится к бренду и не любит его, то можно четко увидеть разницу в выходных данных. Имея такие показатели, полученные в ходе работы с подгруппами, возможно составление взвешенного композитного показателя. Например, если исследователи точно знают, что 50% пользователей обладают более чем пятилетним опытом использования тестируемого продукта, но в текущей выборки таких всего 44%, результатам можно придать соответствующий вес.