Remote Usability Testing

•

1 gefällt mir•548 views

Sherpas

Design

snímek |datum |dokument | 2
Communication

snímek |datum |dokument |
Your visitors
3

snímek |datum |dokument |
Testing with Users
4

snímek |datum |dokument |
Obstacles
• No need
• No time
• No money
• No know-how
6

snímek |datum |dokument |
No Need?
• User behavior assumptions
are 75% wrong
7

snímek |datum |dokument |
There Is No Such Thing as
Universal Design
8

snímek |datum |dokument |
No Need?
• Test early, fail early!
• Designing without testing is like driving
blindfolded
• If you say your design is perfect you are
not a good designer
10

snímek |datum |dokument |
No Time?
• Website analysis: 8 hours
• Recruiting 10 users: 8 hours
• Test scenarios: 6 hours
• Sessions: 20 hours
• Analysis: 16 hours
• Presentation: 4 hours
• Total: 62 hours
11

snímek |datum |dokument |
No Time?
• Grab 3 users: 1 hours
• Think of basic tasks: 1 hour
• 1/2hour sessions: 1,5 hours
• Analysis: 1,5 hours
• Total: 5 hours
12

snímek |datum |dokument |
No Money?
13
• Lab
• Eye Tracker
• Recruitment

snímek |datum |dokument |
No Money?
• 5 hours of your time
• Incentives: 240 zloty
14

snímek |datum |dokument |
And How About
• Recruit online
• Test anytime
• Test anywhere
• And even for free!
15
This is remote testing

snímek |datum |dokument |
And Where Is the Know-How?
16

snímek |datum |dokument |
The Basics
1. Have something to test
2. Get a few users
3. Watch them perform tasks
4. Analyze
5. Fix the most serious problems
6. Test again
17

snímek |datum |dokument |
Remote testing
• Moderated
• Unmoderated
18

snímek |datum |dokument |
Moderated
• Communicate with users in real time
• Qualitative data
• Ask questions
19

snímek |datum |dokument |
Moderated
20
• No eye contact
• Technical limitations
• No statistics

snímek |datum |dokument |
Technical Stuff
• Use conferencing software
» WebEx, Gotomeeting
• Tranfer voice and screen
» Skype, Mikogo
21

snímek |datum |dokument |
Some Tips
• Skype is fat
• Connection can be slow
• Record on your computer
» Morae, HypeCam
24

snímek |datum |dokument |
Unmoderated
25

snímek |datum |dokument |
How Does It Work
• Test a website or mockups
• Users provided, or get your own users
• Pay a monthly fee, or per user
• You get videos, or stats
• Plus some feedback
26

snímek |datum |dokument |
Usertesting.com
• You submit the website and your questions
• They provide users
• You get videos
27

snímek |datum |dokument |
OpenHallway.com
• Create the test
• Get the link to users – e-mail, Ethnio
• You get videos and feedback
28

snímek |datum |dokument |
Loop11.com
• Submit your website or mockups
• Create the test
• You get stats – success rates, navigation
path, click spots
• Speaks international
29

snímek |datum |dokument |
Navflow.com
• Test images only
• Free responses from community or link for
your users
• You see where they click
30

snímek |datum |dokument |
Remote testing
• Quick
• Less results
• Perfect for solving specific problems
• Lots of tools – why not build your own?
32

snímek |datum |dokument |
Questions?
adam.fendrych@dobryweb.cz
@adlo @fendrych
www.dobryweb.cz
33

Weitere ähnliche Inhalte

Andere mochten auch

HarryResume2016

Harry Finks

LOKESH RESUME (1)

Barla Lokesh

Sucesion

ITCN

Retail conglomerate in Latin America monitors 8000+ app components with Appli...

ManageEngine, Zoho Corporation

MONG-CV-KABIA-Newest

MONG UMAZI UKA

INTRODUCCION A CIRCUITOS ELECTRICOS

Jairo Llamuca

What is average first reply time? This metric shows how long it takes for your support team to get back to a customer’s first request. Why should you measure average first reply time? First reply time is more important than overall reply times because it’s an acknowledgement to the customer that their issue is being looked into. It also indicates how quickly your team is addressing new tickets, and helps you see if you have enough team members to deal with volume. Different channels have different expectations for first reply time, but in general a high first reply time means that customers may channel switch because they aren’t sure if you’ve received their message or are working on their case. Learn everything you need to know about customer service metrics: https://blog.kayako.com/customer-support-metrics

How to Calculate Average First Reply Time

Kayako

Delivering Exceptional Customer Service Training by College of Southern Nevada

Atlantic Training, LLC.

เธ เธฒเธฉเธฒเธเธฒเธฅเธต

Gawewat Dechaapinun

Whats New in Uniface 9.7 Infographic

Uniface

Andere mochten auch (10)

HarryResume2016

LOKESH RESUME (1)

Sucesion

Retail conglomerate in Latin America monitors 8000+ app components with Appli...

MONG-CV-KABIA-Newest

INTRODUCCION A CIRCUITOS ELECTRICOS

How to Calculate Average First Reply Time

Delivering Exceptional Customer Service Training by College of Southern Nevada

เธ เธฒเธฉเธฒเธเธฒเธฅเธต

Whats New in Uniface 9.7 Infographic

Ähnlich wie Remote Usability Testing

Adam Fendrych "Usability Testing Workshop"

World Usability Day 2010

Streamline Your AB Testing

Bartosz Mozyrko

Remote research can raise the quality and lower the costs of your user research efforts; using a combination of surveys, video, screensharing, and phone, you can connect with a much broader range of users than you could using traditional lab-based usability tests, while using resources more efficiently than you would doing contextual research. In this workshop-style talk, Juliette Melton will cover recruiting sources, technology tools, and caveats you might not have thought of, including managing time zones and participant distraction. We will also address pros and cons of increasingly popular non-scripted research services.

Juliette Melton at BayCHI: Real World Remote Research

BayCHI

Juliette Melton at BayCHI: Real World Remote Research

BayCHI

10/17/19 1 EE 200: Electrical Engineering Design Project Process AKA Systems Engineering 4 4 Dr. Haggerty, PE (EE) • Guide you through o Project Process o Requirements Analysis o Prototype Development • 14 years: Systems Engineering Aerospace and electronic systems o Numerous winning proposals o 100s M$ in new business • 20 years: Consulting Engineer o Broader technical o Multiple large clients o Multiple start-ups • 5 Years Adjunct faculty o Teach LD, UD, and Grad o A “go to” replacement 5 5 10/17/19 2 Dr. Haggerty, PE (EE) • Guide you through o Project Process o Requirements Analysis o Prototype Development • 14 years: Systems Engineering Aerospace and electronic systems o Numerous winning proposals o 100s M$ in new business • 20 years: Consulting Engineer o Broader technical o Multiple large clients o Multiple start-ups • 5 Years Adjunct faculty o Teach LD, UD, and Grad o A “go to” replacement 2 Elevator Pitch is Short Explanation to Catch Listeners Interest Individual • Name • Project Role • Experience Summary • 15𝑠 ≤ 𝑇&' ≤ 2𝑚𝑖𝑛 6• References on BeachBoard 6 Project/Product: • Product Elevator Pitch Outline o Hook: o Who it is for: o What it does: o Why it is needed: • What would differentiate your product ? o (To help generate info for Elevator Pitch) 7 7 10/17/19 3 They say there is no “I” in Team. 9 9 Engineering Project Process Defined in: HF Hoffman, The Engineering Capstone Course Part 1 • Select team and project • Analyze business case and issues • Unit specifications • Parts list and purchase • Test planning • Proposal Part 2 • Weekly status • Formal team meetings • Formal design reviews • Software design, code, and test • Hardware design, fabrication, and integration • Software/hardware integration • Final report, presentation, and demonstration of final product 10 10 10/17/19 4 Systems Engineering Made up of Technical and Managerial Functions Technical • Requirements Analysis • System Architecture/Design • Performance Analysis • Interface Specification • Test o Verification and Validation o AKA V&V Managerial • Customer Interface • Technical Management • Information Management Process Engineering • Logistics and Operations • Coordination 11 11 Validation Shows Product Meets User Needs Verification Shows Design Meets Requirements 14 14 10/17/19 5 15 Full V&V Systems Engineering Example: NASA Systems Engineering Handbook 15 Tailored Process Flow Guides You Through Streamlined Product Prototype Development 16 System Requirements • Specific statements • One shall per req • Independent of Design • What Not How Acceptance Tests • For each System Req • Tests System at End Design and Development Requirements Analysis • Technical Objectives • Constraints Worksheet • Standards Usage Integration and Test • Hardware Unit • Software Module • HW/SW HW/SW Partitioning Hardware • Req Trace • Design • Fabrication Software • Req Trace • Design • Code P

1017191EE 200 Electrical Engineering Design Project.docx

aulasnilda

The postal business is changing at a rapid pace and the Postal Service must continue to change quickly to remain relevant and competitive in the marketplace. The Postal Service implemented the Agile methodology, replacing the traditional waterfall methodology to improve project communication, increase customer satisfaction, realize business benefits quickly, and improve overall quality. Please join us as Mark outlines the challenges Postal faced before using Agile, how Agile has been implemented across the enterprise, lessons learned, benefits and where they are headed next with Agile Transformation.

Lean Solutions – Agile Transformation at the United States Postal Service

ITSM Academy, Inc.

Going Remote: User experiences at a distance

linoleumjet

Presentation from HiPC'18 (https://arxiv.org/abs/1805.01177). Abstract: Given the cost of HPC clusters, making best use of them is crucial to improve infrastructure ROI. Likewise, reducing failed HPC jobs and related waste in terms of user wait times is crucial to improve HPC user productivity (aka human ROI). While most efforts (e.g.,debugging HPC programs) explore technical aspects to improve ROI of HPC clusters, we hypothesize non-technical (human) aspects are worth exploring to make non-trivial ROI gains; specifically, understanding non-technical aspects and how they contribute to the failure of HPC jobs. In this regard, we conducted a case study in the context of Beocat cluster at Kansas State University. The purpose of the study was to learn the reasons why users terminate jobs and to quantify wasted computations in such jobs in terms of system utilization and user wait time. The data from the case study helped identify interesting and actionable reasons why users terminate HPC jobs. It also helped confirm that user terminated jobs may be associated with non-trivial amount of wasted computation, which if reduced can help improve the ROI of HPC clusters.

Why do Users kill HPC Jobs?

Venkatesh Prasad Ranganath

The future of testing magento 2 james cowie from shero commerce - 10 24-20 ...

James Cowie

SIC Finale Status Report August 6.pptx

Shaista Ansari

For the full video of this presentation, please visit: https://www.edge-ai-vision.com/2022/09/incorporating-continuous-user-feedback-to-achieve-product-longevity-in-chaotic-environments-a-presentation-from-observa/ Erik Chelstad, CTO and Co-founder of Observa, presents the “Incorporating Continuous User Feedback to Achieve Product Longevity in Chaotic Environments” tutorial at the May 2022 Embedded Vision Summit. In many computer vision applications, a key challenge is maintaining accuracy when the real world is changing. In this presentation, Chelstad explores techniques for designing hardware and software to stave off obsolescence by allowing users to interact with the output of the computer vision system as quickly and cheaply as possible, so that future errors are avoided. He also discusses ways to motivate users to provide useful feedback, and illustrates concepts using a deployed commercial application.

“Incorporating Continuous User Feedback to Achieve Product Longevity in Chaot...

Edge AI and Vision Alliance

COMP 4026 Lecture3 Prototyping and Evaluation

Mark Billinghurst

UX in Action: IBM Watson

UserTesting

Creating a consistent web experience across all faculties

Sarah Khan

Agile In Practice

benjaminbooth

Ask your users

Marie Toler Raney

It seems simple, build a system that allows users to effortlessly reach their goals. So why is it a challenge for teams to stay aligned to user needs throughout the entire design process? Distractions crop up, extra design elements are added along the way, and soon you have a user interface that potentially causes user diversion and is not the streamlined interface you envisioned it would be. In this session, the audience follows the development of an app and discovers five simple steps they can take to build UI that avoids distraction and helps users reach their goals. • Mapping results from research, recognizing and grouping user needs to recognize importance and hierarchy • Mapping user needs to specific features • Building a rough information architecture from features • Prototyping and testing • Tips for distraction-free visual design

UXPA 2022 Build for action not distraction

UXPA International

Project_Integration_Managemen.pptx

IvarsLinde1

After learning the basics of remote unmoderated usability testing in Part 1, view this webinar on-demand with Ann Rochanayon, Director of UX/CX Research at UserZoom, to learn how usability studies are set up in UserZoom. Ann shows you why UserZoom leads the pack by taking you through the step-by-step study design as well as the research findings. View this 30-min webinar on-demand to learn: -How to set up a usability study in UserZoom -How to build questions -How to build tasks -How to validate tasks

Conducting Remote Unmoderated Usability Testing: Part 2

UserZoom

Online surveys are an incredibly useful tool for UX, CX and Marketing Professionals to collect user feedback. However, to make your research more impactful, you may need to build a more robust survey, the one that adapts to each respondent. Take a look at some of the more advanced survey features UserZoom has to offer such as advanced logic, conditions and piping Learn about: 1. How to utilize advanced survey logic, conditions and piping 2. Traditional and non-traditional question types to complement your research

How to Create Advanced Surveys with Logic, Conditions and Piping

UserZoom

Ähnlich wie Remote Usability Testing (20)

Adam Fendrych "Usability Testing Workshop"

Streamline Your AB Testing

Juliette Melton at BayCHI: Real World Remote Research

1017191EE 200 Electrical Engineering Design Project.docx

Lean Solutions – Agile Transformation at the United States Postal Service

Going Remote: User experiences at a distance

Why do Users kill HPC Jobs?

The future of testing magento 2 james cowie from shero commerce - 10 24-20 ...

SIC Finale Status Report August 6.pptx

“Incorporating Continuous User Feedback to Achieve Product Longevity in Chaot...

COMP 4026 Lecture3 Prototyping and Evaluation

UX in Action: IBM Watson

Creating a consistent web experience across all faculties

Agile In Practice

Ask your users

UXPA 2022 Build for action not distraction

Project_Integration_Managemen.pptx

Conducting Remote Unmoderated Usability Testing: Part 2

How to Create Advanced Surveys with Logic, Conditions and Piping

Mehr von Sherpas

Milan zeman content-first-2019

Sherpas

Design sprint jako součást plánování marketingové kampaně Klubový večer WebTop100 4. října 2018 Jak využít design thinking a human-centered design pro zvýšení atraktivity hotového produktu? Jak vytěžit uživatele, budoucí klienty, i bez jejich fyzické přítomnosti? Jak podpořit marketingovou kampaň pomocí webu? Nebo jak oslovit ty správné zákaznické segmenty a které to jsou? Na tohle všechno jsme se pokusili odpovědět ve Vodafone týdenním Google Design Sprintem. Jak jsme ho customizovali a jaké přinesl výsledky se dozvíte na přednášce.

Jiří Suchý: Design sprint jako součást plánování marketingové kampaně

Sherpas

Milan Zeman: SEO jako multiobor Klubový večer WebTop100 10. dubna 2018 https://www.tuesday.cz/akce/klubovy-vecer-webtop100-moderni-seo-v-roce-2018 „SEO nebude sedět v koutě!“ Přemýšlet o SEO jen jako o izolovaném oboru v samostatném světě vyhledávačů je minulost. Společně se podíváme na to, jak jej lze propojit s ostatními obory digitálního marketingu a posunout tak SEO na úroveň plnohodnotné složky digitálního mixu.

Milan Zeman: SEO jako multiobor

Sherpas

Luboš Plotěný & Tomáš Hrivnák: Ten novej název je divnej BRANDstorming 2018 14. března 2018 https://www.tuesday.cz/akce/brandstorming-2018/ Připravíme vás na to, co vás čeká v jedné z klíčových fází rebrandingu – hledání a výběru nového jména. Představíme, jak pracovat s mnohoznačností jazyka v rámci tak náročného projektu jakým je celkový rebranding společnosti. Jak tuto změnu podmiňuje, ba definuje jazyk, kterým se organizace “učí mluvit”. Jak se nový název přes centrální metaforu propisuje do vizuální identity. Na příkladech rebrandingu značky Dobrý web na Sherpas zažijete pocity, které zažije 9 z 10 firem, když dělá rebranding. Zmíníme ale i mnoho rebrandingových katastrof.

Luboš Plotěný & Tomáš Hrivnák: Ten novej název je divnej (BRANDstorming 2018)

Sherpas

Tomáš Turek: Jak jsme rozjeli kampaně v maďarštině WebTop100 2016 15. listopadu 2016 http://www.tuesday.cz/akce/konference-webtop100-2016/ Ačkoliv nikdo z naší agentury si správně neobjedná ani segedín, pustili jsme se do správy výkonnostních kampaní v maďarském jazyce. Máme za sebou první čtvrtletí, které pro klienta bývá okurkovou sezónou, přesto se nám podařilo dosáhnout zajímavých výsledků: na web jsme sice oproti 3. kvartálu loňského roku přivedli o mnohem menší návštěvnost, vygenerovali jsme z nich ale daleko vyšší tržby. Na případové studii vám ukážu, jak se nám to podařilo.

Tomáš Turek: Jak jsme rozjeli kampaně v maďarštině (WebTop100 2016)

Sherpas

Jiří Suchý: CX hodnoty a mapování cest v digi CX konference 2017 20. června 2017 http://www.cxkonference.cz/ Banka, kterou mají její klienti rádi, to je Air Bank. Je založená na hodnotách, které její klienti milují. Jak a proč tyto hodnoty vznikly, jak v Air Bance žijí a jak se je podařilo propsat i do nových webových stránek? To nám přijde říct Tomáš Brych (Air Bank) s Jiřím Suchým (Dobrý web).

Jiří Suchý: CX hodnoty a mapování cest v digi (CX konference 2017)

Sherpas

Filip Ekl: Analýza konkurence z pohledu UX Klubový večer WebTop100: Konkurenční analýza 12. dubna 2017 http://www.tuesday.cz/akce/konkurencni-analyza/ Jak zjistit, co má konkurence na webu lépe než vy? A ve kterých případech se vám vyplatí to opsat a kdy jít vlastní cestou? Pojďme se podívat, co všechno ovlivňuje zážitek návštěvníka webu. Jen kousek z toho je designová best-practice, kterou lze snadno převzít. Pro poznání ostatního, je potřeba jít "pod kůži".

Filip Ekl: Analýza konkurence z pohledu UX  (Klubový večer WebTop100: Konkure...

Sherpas

Michal Mládek: Human centric culture UX a digitální inovace 31. května 2016 http://www.tuesday.cz/akce/ux-a-digitalni-inovace/ Svět se nemění, svět už se změnil. Před digitálními obrazovkami trávíme většinu dne, bavíme se, komunikujeme, hledáme a nakupujeme a je nasnadě, že odlišit se podstatou prodávaného produktu či služby je stále náročnější. Cesta k srdci zákazníka již nevede skrze upozorňování na jednotlivé parametry, ale skrze celistvou kulturu komunikace s ním. V rámci prezentace zmíním některé aktivity, které mohou mít na celkový zážitek zákazníka, člověka 2.0, vliv.

Michal Mládek: Human centric culture (UX a digitální inovace)

Sherpas

Luboš Plotěný: Měření výkonu digitálních kanálů/touchpointů pro E.On Internet Advertising Conference 2016 12. dubna 2016 http://iac.spir.cz/akce/internet-advertising-conference-2016/ Jak kontinuálně porovnávat výkon webu s konkurencí, či s trend-settery z jiných oborů? Jak změřit nebezpečí ztráty zákazníka v případě, že máte selfcare pokulhávající za konkurencí? Jaké metriky sledovat při hodnocení carových a crosssellových kanálu a jak na jejich základě vytvářet akční rozvojový plán? Jak změřit, zda vaše e-mailová podpora opravdu dokáže naplnit svou funkci?

Luboš Plotěný: Měření výkonu digitálních kanálů/touchpointů pro E.On (Interne...

Sherpas

Luboš Plotěný: Měření zákaznické spokojenosti na digitálních touchpointech Klubový večer WebTop100: Zákaznické cesty a měření multichannel 5. dubna 2016 http://www.webtop100.cz/klubove-vecery/2016/zakaznicke-cesty Case study přístupu k měření spokojenosti zákazníků společnosti E.ON Různé přístupy k akvizičním vs. retenčním kanálům Konkurenční benchmark pro typické zákaznické cesty Síla vlivu emocí na změnu dodavatele komodity, jako je elektřina

Luboš Plotěný: Měření zákaznické spokojenosti na digitálních touchpointech (K...

Sherpas

Filip Ekl: Uživatelské testování stránek z pohledu použitelnosti Wordcamp Praha 2016 20. února 2016 https://2016.prague.wordcamp.org/program/ Filip bude povídat o nástrojích a metodách, které umožňují jednoduše zjistit, jak se uživatelé chovají na stránce, jak ji vnímají, kde mají problémy a především jak na to reagovat. Doufá, že jeho přednáška bude motivací pro to, abyste alespoň základní uživatelské testování začali dělat i vy! https://www.youtube.com/watch?v=_gJ0S8bLJw4

Filip Ekl: Uživatelské testování stránek z pohledu použitelnosti (Wordcamp Pr...

Sherpas

Katalog školení Dobrého webu

Sherpas

Jak na transakční e-maily

Sherpas

Testování bankomatu

Sherpas

Efektivnější inovace díky uživatelům

Sherpas

Jak přežít redesign obsahu obřího webu

Sherpas

User experience: Ideální web pro uživatele

Sherpas

Jak nastartovat vlastni obsahovy marketing

Sherpas

Nástroje pro váš marketing - Zn. Zdarma

Sherpas

Jak měřit a vyhodnocovat obsahový marketing

Sherpas

Mehr von Sherpas (20)