הרצאה של אורן שמיר, מקאן אריקסון, ושירה לוק-זילברמן, נטקראפט, על בדיקות שמישות במעבדה

1. ‫‪Prototyping‬‬
‫"אנשים נוהגים בדרך הנבונה ביותר,‬
‫לאחר שניסו את כל הדרכים האחרות"‬
‫אבא אבן‬
‫1‬

2. ‫‪Prototyping‬‬
‫מעבדות שימושיות‬
‫שירה לוק-זילברמן‬ ‫אורן שמיר‬
‫מומחית חווית משתמש‬ ‫מנהל תחום חווית משתמש‬
‫נטקראפט‬ ‫מקאן אריקסון‬
‫2‬

3. ‫‪Prototyping‬‬
‫אז מה נראה היום?‬
‫3‬

4. ‫‪Prototyping‬‬
‫אז מה נראה היום?‬
‫בדיקות שימושיות‬ ‫•‬
‫סוגים שונים של בדיקות שימושיות‬ ‫•‬
‫בדיקות מעבדה‬ ‫•‬
‫המחקר שלנו‬ ‫•‬
‫ממצאים ומסקנות‬ ‫•‬
‫סיכום והמלצות‬ ‫•‬
‫4‬

5. ‫‪Prototyping‬‬
‫בדיקות שימושיות‬
‫5‬

6. ‫‪Prototyping‬‬
‫בדיקות שימושיות‬
‫בדיקת שימושיות‬
‫אפקטיביות‬
‫יעילות‬
‫שביעות רצון‬
‫6‬

7. ‫‪Prototyping‬‬ ‫בזק | מצגת מחקר‬
‫בדיקות שימושיות‬
‫בדיקות שימושיות אונליין‬ ‫‪A/B Testing‬‬
‫סקרים אונליין‬
‫ראיונות טלפוניים‬
‫‪Think Aloud‬‬
‫ראיונות משתמשים‬ ‫‪Retrospective Think Aloud‬‬
‫‪Data Mining/Analysis‬‬ ‫הערכה היוריסטית‬
‫7‬

8. ‫‪Prototyping‬‬ ‫בזק | מצגת מחקר‬
‫בדיקות שימושיות‬
‫איכותני ‪ VS‬כמותני‬
‫‪A/B Testing‬‬ ‫‪Think Aloud‬‬
‫בדיקות שימושיות אונליין‬
‫‪Multi Variate Testing‬‬ ‫‪Retrospective TA‬‬
‫סקרים אונליין‬
‫‪BI Tools‬‬ ‫ראיונות משתמשים‬
‫‪EyeTracking‬‬
‫ראיונות טלפוניים‬
‫‪Analysis Tools‬‬
‫הערכה היוריסטית‬
‫8‬

9. Prototyping
‫בדיקות מעבדה‬
9

10. ‫‪Prototyping‬‬
‫בדיקות מעבדה - איך?‬
‫הכנת‬
‫4‬ ‫3‬ ‫בחירת‬
‫2‬ ‫1‬
‫בחירת‬ ‫הגדרת‬
‫חומרי‬ ‫נבדקים‬ ‫סביבת‬ ‫מטרה‬
‫הבדיקה‬ ‫עבודה‬
‫8‬ ‫7‬ ‫6‬ ‫5‬
‫ממצאים‬ ‫ניתוח‬ ‫שיחה עם‬ ‫ביצוע‬
‫והמלצות‬ ‫התוצאות‬ ‫נבדקים/‬ ‫הבדיקה‬
‫צופים‬
‫01‬

11. ‫‪Prototyping‬‬
‫בדיקות מעבדה - משתתפים‬
‫נבדקים‬ ‫•‬
‫מנהל הבדיקה‬ ‫•‬
‫‪*Note Taker‬‬ ‫•‬
‫בעלי ענין*‬ ‫•‬
‫11‬

12. ‫‪Prototyping‬‬
‫בדיקות מעבדה –חולשות וחוזקות‬
‫קשה לעשות‬ ‫קל לעשות‬
‫• מדגמים גדולים‬ ‫תצפיות על משתמשים‬ ‫•‬
‫• בדיקות מרובות‬ ‫חוות דעת משתמשים‬ ‫•‬
‫• סביבת עבודה אמיתית‬ ‫הבנה של "למה"‬ ‫•‬
‫כאב ראש‬ ‫•‬
‫21‬

13. Prototyping
‫המחקר שלנו‬
‫השוואה בין שלוש שיטות בדיקה נפוצות‬
Retrospective Retrospective
Think Aloud Think
Think Aloud w
w Screen Aloud
Eye Tracking Replay
Capture (RTA) (TA)
(ET + RTA)
13

14. ‫‪Prototyping‬‬
‫מה בדקנו?‬
‫אתר ‪WinWin‬‬
‫• הנבדקים קיבלו ארבע משימות:‬
‫• לחפש רכב מסוג מאזדה 2 במחיר עד 000,08 ש"ח‬
‫• לחפש דירה להשכרה בגבעתיים- עד 000,4 ש"ח‬
‫• לחפש אייפון 4‬
‫• לחפש ספה במחיר עד 000,2 ש"ח‬
‫• המשימות היו בדרגות קושי עולות‬
‫41‬

15. Prototyping
?‫איך בדקנו‬
‫שאלון מקדים‬
Retrospective Retrospective
Think Aloud Think
Think Aloud w
w Screen Aloud
Eye Tracking Replay
Capture (RTA) (TA)
(ET + RTA)
‫שאלון מסכם‬
15

16. ‫‪Prototyping‬‬
‫חשוב לזכור!‬
‫אתר הוא תמיד תוצאה של תהליכים פוליטיים ופנים ארגוניים‬ ‫•‬
‫לא כל מה שרוצים בסוף יוצא לפועל‬ ‫•‬
‫כל אתר ניתן לשפר‬ ‫•‬
‫אנו מציגים תוצאות שהתקבלו ממחקר משתמשים אובייקטיבי‬ ‫•‬
‫61‬

17. Prototyping
‫ממצאים‬
Think Aloud
17

18. ‫‪Prototyping‬‬
‫זמן ארוך לטעינת עמודים‬
‫"הייתי סוגרת וחוזרת‬
‫אחרי שחזרה לי הסבלנות"‬
‫ר', תקציבאית‬
‫"אה, נו בטח, זה ה - ‪"aspx‬‬
‫א', מנהלת פרוייקטים‬
‫81‬

19. Prototyping
‫ממצאים‬
Retrospective TA
19

20. ‫‪Prototyping‬‬
‫חיפוש חופשי לא סובלני‬
‫"חשבתי שזה כבר יצמצם לי‬
‫אבל זה לא עבד"‬
‫ז', מתכנת ‪web‬‬
‫02‬

21. ‫‪Prototyping‬‬
‫סרגל חיפוש משנה מקום לאחר טעינת הבאנר‬
‫12‬

22. Prototyping
‫ממצאים‬
RTA + Eye Tracking
22

23. ‫‪Prototyping‬‬
‫קשה להשוות בין תוצאות‬
‫32‬

24. ‫‪Prototyping‬‬
‫קטגוריית יד שניה מבלבלת‬
‫42‬

25. ‫‪Prototyping‬‬
‫אותו ממצא‬
‫בשלושת השיטות‬
‫52‬

26. ‫‪Prototyping‬‬
‫איפה נשמרות התוצאות?‬
‫"הייתי משאירה את הדף כבר‬
‫ב ‪ favorites‬של הדפדפן"‬
‫ר', תקציבאית‬
‫62‬

27. ‫‪Prototyping‬‬
‫איפה נשמרות התוצאות?‬
‫72‬

28. ‫‪Prototyping‬‬
‫איפה נשמרות התוצאות?‬
‫82‬

29. Prototyping
‫המסקנות שלנו‬
29

30. ‫‪Prototyping‬‬
‫המסקנות שלנו‬
‫איכות הממצאים‬
‫• ניתן לקטוף את רוב "הפירות הנמוכים" גם בשיטה פשוטה‬
‫• ככל שהשיטה מתקדמת התובנות מעמיקות‬
‫זמנים‬
‫>‬ ‫>‬ ‫• זמן לכל נבדק:‬
‫>‬ ‫>‬ ‫• זמן ניתוח:‬
‫03‬

31. ‫‪Prototyping‬‬
‫מסקנות מהעולם‬
‫13‬

32. ‫‪Prototyping‬‬
‫תוצאות חיפוש בגוגל‬
‫23‬

33. ‫‪Prototyping‬‬
‫"טריגרים" שונים לזכרון המשתמש‬
‫33‬

34. Prototyping
...‫מנסיון‬
34

35. ‫‪Prototyping‬‬
‫מנסיון... למה כדאי לעשות בדיקות מעבדה?‬
‫אפשר למצוא בזמן קצר הרבה בעיות שימושיות‬ ‫•‬
‫מגלים הרבה דברים שלא חשבנו עליהם באפיון‬ ‫•‬
‫מגלים את ה"למה"‬ ‫•‬
‫פוגשים את המשתמשים - תמיד יש הפתעות‬ ‫•‬
‫53‬

36. ‫‪Prototyping‬‬
‫מנסיון... למה כדאי להיעזר במומחה?‬
‫בעלי העניין בארגון הם גם בעלי דעה... מוטית‬ ‫•‬
‫אנחנו נוטים להגן על עצמינו מפני ביקורת‬ ‫•‬
‫ניסוחי המשימות והשאלות הם קריטיים לקבלת מידע אמין‬ ‫•‬
‫‪Bad data might be worse than no data‬‬ ‫•‬
‫63‬

37. ‫‪Prototyping‬‬
‫מנסיון... למה כדאי ‪?Eye Tracking‬‬
‫מאפשר לדלות מהנבדק את הסיבה האמיתית להתנהגות‬ ‫•‬
‫שלו‬
‫מאפשר לראות התנהגות שנבדקים לא היו חושפים‬ ‫•‬
‫קל לגלות על מה נבדקים לא הסתכלו‬ ‫•‬
‫קל יותר לשכנע בעלי עניין בתוקף הממצאים‬ ‫•‬
‫• לא תמיד הכרחי‬
‫73‬

38. ‫‪Prototyping‬‬
‫איך לבחור שיטה?‬
‫83‬

39. ‫‪Prototyping‬‬
‫איך לבחור שיטה לבדיקות מעבדה?‬
‫‪Props‬‬ ‫שלב‬ ‫מספר‬ ‫פרופיל‬
‫בחיי‬ ‫נבדקים‬ ‫הנבדקים‬
‫המוצר‬
‫93‬

40. ‫‪Prototyping‬‬
‫פרופיל הנבדקים‬
‫פרופיל הנבדקים‬
‫משתמשים "אמיתיים"‬
‫אנשים מהמסדרון‬
‫04‬

41. ‫‪Prototyping‬‬
‫שלב בחיי המוצר‬
‫אתר באוויר‬
‫שלב בחיי המוצר‬
‫אפיון ראשוני‬
‫14‬

42. ‫‪Prototyping‬‬
‫מספר נבדקים‬
‫הרבה‬
‫5‬
‫24‬

43. Prototyping
Props
Eye Tracking ‫מעבדת‬
‫עמדת מחשב‬
43

44. ‫‪Prototyping‬‬
‫איכות הממצאים‬
‫44‬

45. ‫‪Prototyping‬‬
‫עד כמה קל לגלות?‬
‫54‬

46. ‫‪Prototyping‬‬
‫מכל מה שגילינו, מה חשוב?‬
‫64‬

47. Prototyping
‫דגשים וטיפים‬
47

48. ‫‪Prototyping‬‬
‫טעויות נפוצות מול הנבדקים‬
‫לרמוז לנבדק איך לבצע את המשימה‬ ‫•‬
‫להלחיץ את הנבדק‬ ‫•‬
‫לשאול שאלות מנחות‬ ‫•‬
‫לבקש פתרונות‬ ‫•‬
‫לתת תמריצים לא מתאימים, או לא לתת בכלל‬ ‫•‬
‫84‬

49. ‫‪Prototyping‬‬
‫טעויות נפוצות בניתוח‬
‫• מספר נבדקים בודדים הם לא מדגם מייצג‬
‫• לא לסמוך על מה שנבדקים אומרים, אלא על מה שהם‬
‫עושים:‬
‫- התנהגות הנבדקים מושפעת מעצם הבדיקה‬
‫- מנסים להרשים‬
‫- מסתירים טעויות‬
‫• לא לקפוץ לפתרונות‬
‫94‬

50. Prototyping
?‫אז במה לבחור‬
50

51. ‫‪Prototyping‬‬
‫אם אתה – חנות נעלים ברשת‬
‫‪Props‬‬ ‫שלב‬ ‫מספר‬ ‫פרופיל‬
‫בחיי‬ ‫נבדקים‬ ‫הנבדקים‬
‫המוצר‬
‫15‬

52. ‫‪Prototyping‬‬
‫אם אתה – אפליקצית מסחר במניות‬
‫‪Props‬‬ ‫שלב‬ ‫מספר‬ ‫פרופיל‬
‫בחיי‬ ‫נבדקים‬ ‫הנבדקים‬
‫המוצר‬
‫25‬

53. ‫‪Prototyping‬‬
‫והכי חשוב...‬
‫תנסו את זה בבית!‬
‫35‬

54. Prototyping
!‫תודה‬
54