1. Szoftver-ergonómiai metrikák

2. ?
●Ami eddig volt: alapelvek, tervezési / vizsgálati
módszerek, tervezés folyamata (KEFE-BELE)
●Ami most lesz: kicsit mélyebben belemegyünk a
technikai részletekbe
!:
●Metrikák = mérőszámok
●Szofterg = használhatóság (usability)
●Verifikáció vs validáció
2010. október 21. Szofter-ergonómiai metrikák 2

3. Mérés a szoftergben
●Amit nem mérünk az nincs is…
●Ha nem tudjuk, hogy hol tartunk most, honnan
tudjuk mikor értük el a célunkat?
●Számszerűsítve szofterges jellemzők = szofterg
metrikák
●Többnyire felhasználó tesztek során…
●Alapkérdések: Mit, miért, hogyan
2010. október 21. Szofter-ergonómiai metrikák 3

4. Mit kéne mérni?
2010. október 21. Szofter-ergonómiai metrikák 4

5. Mit kéne mérni? 2.
2010. október 21. Szofter-ergonómiai metrikák 5

6. A mérés célja –> a teszt típusa
2010. október 21. Szofter-ergonómiai metrikák 6
Formáló
• Cél: a meglévő dolgok
javítása
• A termék rendszeres,
ismétlődő vizsgálata
• Hibák/gyenge pontok
azonosítása, javaslatok
• A fejlesztés közben
történik (befejezés
előtt + minél korábban)
Összegző
• Cél: egy létező termék
értékelése, több
termék
összehasonlítása
• Van egy kritérium,
amihez hasonlítunk
• Eredménye egy újabb
tevékenység (pl.: új
termék vásárlása,
projekt fejlesztésre)

7. Adat típusok
2010. október 21. Szofter-ergonómiai metrikák 7
● Többféle adattípus van, attól függően mit mérünk
● Érdemes előre eldönteni, mit akarunk mérni, mert
mindegyik típusnak van előnye és hátránya
Típus Leírás Példa
Nominális
(kategóriák)
Az elemek közt nincs rendezés,
egyszerűen csak különbözőek
A felhasználók típusai
(oktató, hallgató, TO-s…)
Ordinális
(rang)
Az elemek közt nincs meghatározott
távolság, de van rendezés
Prioritások egy fejlesztés
céljainál
Intervallum
Az elemek közt folytonos különbség van,
de nincs nulla pont
Mennyire szereted a kávét
1-5-ig?
Arány
Intervallum adat rögzített nullával, az
elemek közti különbség értelmezhető
Az ETR-t használó lányok
aránya

8. Mit mérünk formálisan
● A használhatóság definíciója alapján:
(ISO 9241) 3.1 Használhatóság „Annak mértéke, ahogy a terméket meghatározott felhasználók meghatározott
célokért hatásosan, hatékonyan és elégedetten használják egy adott környezetben.”
● Hatásos -> „Elvégezte a feladatát?”
● Hatékony -> „Milyen gyorsan végezte el a feladatát?”
● Elégedett -> ? „Közben mennyire érezte jól magát?”
● A használhatóság minőségi jellemzői alapján:
ISO/IEC 9126-1:2001: Software engineering – Product Quality- Part 1: Qualty model, 6: Quality model for external and internal quality
● Tanulhatóság (Learnability)
● Érthetőség (Understandability)
● Működtethetőség (Operability)
● Vonzóság (Attractiveness)
● Megfelelősség (Compliance)
2010. október 21. Szofter-ergonómiai metrikák 8

9. Metrikák típusai
●(TM) Teljesítmény
metrikák
●(TM1) Feladat eredmény
●(TM2) Feladat idő
●(TM3) Hibák
●(TM4) Hatékonyság
●(TM5) Tanulhatóság
●Viselkedési metrikák
●Önbeszámolt
metrikák
●SzHS
●Probléma-alapú
metrika
●Különleges adat
●Elérhetőség
●Naplók
2010. október 21. Szofter-ergonómiai metrikák 9

10. Teljesítmény metrikák
● Nem azt mérik, hogy a felhasználók mit gondolnak,
vagy mit mondanak, hanem hogy mit csinálnak
● A mérés a felhasználó meghatározott viselkedéséről
szól
● Lényegében:
● Legjobb mérés a hatásosságra és hatékonyságra
● A miről szól és nem a miértről
● Feladat központúak (teljesítmény meghatározott célért
történő meghatározott feladat végrehajtása közben)
● A használhatóság alapja
2010. október 21. Szofter-ergonómiai metrikák 10

11. (TM1) Feladat eredmény
● A legelterjedtebb metrika:
● A felhasználó hatásosságát méri egy adott feladat halmazra
● Ha a feladatot könnyű meghatározni – könnyű mérni
● Mindig feladat alapú
● Két fő típus:
● Bináris
● Szintes
● Értékeléshez nem kell matekozni: ha sikeres, akkor
minden ok, ha nem, akkor valami nem jó
● Ezért lehet verifikációra és validációra is használni
2010. október 21. Szofter-ergonómiai metrikák 11

12. (TM1) Mérése
●Feladat eredmény mérésének van egy fontos
előfeltétele: Előre el kell dönteni mikor sikeres
a feladat, és mikor nem
●Kell egy végállapot, ami elkülönül a feladattól
●Meg kell határozni, mi számít sikernek
●A mérés közben strukturált formában kapjuk az
eredményt (űrlap, vagy szóban elmondja)
●A teszt vezetője kitöltheti az előre elkészített
tesztlapot
2010. október 21. Szofter-ergonómiai metrikák 12

13. (TM1) Megállási szabály
● Az alap gond: ha nem tudja megoldani a
felhasználó a feladatot, meddig tartson a teszt?
● Meg lehet mondani a felhasználónak, hogy addig
foglalkozzon a feladattal, amíg készen nincs, vagy a
valóságban feladná / segítséget kérne
● Három csapás elve (Mi számít próbálkozásnak?)
● Idő korlát a feladatok elvégzésére
● Figyelem: ha egy feladat nem sikeres, bármennyire
is nem a felhasználó hibája, idegesíti őt, ezáltal
befolyásolja a továbbiakban.
2010. október 21. Szofter-ergonómiai metrikák 13

14. (TM1) Bináris siker
●A feladat eredmény legegyszerűbb formája
●Két lehetőség van: siker vagy bukás
●Akkor érdemes használni, ha az egész rendszer
célját vizsgáljuk
●Méréskor érdemes 1-et vagy 0-át írni (könnyebb
összeadni a végén)
●Hátránya, hogy nincsenek részletek mi történt,
hol van a hiba
2010. október 21. Szofter-ergonómiai metrikák 14

15. (TM1) Szintes siker
● Ha megállapítható a siker mértéke, akkor szintes
sikerről beszélhetünk
● „Részpontszám”
● A feladat részleges végrehajtása is értékes
● Gyűjtése hasonlít a bináris sikerhez, csak előre a
szinteket is definiálni kell, például:
● A feladat minden lépése sikeres?
● Nehéz volt végrehajtani az egyes lépéseket?
● Szüksége volt segítségre? (súgó)
● A végrehajtás optimális volt, vagy kerülővel jutott el?
● Ha a szintek kicsit puhák, akkor nehéz lehet
megegyezni, mekkora is volt a siker
2010. október 21. Szofter-ergonómiai metrikák 15

16. (TM1) Szintes siker használata
● Általában 3-6 szintet használnak, leggyakrabban 3-
at:
● Siker
● Részsiker
● Kudarc
●(Lehet tovább alszintezni, pl segítséggel vagy segítség nélkül)
● A szintek reprezentációjára két módszer:
● Siker pont: A szinteket 0,0 és 1,0 közti értékekre
határozzuk meg, lehet átlagolni
● Felhasználó élmény alapján (szint a problémák alapján)
2010. október 21. Szofter-ergonómiai metrikák 16

17. (TM2) Feladat idő
●A hatékonyság méréséhez kiváló
●Általában minél gyorsabb, annál jobb a
felhasználónak
●Nem mindig a legjobb. Pl.: játékok, vagy
meghatározott ideig tartó feladatok
●Kérdés: a sikertelen feladatokat mérni kell-e
●Az idő mérése befolyásolja a felhasználót:
●Ha nem mondod meg: elkalandozik
●Ha megmondod: ideges lesz
●Jó módszer: nem mondod meg, de megkéred, hogy a
lehető leggyorsabban csinálja
2010. október 21. Szofter-ergonómiai metrikák 17

18. (TM2) Feladat idő mérése
●Feladat idő: a feladat elkezdése és befejezése
közt eltelt idő percekben (másodpercekben)
stopperral vagy időbélyeggel
●Előre meg kell határozni és az összes feladatra
konzisztensen, hogy mikortól kezdünk és
meddig mérünk
●Vége: amikor már nem használja a rendszert
●Még így is zajos lehet…
2010. október 21. Szofter-ergonómiai metrikák 18

19. (TM3) Hibák
●Felhasználó hibázik -> általában tervezési
hibáról van, felületi vagy mélyebb
●Tetszőleges használati hibát érthetünk ez alatt
(csúszás, kihagyás, tévedés)
●A hibák mérésével kideríthető, hogy miért nem
sikerül egy adott feladat
●A teljesítmény mérésében is segít (a hibák
száma megmutatja a kevésbé jó felületi
részeket)
2010. október 21. Szofter-ergonómiai metrikák 19

20. (TM3) Hiba típusok
Művelet
Szándékos
Helyes
használat
Helytelen
használat
Tévedés
Nem
szándékos
Csúszás Kihagyás
2010. október 21. Szofter-ergonómiai metrikák 20
Használati hibák

21. (TM3) Hibák mérése
●A hibák méréséhez előre tisztázni kell a helyes
műveletek halmazát
●A hiba lehetőségeket is előre tudni kéne
●Milyen lehetőségei vannak a felhasználónak hibázni?
●Lehet, hogy nem minden hiba egyforma fontos
●Minden esemény egy hibának számít
●A hibák számából nem lehet következtetni arra,
hogy mi történt valójában
●A hiba típusok okait meg kell vizsgálni
2010. október 21. Szofter-ergonómiai metrikák 21

22. (TM4) Hatékonyság
●A hatékonyságot lehetne mérni a feladat idővel
is, de még jobb, ha a feladat elvégzéséhez
szükséges erőfeszítést mérjük
●Például mennyi művelettel jutott el a feladat végéig
●Minden művelet egy bizonyos mennyiségű
erőfeszítésnek felel meg
●A cél a műveletek számának, így az erőfeszítés
csökkentése
●Erőfeszítés lehet:
●Kognitív: „fejben történő dolgok”
●Fizikai: művelet végrehajtása
2010. október 21. Szofter-ergonómiai metrikák 22

23. (TM4) Hatékonyság mérése
●Mérés előtti teendők:
●Kell egy teljes + pontos lista a műveletekről
●A műveletek elejét és végét meg kell határozni
(kognitív?)
●A műveleteket kell majd megszámolni -> videó
készítése hasznos lehet
●A műveleteknek értelmesnek kell lenniük
●Csak sikeres feladatokat nézzük
●A mérés nehézsége, hogy sok művelet nagyon
gyorsan történik
2010. október 21. Szofter-ergonómiai metrikák 23

24. (TM5) Tanulhatóság
● A kezdő felhasználók még nem használják
hatékonyan a rendszert, az idő múltával
fokozatosan szereznek tapasztalatokat, ez a
tanulási görbe
● A tanulhatóság a görbe meredeksége
● A tanulhatóságot a ráfordított idővel és
erőfeszítéssel mérik, amíg a felhasználó kiismeri a
rendszert
● Más TMx-eken alapszik, de több teszttel,
időkihagyásokkal mérik
● A tanulhatóság egy másik eleme a visszahívás, az
elsajátítás után mennyire marad tartós az ismeret
2010. október 21. Szofter-ergonómiai metrikák 24

25. Viselkedési metrikák
●Mit csinál a felhasználó a teszt alatt
(verbalizáció, testbeszéd, fiziológiai adatok)
●Méréshez előképzettség és különleges hardver
szükséges (szemmozgás követő kamera)
●Például verbalizáció és testbeszéd:
●Teszt közben feljegyzésre kerül, mit mond vagy
csinál a felhasználó
●+/- megjegyzések, javaslatok, kérdések, …
●Arc kifejezés, kéz mozdulatok, …
2010. október 21. Szofter-ergonómiai metrikák 25

26. Önbeszámolt metrikák
●A legegyszerűbb gyűjteni: megkérdezzük a
felhasználót, mit gondol a rendszerről
●-> Kérdőív + interjú
●Hasznos, mert megmutatja a rendszer érzékelését,
percepcióját
●Érzéseket is mutathat (elégedettség méréshez kell)
●Mikor gyűjtjük:
●Feladat után
●Teszt végén
2010. október 21. Szofter-ergonómiai metrikák 26

27. SzHS
● Szabványos Használhatósági
Skála
● 10 kérdéses, Likert skálás,
attitűd vizsgáló kérdőív
● Az egész rendszerre ad egy
értéket 1-100 között
● Más rendszerekkel is
összehasonlítható az
eredmény
● Az egy dimenziós vég érték
előny és hátrány, jól
összesít, de a részleteket
elfedi
● Szabadon elérhető (SUS,
Standard Usability Scale)
2010. október 21. Szofter-ergonómiai metrikák 27

28. Probléma alapú metrika
●Használhatósági problémának számít a felület
azon hibáit, amely csökkenti a hatékonyságot,
hatásosságot vagy az elégedettséget
●A fejlesztés során történik
●Felhasználói tesztekkel
●Súlyosság alapján lehet besorolni őket
●Fajtái: Összes probléma, kategóriánkénti
problémák száma, feladatonkénti problémák
száma
2010. október 21. Szofter-ergonómiai metrikák 28

29. Különleges adat: Elérhetőség
●Elérhetőség: fogyatékkal élők mennyire tudják
a rendszert használni (->általában is javítja a
használhatóságot)
●Nemcsak vak vagy siket, hanem pl: idős vagy
gyerek felhasználók, idegen nyelvet beszélők
●Metrikát a célcsoport szerint határozzuk meg
●Jól számolható az irányelv listáknak való
megfelelés, pl.: a W3C akadálymentesítési
listája
2010. október 21. Szofter-ergonómiai metrikák 29

30. Különleges adat: Naplók
● Az adatgyűjtés közvetett módja: a használati napló
file-okat elemezzük
● Az előnye, hogy a tényleges használat során
keletkezett adatokat vizsgáljuk (rossz feladatok is
kiszűrhetők)
● Adatbányász módszereket lehet használni
● Hátránya:
● A fejlesztés során nem annyira használható
● Mit csinál a felhasználó?
● Ha bonyolult az adatbányász modell, félrevezető lehet
2010. október 21. Szofter-ergonómiai metrikák 30

31. Adat típusok elemzése
2010. október 21. Szofter-ergonómiai metrikák 31
● Lehet, hogy a nyers adat is hasznos, de előbb utóbb
szükség lesz némi statisztikára
● Adat típustól függ, hogy minek van értelme
● Nem csak az elemzés fontos, hanem a megjelenítés
is (adatok hatékony közvetítése)
Típus Metrika példa Statisztikai módszer
Nominális
(kategóriák)
Bináris feladat eredmény, hibák Gyakoriság, kereszttáblák, chi-
négyzet
Ordinális
(rang)
Súlyosság sorrend, Design
sorrend
Gyakoriság, kereszttáblák, chi-
négyzet, Spearman rang korreláció
Intervallum
Likert skála adatok, SzHS Leíró statisztikák, t-próba, regresszió
analízis
Arány
Végrehajtási idő, átlagos feladat
eredmény
Leíró statisztikák (geometriai közép),
t-próba, regresszió analízis

32. Olvasnivaló
●Measuring the User Experience: Collecting,
Analyzing, and Presenting Usability Metrics by Tom
Tullis and Bill Albert
●http://www.measuringuserexperience.com/
●(…)
2010. október 21. Szofter-ergonómiai metrikák 32

33. Kérdések és vége
Polgár Péter Balázs
sirpepe@elte.hu
@polgarp