SlideShare a Scribd company logo
1 of 17
Download to read offline
Crowdtesting: 
hogyan segítenek a felhasználók 
sikeres mobil appot fejleszteni? 
1 
/Fónagy Balázs 
Testbirds Kft. 
balazs.fonagy@testbirds.hu
/Tesztelők változatos, nagy online halmaza: 
a crowd 
Testbirds: 
60.000+ 
tesztelő világszerte 
7.000+ 
tesztelő Magyarországon 
2 
IT 
szakemberek 
Átlag 
felhasználók 
Profi 
tesztelők
3 
/Tesztelés a valóságban. 
Nincs tesztlabor, 
nincs emuláció 
iOS ! 
Tesztelők saját 
eszközei 
Valódi 
környezet
4 
/A crowdtesting típusai 
Funkcionális 
tesztelés 
User Experience / 
Usability tesztelés 
Biztonsági 
tesztelés 
Terheléses 
teszt Lokalizáció 
tesztelés
/Miért vesz részt a tesztelő? Motivációs rendszerek. 
5 
Speciális tudást 
igénylő projektek 
Projektek extrém 
sok részvevővel 
Világos győztes 
Senki nem 
dolgozik ingyen 
Nincs világos 
győztes 
Verseny: csak a legjobbak 
nyernek valamit 
Fizetség mindenkinek: 
fix vagy teljesítmény után 
Távmunka 
jellegű 
Tapasztalat/Tanulás Szórakozás + + + Közösségi elemek/Büszkeség
/Miért jó a fejlesztőnek? Közelebb hoz a felhasználódhoz. 
6
7 
/Minden eszköz azonnal elérhető, 
és jön vele egy tesztelő is 
iOS !
/Rengeteg elérhető tesztelő + online folyamatok = 
flexibilitás, skálázhatóság, azonnali rendelkezésre állás 
8
9 
/Tesztelők a termék célcsoportjából: 
releváns visszajelzések
10 
/Hibakeresés exploratív módszerrel: 
egy Android app tesztelése egy hétvége alatt 
30 
30 
tesztelő 
eszköz 
4 óra 
tesztelés/fő 
= 120 munkaóra tesztelés akár 24 óra alatt 
§ Kompatibilitási problémák 30 féle mobil eszközön 
§ Interferenciák gyakran telepített alkalmazásokkal 
§ Valós use-case-k során felmerülő problémák
/Hibakeresés strukturált teszteléssel 
mobil app tesztelése faltól-falig, tesztesetek mentén 
25 
tesztelő 
7 óra 
tesztelés/fő 
11 
200 
teszteset 
25 
eszköz 
= 170 munkaóra tesztelés akár 48 óra alatt 
§ Faltól-falig minden funkció végig tesztelve 
§ Teszteset menedzsment 
§ Minden hiba feltárva 25 eszközön 
§ Még biztosabb eredmény érdekében több kör is lehetséges
12 
/UX tesztelés több európai piacon 
alkalmazás prototípus tesztelése 
Távolról moderált 
interjúk 
Think-aloud 
videók 
Kérdőívek 
nagyobb mintán
3. Tesztelői visszajelzések és bugok 
gyűjtése az online platformon 
13 
1. Projekt 
definiciós meeting 
2. Toborzás, meghívás, 
tesztelők kiválasztása 
4. Visszajelzések elemzése, 
buglisták tisztítása 
5. Riport fejlesztési 
javaslatokkal
14 
/Mit is kap a fejlesztő? 
• Hibalista naponta, projekt végén, vagy 
azonnal 
• Választható formátumban és 
mezőkkel : JIRA export etc. 
• Tesztelők jelenthetnek a fejlesztő 
ticketing rendszerébe is 
• Elemzett felhasználói 
visszajelzések és nyers adatok: 
videók, riportok 
• Szakértői javaslatok 
Funkcionális 
tesztelés 
UX/CX/Usability 
tesztelés
15 
/ 
Minek kell a crowdtesting szolgáltató? 
Tesztelői 
visszajelzések 
Azonnal 
használható 
végeredmény 
Toborozza, edukálja, 
menedzseli a 
crowdot 
Felépíti a teszteket, 
támogatja a tesztelőket 
Kezeli a jogi dolgokat 
és a kifizetéseket 
Biztosítja a 
minőséget 
Elemzi és 
rendszerezi a 
visszajelzéseket
/A crowdtesting-hez kicsit a fejlesztőnek is 
máshogy kell gondolkodnia… 
16 
Az appot elérhetővé és 
tesztelhetővé kell tenni a 
felhasználóknak 
Átgondolni az appodat! 
• Tesztesetek? 
• Guide? 
• Dummy adatok? 
• Mit is akarsz tudni? 
Nyitottnak kell lenni! 
Igen, néha usability 
hibákat fognak lejelenteni 
bug-ként…
17 
/Köszönöm a figyelmet!

More Related Content

Similar to Hogyan segítenek a felhasználók mobil appot fejleszteni? A crowdtestingről röviden.

III. Elmélet - Az ERP rendszerek implementációja 1..pptx
III. Elmélet - Az ERP rendszerek implementációja 1..pptxIII. Elmélet - Az ERP rendszerek implementációja 1..pptx
III. Elmélet - Az ERP rendszerek implementációja 1..pptxSzabolcs Gulyás
 
Tesztelesi folyamatok - Arkon
Tesztelesi folyamatok - ArkonTesztelesi folyamatok - Arkon
Tesztelesi folyamatok - Arkonzferenczik
 
Testing the system: ethical hacking and penetration testing (in Hungarian)
Testing the system: ethical hacking and penetration testing (in Hungarian)Testing the system: ethical hacking and penetration testing (in Hungarian)
Testing the system: ethical hacking and penetration testing (in Hungarian)Csaba Krasznay
 
DevOps alapelvek
DevOps alapelvekDevOps alapelvek
DevOps alapelvekfelho
 
II. Elmélet - ERP rendszerek árazása.pptx
II. Elmélet - ERP rendszerek árazása.pptxII. Elmélet - ERP rendszerek árazása.pptx
II. Elmélet - ERP rendszerek árazása.pptxSzabolcs Gulyás
 
Alkalmazás fejlesztés nagyvállalati környezetben
Alkalmazás fejlesztés nagyvállalati környezetbenAlkalmazás fejlesztés nagyvállalati környezetben
Alkalmazás fejlesztés nagyvállalati környezetbenOrsolya Faludi
 
PHP alkalmazások minőségbiztosítása
PHP alkalmazások minőségbiztosításaPHP alkalmazások minőségbiztosítása
PHP alkalmazások minőségbiztosításaFerenc Kovács
 
Oriana Flyer HUN
Oriana Flyer HUNOriana Flyer HUN
Oriana Flyer HUNOriana
 
Agile meetup 2013_04_10
Agile meetup 2013_04_10Agile meetup 2013_04_10
Agile meetup 2013_04_10Gábor Fehér
 
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...META-INF Kft.
 
T systems - agile workshop 1. session
T systems - agile workshop 1. sessionT systems - agile workshop 1. session
T systems - agile workshop 1. sessionPéter Lukács
 
A mérnökké válás folyamata
A mérnökké válás folyamataA mérnökké válás folyamata
A mérnökké válás folyamatawaxey.gordon
 
Gonosz IkertestvéRek
Gonosz IkertestvéRekGonosz IkertestvéRek
Gonosz IkertestvéRekC4M7SX
 
Távoli UX kutatás (ClickTale, Verify)
Távoli UX kutatás (ClickTale, Verify)Távoli UX kutatás (ClickTale, Verify)
Távoli UX kutatás (ClickTale, Verify)Csaba Varga
 
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...Gáspár Nagy
 
VR (virtuális valóság) training gyorstalpaló
VR (virtuális valóság) training gyorstalpalóVR (virtuális valóság) training gyorstalpaló
VR (virtuális valóság) training gyorstalpalószabolcs budahazy
 

Similar to Hogyan segítenek a felhasználók mobil appot fejleszteni? A crowdtestingről röviden. (20)

III. Elmélet - Az ERP rendszerek implementációja 1..pptx
III. Elmélet - Az ERP rendszerek implementációja 1..pptxIII. Elmélet - Az ERP rendszerek implementációja 1..pptx
III. Elmélet - Az ERP rendszerek implementációja 1..pptx
 
Tesztelesi folyamatok - Arkon
Tesztelesi folyamatok - ArkonTesztelesi folyamatok - Arkon
Tesztelesi folyamatok - Arkon
 
Testing the system: ethical hacking and penetration testing (in Hungarian)
Testing the system: ethical hacking and penetration testing (in Hungarian)Testing the system: ethical hacking and penetration testing (in Hungarian)
Testing the system: ethical hacking and penetration testing (in Hungarian)
 
DevOps alapelvek
DevOps alapelvekDevOps alapelvek
DevOps alapelvek
 
II. Elmélet - ERP rendszerek árazása.pptx
II. Elmélet - ERP rendszerek árazása.pptxII. Elmélet - ERP rendszerek árazása.pptx
II. Elmélet - ERP rendszerek árazása.pptx
 
Frontend fejlesztő
Frontend fejlesztőFrontend fejlesztő
Frontend fejlesztő
 
Alkalmazás fejlesztés nagyvállalati környezetben
Alkalmazás fejlesztés nagyvállalati környezetbenAlkalmazás fejlesztés nagyvállalati környezetben
Alkalmazás fejlesztés nagyvállalati környezetben
 
Webkonf 2013
Webkonf 2013Webkonf 2013
Webkonf 2013
 
PHP alkalmazások minőségbiztosítása
PHP alkalmazások minőségbiztosításaPHP alkalmazások minőségbiztosítása
PHP alkalmazások minőségbiztosítása
 
Egyedi cégre szabott üzleti szoftver
Egyedi cégre szabott üzleti szoftverEgyedi cégre szabott üzleti szoftver
Egyedi cégre szabott üzleti szoftver
 
Oriana Flyer HUN
Oriana Flyer HUNOriana Flyer HUN
Oriana Flyer HUN
 
Agile meetup 2013_04_10
Agile meetup 2013_04_10Agile meetup 2013_04_10
Agile meetup 2013_04_10
 
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...
Béla, mi élesedett tulajdonképpen? A request to release koncepció mire is ad ...
 
Alumni Release Process
Alumni Release ProcessAlumni Release Process
Alumni Release Process
 
T systems - agile workshop 1. session
T systems - agile workshop 1. sessionT systems - agile workshop 1. session
T systems - agile workshop 1. session
 
A mérnökké válás folyamata
A mérnökké válás folyamataA mérnökké válás folyamata
A mérnökké válás folyamata
 
Gonosz IkertestvéRek
Gonosz IkertestvéRekGonosz IkertestvéRek
Gonosz IkertestvéRek
 
Távoli UX kutatás (ClickTale, Verify)
Távoli UX kutatás (ClickTale, Verify)Távoli UX kutatás (ClickTale, Verify)
Távoli UX kutatás (ClickTale, Verify)
 
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...
A tesztelés szerepe folyamatos kihelyezést használó projektekben (Microsoft, ...
 
VR (virtuális valóság) training gyorstalpaló
VR (virtuális valóság) training gyorstalpalóVR (virtuális valóság) training gyorstalpaló
VR (virtuális valóság) training gyorstalpaló
 

Hogyan segítenek a felhasználók mobil appot fejleszteni? A crowdtestingről röviden.

  • 1. Crowdtesting: hogyan segítenek a felhasználók sikeres mobil appot fejleszteni? 1 /Fónagy Balázs Testbirds Kft. balazs.fonagy@testbirds.hu
  • 2. /Tesztelők változatos, nagy online halmaza: a crowd Testbirds: 60.000+ tesztelő világszerte 7.000+ tesztelő Magyarországon 2 IT szakemberek Átlag felhasználók Profi tesztelők
  • 3. 3 /Tesztelés a valóságban. Nincs tesztlabor, nincs emuláció iOS ! Tesztelők saját eszközei Valódi környezet
  • 4. 4 /A crowdtesting típusai Funkcionális tesztelés User Experience / Usability tesztelés Biztonsági tesztelés Terheléses teszt Lokalizáció tesztelés
  • 5. /Miért vesz részt a tesztelő? Motivációs rendszerek. 5 Speciális tudást igénylő projektek Projektek extrém sok részvevővel Világos győztes Senki nem dolgozik ingyen Nincs világos győztes Verseny: csak a legjobbak nyernek valamit Fizetség mindenkinek: fix vagy teljesítmény után Távmunka jellegű Tapasztalat/Tanulás Szórakozás + + + Közösségi elemek/Büszkeség
  • 6. /Miért jó a fejlesztőnek? Közelebb hoz a felhasználódhoz. 6
  • 7. 7 /Minden eszköz azonnal elérhető, és jön vele egy tesztelő is iOS !
  • 8. /Rengeteg elérhető tesztelő + online folyamatok = flexibilitás, skálázhatóság, azonnali rendelkezésre állás 8
  • 9. 9 /Tesztelők a termék célcsoportjából: releváns visszajelzések
  • 10. 10 /Hibakeresés exploratív módszerrel: egy Android app tesztelése egy hétvége alatt 30 30 tesztelő eszköz 4 óra tesztelés/fő = 120 munkaóra tesztelés akár 24 óra alatt § Kompatibilitási problémák 30 féle mobil eszközön § Interferenciák gyakran telepített alkalmazásokkal § Valós use-case-k során felmerülő problémák
  • 11. /Hibakeresés strukturált teszteléssel mobil app tesztelése faltól-falig, tesztesetek mentén 25 tesztelő 7 óra tesztelés/fő 11 200 teszteset 25 eszköz = 170 munkaóra tesztelés akár 48 óra alatt § Faltól-falig minden funkció végig tesztelve § Teszteset menedzsment § Minden hiba feltárva 25 eszközön § Még biztosabb eredmény érdekében több kör is lehetséges
  • 12. 12 /UX tesztelés több európai piacon alkalmazás prototípus tesztelése Távolról moderált interjúk Think-aloud videók Kérdőívek nagyobb mintán
  • 13. 3. Tesztelői visszajelzések és bugok gyűjtése az online platformon 13 1. Projekt definiciós meeting 2. Toborzás, meghívás, tesztelők kiválasztása 4. Visszajelzések elemzése, buglisták tisztítása 5. Riport fejlesztési javaslatokkal
  • 14. 14 /Mit is kap a fejlesztő? • Hibalista naponta, projekt végén, vagy azonnal • Választható formátumban és mezőkkel : JIRA export etc. • Tesztelők jelenthetnek a fejlesztő ticketing rendszerébe is • Elemzett felhasználói visszajelzések és nyers adatok: videók, riportok • Szakértői javaslatok Funkcionális tesztelés UX/CX/Usability tesztelés
  • 15. 15 / Minek kell a crowdtesting szolgáltató? Tesztelői visszajelzések Azonnal használható végeredmény Toborozza, edukálja, menedzseli a crowdot Felépíti a teszteket, támogatja a tesztelőket Kezeli a jogi dolgokat és a kifizetéseket Biztosítja a minőséget Elemzi és rendszerezi a visszajelzéseket
  • 16. /A crowdtesting-hez kicsit a fejlesztőnek is máshogy kell gondolkodnia… 16 Az appot elérhetővé és tesztelhetővé kell tenni a felhasználóknak Átgondolni az appodat! • Tesztesetek? • Guide? • Dummy adatok? • Mit is akarsz tudni? Nyitottnak kell lenni! Igen, néha usability hibákat fognak lejelenteni bug-ként…
  • 17. 17 /Köszönöm a figyelmet!