Crowdtesting bezeichnet das Testen von Software durch eine Vielzahl von Freizeittestern im Internet und stellt eine Antwort auf die Schwachstellen in der Testmethodik vieler Unternehmen dar. Es hilft, mobile Apps und Webseiten durch die Nutzung realer Endgeräte und gesammelter Nutzererfahrungen zu evaluieren, wodurch wertvolle Einblicke und Verbesserungsvorschläge generiert werden. Crowdtesting ist vielseitig einsetzbar und ergänzt traditionelle Usability- und QA-Tests, indem es den gesamten Entwicklungsprozess unterstützt.

1. Wir testen mobile Apps und Webseiten.
Wir nennen das Crowdtesting.
Crowdsourced Mobile Testing – Alternative
oder Ergänzung? Philipp Benkler
Geschäftsführer
mdays, Frankfurt +49 89 416 1736-00
05. Februar 2013 p.benkler@testbirds.de

2. Was ist das Problem?
Testing ist eine Schwachstelle in vielen Unternehmen.
Nur 1/3 der Unternehmen testet derzeit mobile
Anwendungen systematisch*
IT-Verantwortliche in Deutschland beklagen*
 Mangel an richtigen Werkzeugen (67%)
 nicht verfügbare mobile Endgeräte (60%)
 zu wenig Testexperten (40%)
* Quelle: World Quality Report 2012: 1.553 IT-Verantwortliche in 25 Ländern wurden befragt Quelle: http://www.spiegel.de
http://www.sogeti.com/upload/Curious%20about%20us/Documents/WQR_2012-13_OK1.pdf
Gerade im mobilen Umfeld fehlt die Erfahrung
Der eigenen Entwicklung fehlt oftmals die Distanz
Endgerätevielfalt erschwert das Testing
Es besteht das Bedürfnis nach einer
umfassenden Testing Lösung
2

3. Was ist Crowdtesting?
Begrifflichkeiten.
Crowdsourcing
„Crowdsourcing bzw. Schwarmauslagerung bezeichnet im Gegensatz
zum Outsourcing nicht die Auslagerung von Unternehmensaufgaben
an Drittunternehmen, sondern die Auslagerung auf die Intelligenz
und die Arbeitskraft einer Menge von Freizeitarbeitern im Internet“
(wikipedia.de).
Crowdtesting
„Crowdtesting bezeichnet das Testen von Software durch eine
Masse von Freizeittestern über das Internet.“ (wikipedia.de).
3

4. Wie funktioniert Crowdtesting?
Ein Schaubild.
1 Testbirds 2
Projektmanager
6 5 wertet aus
Kunde 4 kann einsehen 3 testen
entwickelt App Tester
oder Webseite mit Geräten
Mobile Apps
Webseiten & Games
Plattform Social Media Apps
mit Testberichten PC-Anwendungen
& Games
4

5. Wer oder was ist die Crowd?
Endanwender und Experten testen mit eigenen Geräten.
Endanwender / „Freizeittester“ Experten
 Ausführliche Profile zur Auswahl spezifischer  Experten verschiedener Softwaresysteme (ERP,
Fokusgruppen und Panels CRM, SCM, BI, Onlineshop Administratoren u.v.m.)
 Individuelle Panels: 35 Auswahlkriterien  Zertifizierte Tester (z.B. ISTQB, CAT, Testmanager,
 Unterschiedliche Testing-Erfahrung Projektmanager)
 Studenten, Mütter, Führungskräfte
Endgeräte u. Systeme
 Sämtliche Kombinationen aus Geräten, Browsern und Betriebssystemen
 Mobile: iOS (4, 5, 6), Android, Windows Phone (8), Blackberry OS
 Desktop: Windows, Mac OS, Linux, FF, IE, Safari, Chrome, Opera Facebook Apps, Rich Client-Anwendungen u.v.m.
 Geräte nicht im Lab, sondern unter reale Bedingungen: Zu Hause, U-Bahn, beim Einkaufen, …
5

6. Für was kann Crowdtesting eingesetzt werden?
Das Dienstleistungsportfolio.
IT & QA Design & UI Produktmanagement
Usability Exploratives
Bug Testing
Testing Testing
Strukturiertes
Prototypen-
Bug Testing Bug Testing
Test
(via Testfälle)
Exploratives
Usability
Bug Testing Beta-Test
Testing
(via Use cases)
Produkt-
Rundumtest
Wettbewerbs-
analyse
6

7. Was kann mit Crowdtesting erreicht werden?
Zwei Fall-Beispiele für einen erfolgreichen Einsatz.
Hotelbuchungssoftware –
Evaluation von drei Prototypen für Allianz Mobile Services Plattform
die Kalenderfunktion
 20 Personen  50 Tester zwischen 18 und 43 Jahren
 Profil: 50 % weiblich,  Entscheidungsträger (Manager,
Tester 50 % männlich, ab 25 Jahren, Juristen etc.)
 Großstadt, Smartphone  Mischung aus Zielgruppe und Test-
Experten
 Apple iPhone 2G, 3G(S), 4(S) mit iOS-  18 iPhones: 3GS, 4, 4S, 5
Geräte Version 4.x, 5.0, 5.1 und Beta 6  27 Androids: Samsung, HTC, LG,…
 5 Blackberry
 5 Tage  5 Tage
Testdauer
 Management Summary  20 ausführliche Testberichte
 20 ausführliche Testberichte, die ein  Zahlreiche, teilweise kritische Bugs
Ergebnisse breites Usability-Feedback sowie  Abschlussbericht inkl. Konkreter
einen Favoriten der Prototypen Usability Handlungsempfehlungen
aufzeigen
7

8. Was ist so toll an Crowdtesting?
Die Vorteile.
Plattform Crowd Projekt- Expertise/ Prozesse
Manager Beratung
Einzigartige
Heterogene Erfahrene
Abwicklungs- Spezialisten für Schnelle, flexible
Crowd aus Projektmanager
plattform Endnutzer- Abwicklungs-
Tausenden von betreuen jedes
ermöglicht basiertes Testing prozesse
Nutzern Projekt
flexibles Testing
8

9. Was kann Crowdtesting nicht?
(Un)lösbare Probleme?
Probleme
 Sicherstellung Einstiegstest und
Fehlende Qualifizierung Erfahrungspunkte-System
 Reale Testumgebung (zu Hause, unterwegs…)
Objektivität der Ergebnisse  Honorierung von Feedback (auch negativ)
 Zweistufige NDAs
Externer Zugriff / Vertraulichkeit  „On-Demand“ SSH/VPN-Verbindung
Mythen
 Crowdtesting ist ein weiterer Baustein
Usability Labore ersetzen  Crowdtesting liefert neue Ergebnisse
 Einbettung von Crowdtesting in
Testing(prozesse) ersetzen Entwicklungsprozess
 Testprojektmanagement unabdingbar
9

10. Wie hilft Crowdtesting?
Unterstützung entlang des Entwicklungsprozesses.
Phase Testarten
Analyse &  Analyse von Wettbewerbsprodukten
Definition  Marktanalysen / Anwendereinschätzung
 Test von Design Prototypen
Entwurf  Vergleich verschiedener Prototypen
 Iterative Modultests
Implementation  Funktionale Tests
 (Funktionaler) Test des finalen Produkts
Test  Explorativer Rundumschlag
 End-to-end Testing (Check-Outs usw.)
Betrieb & Wartung  Vorbereitung von Release-Updates
10

11. Wie lautet das Fazit?
Crowdtesting wird benötigt für erfolgreiche Produkte.
Crowdtesting…
1 … ist Alternative und Ergänzung zugleich.
2 … ist eine norme Form von Usability und QA Tests.
3 … liefert wertvolle, neutrale und kritische Einblicke
zu Applikationen und findet Fehler.
4 … kann zu allen Phasen der Entwicklung eingesetzt
werden.
5 … bereichert die UI/UX durch neue Usability
Szenarien.
11

12. Die letzte Slide.
Philipp Benkler
Geschäftsführer Testbirds GmbH
p.benkler@testbirds.de Guerickestraße 25
+49 89 416 1736-00 80805 München
+49 151 40 44 22 25 www.testbirds.de
Alternative und Ergänzung!
Kunden die auf Testbirds vertrauen Testbirds, bekannt aus
12