Philipp Benkler, Geschäftsführer Testbirds.de
Veranstaltung: M-Days 2013
Das Blog der Messe Frankfurt zur Digitalisierung des Geschäftslebens:
http://connected.messefrankfurt.com/de/
Crowdsourced Mobile Testing – Alternative oder Ergänzung?
1. Wir testen mobile Apps und Webseiten.
Wir nennen das Crowdtesting.
Crowdsourced Mobile Testing – Alternative
oder Ergänzung? Philipp Benkler
Geschäftsführer
mdays, Frankfurt +49 89 416 1736-00
05. Februar 2013 p.benkler@testbirds.de
2. Was ist das Problem?
Testing ist eine Schwachstelle in vielen Unternehmen.
Nur 1/3 der Unternehmen testet derzeit mobile
Anwendungen systematisch*
IT-Verantwortliche in Deutschland beklagen*
Mangel an richtigen Werkzeugen (67%)
nicht verfügbare mobile Endgeräte (60%)
zu wenig Testexperten (40%)
* Quelle: World Quality Report 2012: 1.553 IT-Verantwortliche in 25 Ländern wurden befragt Quelle: http://www.spiegel.de
http://www.sogeti.com/upload/Curious%20about%20us/Documents/WQR_2012-13_OK1.pdf
Gerade im mobilen Umfeld fehlt die Erfahrung
Der eigenen Entwicklung fehlt oftmals die Distanz
Endgerätevielfalt erschwert das Testing
Es besteht das Bedürfnis nach einer
umfassenden Testing Lösung
2
3. Was ist Crowdtesting?
Begrifflichkeiten.
Crowdsourcing
„Crowdsourcing bzw. Schwarmauslagerung bezeichnet im Gegensatz
zum Outsourcing nicht die Auslagerung von Unternehmensaufgaben
an Drittunternehmen, sondern die Auslagerung auf die Intelligenz
und die Arbeitskraft einer Menge von Freizeitarbeitern im Internet“
(wikipedia.de).
Crowdtesting
„Crowdtesting bezeichnet das Testen von Software durch eine
Masse von Freizeittestern über das Internet.“ (wikipedia.de).
3
4. Wie funktioniert Crowdtesting?
Ein Schaubild.
1 Testbirds 2
Projektmanager
6 5 wertet aus
Kunde 4 kann einsehen 3 testen
entwickelt App Tester
oder Webseite mit Geräten
Mobile Apps
Webseiten & Games
Plattform Social Media Apps
mit Testberichten PC-Anwendungen
& Games
4
5. Wer oder was ist die Crowd?
Endanwender und Experten testen mit eigenen Geräten.
Endanwender / „Freizeittester“ Experten
Ausführliche Profile zur Auswahl spezifischer Experten verschiedener Softwaresysteme (ERP,
Fokusgruppen und Panels CRM, SCM, BI, Onlineshop Administratoren u.v.m.)
Individuelle Panels: 35 Auswahlkriterien Zertifizierte Tester (z.B. ISTQB, CAT, Testmanager,
Unterschiedliche Testing-Erfahrung Projektmanager)
Studenten, Mütter, Führungskräfte
Endgeräte u. Systeme
Sämtliche Kombinationen aus Geräten, Browsern und Betriebssystemen
Mobile: iOS (4, 5, 6), Android, Windows Phone (8), Blackberry OS
Desktop: Windows, Mac OS, Linux, FF, IE, Safari, Chrome, Opera Facebook Apps, Rich Client-Anwendungen u.v.m.
Geräte nicht im Lab, sondern unter reale Bedingungen: Zu Hause, U-Bahn, beim Einkaufen, …
5
6. Für was kann Crowdtesting eingesetzt werden?
Das Dienstleistungsportfolio.
IT & QA Design & UI Produktmanagement
Usability Exploratives
Bug Testing
Testing Testing
Strukturiertes
Prototypen-
Bug Testing Bug Testing
Test
(via Testfälle)
Exploratives
Usability
Bug Testing Beta-Test
Testing
(via Use cases)
Produkt-
Rundumtest
Wettbewerbs-
analyse
6
7. Was kann mit Crowdtesting erreicht werden?
Zwei Fall-Beispiele für einen erfolgreichen Einsatz.
Hotelbuchungssoftware –
Evaluation von drei Prototypen für Allianz Mobile Services Plattform
die Kalenderfunktion
20 Personen 50 Tester zwischen 18 und 43 Jahren
Profil: 50 % weiblich, Entscheidungsträger (Manager,
Tester 50 % männlich, ab 25 Jahren, Juristen etc.)
Großstadt, Smartphone Mischung aus Zielgruppe und Test-
Experten
Apple iPhone 2G, 3G(S), 4(S) mit iOS- 18 iPhones: 3GS, 4, 4S, 5
Geräte Version 4.x, 5.0, 5.1 und Beta 6 27 Androids: Samsung, HTC, LG,…
5 Blackberry
5 Tage 5 Tage
Testdauer
Management Summary 20 ausführliche Testberichte
20 ausführliche Testberichte, die ein Zahlreiche, teilweise kritische Bugs
Ergebnisse breites Usability-Feedback sowie Abschlussbericht inkl. Konkreter
einen Favoriten der Prototypen Usability Handlungsempfehlungen
aufzeigen
7
8. Was ist so toll an Crowdtesting?
Die Vorteile.
Plattform Crowd Projekt- Expertise/ Prozesse
Manager Beratung
Einzigartige
Heterogene Erfahrene
Abwicklungs- Spezialisten für Schnelle, flexible
Crowd aus Projektmanager
plattform Endnutzer- Abwicklungs-
Tausenden von betreuen jedes
ermöglicht basiertes Testing prozesse
Nutzern Projekt
flexibles Testing
8
9. Was kann Crowdtesting nicht?
(Un)lösbare Probleme?
Probleme
Sicherstellung Einstiegstest und
Fehlende Qualifizierung Erfahrungspunkte-System
Reale Testumgebung (zu Hause, unterwegs…)
Objektivität der Ergebnisse Honorierung von Feedback (auch negativ)
Zweistufige NDAs
Externer Zugriff / Vertraulichkeit „On-Demand“ SSH/VPN-Verbindung
Mythen
Crowdtesting ist ein weiterer Baustein
Usability Labore ersetzen Crowdtesting liefert neue Ergebnisse
Einbettung von Crowdtesting in
Testing(prozesse) ersetzen Entwicklungsprozess
Testprojektmanagement unabdingbar
9
10. Wie hilft Crowdtesting?
Unterstützung entlang des Entwicklungsprozesses.
Phase Testarten
Analyse & Analyse von Wettbewerbsprodukten
Definition Marktanalysen / Anwendereinschätzung
Test von Design Prototypen
Entwurf Vergleich verschiedener Prototypen
Iterative Modultests
Implementation Funktionale Tests
(Funktionaler) Test des finalen Produkts
Test Explorativer Rundumschlag
End-to-end Testing (Check-Outs usw.)
Betrieb & Wartung Vorbereitung von Release-Updates
10
11. Wie lautet das Fazit?
Crowdtesting wird benötigt für erfolgreiche Produkte.
Crowdtesting…
1 … ist Alternative und Ergänzung zugleich.
2 … ist eine norme Form von Usability und QA Tests.
3 … liefert wertvolle, neutrale und kritische Einblicke
zu Applikationen und findet Fehler.
4 … kann zu allen Phasen der Entwicklung eingesetzt
werden.
5 … bereichert die UI/UX durch neue Usability
Szenarien.
11
12. Die letzte Slide.
Philipp Benkler
Geschäftsführer Testbirds GmbH
p.benkler@testbirds.de Guerickestraße 25
+49 89 416 1736-00 80805 München
+49 151 40 44 22 25 www.testbirds.de
Alternative und Ergänzung!
Kunden die auf Testbirds vertrauen Testbirds, bekannt aus
12