Die Anforderungen an mobile Applikationen steigen stetig. Unter anderem führen steigende Ansprüche der Nutzer sowie die Frage, was die eigene Zielgruppe eigentlich möchte, oftmals zur Verzweiflung. In seinem Vortrag beschrieb Sebastian Müller, wie die Firma Testbirds GmbH solche Fragen bereits vor dem Release einer App zu beantworten weiss.

1. 1
Wir testen mobile Apps und Webseiten.
Wir nennen das Crowdtesting.
Sebastian Müller
s.mueller@testbirds.de
089 - 856 3335 33
04.04.2014

2. 2
Haben Sie wirklich alles getestet?
Betriebsblindheit

3. 3
Haben Sie alle Endgeräte?
Endgerätevielfalt

4. 4
Kennen Sie Ihre Zielgruppe?
Zielgruppen Relevanz

5. 5
Termindruck, Personalmangel, weitere Projekte
Ungenügende Tests in der Praxis
Development Test
Entwick-
lung
Test
Entwick-
lung
Test
Entwicklung Test?
Release Date (s)
Lehrbuch
oder iterative Entwicklung
lineare Entwicklung
Realität

6. 6
Unzureichende QA, Marktanalyse, Zeit
Wie kommt es dazu?
Betriebsblindheit
Klappt alles!... Wirklich? Unvoreingenommene Nutzer testen
anders.
Endgerätevielfalt
Haben Sie alle?
Zielgruppen Relevanz
Zielgruppe hat andere Erwartungen/Fähigkeiten als
angenommen.
Ressourcenmangel
Termindruck, Personalmangel, weitere Projekte

7. 7
Wie lösen wir das?
Testbirds
Flexible Testplattform
(Start innerhalb 24h)
20.000+ Tester mit
35.000+ Geräten
Erfahrene Projektmanager
(30 und mehr Projekte)

8. 8
Die smarte Lösung: Crowdtesting
Ablauf eines Projektes
Testbirds
Projektmanager
Crowd-Plattform
erarbeiten Briefing1 wählt aus & betreut2
Analysiert und erstellt
Abschlussbericht inkl.
Handlungsempfehlungen
7
sichert
Qualität4
6
Testprotokolle
& Bugs/Defects
Kunde mit
neuer Software
Schreiben Testprotokolle
Legen Bugs/Defects an
5
Testen mit eigenen Geräten3
Live Tracking des Projektfortschritts

9. 9
Projektmanager mit Erfahrung in 30 und mehr Projekten
Projektmanager
1. Vorbereitung
 Intensive Beratung/Consulting durch unsere Testing
Spezialisten bzw. Usability Experten
 Definition des Testprojekts auf Basis des Briefings
 Selektion der Tester und der Geräte
2. Testdurchführung
 Testkoordination
 Qualitätssicherung der Testberichte und eingereichten
Bugs inkl. Duplikatsbereinigung
 Direkter Ansprechpartner
 „Sprachrohr“ in die Crowd
3. Nachbereitung
 Zusammenfassung der Ergebnisse
 Ableitung von Handlungsempfehlungen
Projekt innerhalb einer
Woche abgeschlossen!
1.
2.
3.
1 – 4 Stunden
3 – 5 Tage
1 – 2 Tage
Durchschnittliche Dauer

10. 10
Abwicklung von jeglichen QA Tests & komplexen Usability Studien
Plattform: „Nest“
Live Tracking des Projektstatus 24/7
Kommentarfunktion und Kategorisierung der Bugs
Exportfunktion der Bugs (JIRA, CSV, …)
Verteilung von nicht-veröffentlichten Apps ohne UDID
möglich
Bug Approval: Verifizierung aller Fehler durch die
teilnehmende Tester auf deren Endgeräte
Selektion der gewünschten Zielgruppe und
benötigten Endgeräte mit automatisierter
Filterfunktion. Möglichkeit Vorab-Fragen zur idealen
Qualifizierung zu stellen.
Sicherheit durch Private Secure Crowd
.
.
.. .X
X
X X
v2.2 v2.3 v3.x v4.x
.
.
.

11. 11
Triff die Nutzer!
Die Crowd
Studenten Angestellte AndereUnternehmer Manager
62% 38%
DACH
13.000 +
Intern.
7.000 +
Die Crowd hat sie alle! Geräte
35.000+
davon mobil
18.000+
14%
24%
Konsumenten
Professionals
Spezialisten
62%

12. 12
(explorativ)
(strukturiert)
Wettbewerbs-
Analyse
Bug Usability+
Bug Testing Usability BugAbility
Ein dreigegliedertes Lösungsportfolio für jeden Testingbedarf.
Die Lösungen der Testbirds
Prototypen
Beta Tests
End-to-end
Testfälle
Use Cases

13. 13
Jedem das Seine
Die Lösungen der Testbirds
Basic Self Service
Tool & Crowd
Test Management
Consulting, Setup &
Analysis
Service Level
Bausteine
App Distribution

14. 14
Das Zusammenspiel aus Projektmanagement, Plattform und Crowd
Wie hilft mir das?
Ad-hoc verfügbar
35.000+ Geräte
Soziodemographische
Auswahl
Unvoreingenommene
Tester
Betriebsblindheit
Endgerätevielfalt
Ressourcenmangel
Zielgruppen
Relevanz

15. 15
Beispiele unserer gemeinsamen Projekte.
Unsere Referenzen sprechen für Qualität und Flexibilität
 Testbegleitung für eine konzerninterne mobile Plattform (Webportal)
 Usability-Feedback von Entscheidungsträgern
 Einsatz des Bug-Approval-Tools zur Unterstützung der funktionalen Tests
 Umfangreiches exploratives Testprojekt einer App für iOS und Android
 Verbesserung der Usability für normale Endanwender
 Plattformübergreifende Korrektur der funktionalen Fehler durch Bug-Approval
 End-to-end Testing einer webbasierten eHealthplattform
 Usability-Tests der Zielgruppe (Typ 2 Diabetes) inkl. der Upload Funktion der
Blutzuckermessgeräte
 Aufdeckung von technischen Fehlern
 Umfangreiche Wettbewerbsstudie für das Onlineportal
 Nutzerorientierter Benchmark anhand mehrerer direkter Wettbewerber
 Verbesserung der Usability einzelner Seitentemplates

16. 16
Drei schlagkräftige Fürsprecher
Die Nr.1 für Crowdtesting
Seite T2, 11.06.2013
Ein Vogelschwarm testet
Apps
Das Sprichwort „Vier Augen
sehen mehr als zwei" hat sich
in unseren vernetzten Zeiten
zum Begriff der Schwarm-
Intelligenz gesteigert. In
München nistet virtuell ein
Vogelschwarm, der mehrere
tausend Mitglieder umfasst.
Die probieren Software in
Gestalt von Websites und Apps
aus, die von anderen
entwickelt wurden.
Gewinner von IKT
Innovativ 2012
Ausgezeichnet von
Bundeswirtschafts-
minister
Dr. Philipp Rössler
05.12.2012
Nestbau für die digitale
Ökonomie
„Der frühe Vogel fängt
bekanntlich den Wurm. Bei
den Testbirds aus München
sind es gleich drei Vögel, die
in Web-Anwendungen und
mobilen Apps wurmige Stellen
beseitigen. Mit Hilfe ihrer
Crowdtesting-Plattform
rekrutieren die drei Gründer
passgenau Testergruppen für
(fast) jeden Testfall.“