1
Wir testen mobile Apps und Webseiten.
Wir nennen das Crowdtesting.
Sebastian Müller
s.mueller@testbirds.de
089 - 856 3335 33
04.04.2014
2
Haben Sie wirklich alles getestet?
Betriebsblindheit
3
Haben Sie alle Endgeräte?
Endgerätevielfalt
4
Kennen Sie Ihre Zielgruppe?
Zielgruppen Relevanz
5
Termindruck, Personalmangel, weitere Projekte
Ungenügende Tests in der Praxis
Development Test
Entwick-
lung
Test
Entwick-
lung
Test
Entwicklung Test?
Release Date (s)
Lehrbuch
oder iterative Entwicklung
lineare Entwicklung
Realität
6
Unzureichende QA, Marktanalyse, Zeit
Wie kommt es dazu?
Betriebsblindheit
Klappt alles!... Wirklich? Unvoreingenommene Nutzer testen
anders.
Endgerätevielfalt
Haben Sie alle?
Zielgruppen Relevanz
Zielgruppe hat andere Erwartungen/Fähigkeiten als
angenommen.
Ressourcenmangel
Termindruck, Personalmangel, weitere Projekte
7
Wie lösen wir das?
Testbirds
Flexible Testplattform
(Start innerhalb 24h)
20.000+ Tester mit
35.000+ Geräten
Erfahrene Projektmanager
(30 und mehr Projekte)
8
Die smarte Lösung: Crowdtesting
Ablauf eines Projektes
Testbirds
Projektmanager
Crowd-Plattform
erarbeiten Briefing1 wählt aus & betreut2
Analysiert und erstellt
Abschlussbericht inkl.
Handlungsempfehlungen
7
sichert
Qualität4
6
Testprotokolle
& Bugs/Defects
Kunde mit
neuer Software
Schreiben Testprotokolle
Legen Bugs/Defects an
5
Testen mit eigenen Geräten3
Live Tracking des Projektfortschritts
9
Projektmanager mit Erfahrung in 30 und mehr Projekten
Projektmanager
1. Vorbereitung
 Intensive Beratung/Consulting durch unsere Testing
Spezialisten bzw. Usability Experten
 Definition des Testprojekts auf Basis des Briefings
 Selektion der Tester und der Geräte
2. Testdurchführung
 Testkoordination
 Qualitätssicherung der Testberichte und eingereichten
Bugs inkl. Duplikatsbereinigung
 Direkter Ansprechpartner
 „Sprachrohr“ in die Crowd
3. Nachbereitung
 Zusammenfassung der Ergebnisse
 Ableitung von Handlungsempfehlungen
Projekt innerhalb einer
Woche abgeschlossen!
1.
2.
3.
1 – 4 Stunden
3 – 5 Tage
1 – 2 Tage
Durchschnittliche Dauer
10
Abwicklung von jeglichen QA Tests & komplexen Usability Studien
Plattform: „Nest“
Live Tracking des Projektstatus 24/7
Kommentarfunktion und Kategorisierung der Bugs
Exportfunktion der Bugs (JIRA, CSV, …)
Verteilung von nicht-veröffentlichten Apps ohne UDID
möglich
Bug Approval: Verifizierung aller Fehler durch die
teilnehmende Tester auf deren Endgeräte
Selektion der gewünschten Zielgruppe und
benötigten Endgeräte mit automatisierter
Filterfunktion. Möglichkeit Vorab-Fragen zur idealen
Qualifizierung zu stellen.
Sicherheit durch Private Secure Crowd
.
.
.. .X
X
X X
v2.2 v2.3 v3.x v4.x
.
.
.
11
Triff die Nutzer!
Die Crowd
Studenten Angestellte AndereUnternehmer Manager
62% 38%
DACH
13.000 +
Intern.
7.000 +
Die Crowd hat sie alle! Geräte
35.000+
davon mobil
18.000+
14%
24%
Konsumenten
Professionals
Spezialisten
62%
12
(explorativ)
(strukturiert)
Wettbewerbs-
Analyse
Bug Usability+
Bug Testing Usability BugAbility
Ein dreigegliedertes Lösungsportfolio für jeden Testingbedarf.
Die Lösungen der Testbirds
Prototypen
Beta Tests
End-to-end
Testfälle
Use Cases
13
Jedem das Seine
Die Lösungen der Testbirds
Basic Self Service
Tool & Crowd
Test Management
Consulting, Setup &
Analysis
Service Level
Bausteine
App Distribution
14
Das Zusammenspiel aus Projektmanagement, Plattform und Crowd
Wie hilft mir das?
Ad-hoc verfügbar
35.000+ Geräte
Soziodemographische
Auswahl
Unvoreingenommene
Tester
Betriebsblindheit
Endgerätevielfalt
Ressourcenmangel
Zielgruppen
Relevanz
15
Beispiele unserer gemeinsamen Projekte.
Unsere Referenzen sprechen für Qualität und Flexibilität
 Testbegleitung für eine konzerninterne mobile Plattform (Webportal)
 Usability-Feedback von Entscheidungsträgern
 Einsatz des Bug-Approval-Tools zur Unterstützung der funktionalen Tests
 Umfangreiches exploratives Testprojekt einer App für iOS und Android
 Verbesserung der Usability für normale Endanwender
 Plattformübergreifende Korrektur der funktionalen Fehler durch Bug-Approval
 End-to-end Testing einer webbasierten eHealthplattform
 Usability-Tests der Zielgruppe (Typ 2 Diabetes) inkl. der Upload Funktion der
Blutzuckermessgeräte
 Aufdeckung von technischen Fehlern
 Umfangreiche Wettbewerbsstudie für das Onlineportal
 Nutzerorientierter Benchmark anhand mehrerer direkter Wettbewerber
 Verbesserung der Usability einzelner Seitentemplates
16
Drei schlagkräftige Fürsprecher
Die Nr.1 für Crowdtesting
Seite T2, 11.06.2013
Ein Vogelschwarm testet
Apps
Das Sprichwort „Vier Augen
sehen mehr als zwei" hat sich
in unseren vernetzten Zeiten
zum Begriff der Schwarm-
Intelligenz gesteigert. In
München nistet virtuell ein
Vogelschwarm, der mehrere
tausend Mitglieder umfasst.
Die probieren Software in
Gestalt von Websites und Apps
aus, die von anderen
entwickelt wurden.
Gewinner von IKT
Innovativ 2012
Ausgezeichnet von
Bundeswirtschafts-
minister
Dr. Philipp Rössler
05.12.2012
Nestbau für die digitale
Ökonomie
„Der frühe Vogel fängt
bekanntlich den Wurm. Bei
den Testbirds aus München
sind es gleich drei Vögel, die
in Web-Anwendungen und
mobilen Apps wurmige Stellen
beseitigen. Mit Hilfe ihrer
Crowdtesting-Plattform
rekrutieren die drei Gründer
passgenau Testergruppen für
(fast) jeden Testfall.“

Wir brauchen eine App: Fallstricke und die Frage, was Nutzer eigentlich wollen

  • 1.
    1 Wir testen mobileApps und Webseiten. Wir nennen das Crowdtesting. Sebastian Müller s.mueller@testbirds.de 089 - 856 3335 33 04.04.2014
  • 2.
    2 Haben Sie wirklichalles getestet? Betriebsblindheit
  • 3.
    3 Haben Sie alleEndgeräte? Endgerätevielfalt
  • 4.
    4 Kennen Sie IhreZielgruppe? Zielgruppen Relevanz
  • 5.
    5 Termindruck, Personalmangel, weitereProjekte Ungenügende Tests in der Praxis Development Test Entwick- lung Test Entwick- lung Test Entwicklung Test? Release Date (s) Lehrbuch oder iterative Entwicklung lineare Entwicklung Realität
  • 6.
    6 Unzureichende QA, Marktanalyse,Zeit Wie kommt es dazu? Betriebsblindheit Klappt alles!... Wirklich? Unvoreingenommene Nutzer testen anders. Endgerätevielfalt Haben Sie alle? Zielgruppen Relevanz Zielgruppe hat andere Erwartungen/Fähigkeiten als angenommen. Ressourcenmangel Termindruck, Personalmangel, weitere Projekte
  • 7.
    7 Wie lösen wirdas? Testbirds Flexible Testplattform (Start innerhalb 24h) 20.000+ Tester mit 35.000+ Geräten Erfahrene Projektmanager (30 und mehr Projekte)
  • 8.
    8 Die smarte Lösung:Crowdtesting Ablauf eines Projektes Testbirds Projektmanager Crowd-Plattform erarbeiten Briefing1 wählt aus & betreut2 Analysiert und erstellt Abschlussbericht inkl. Handlungsempfehlungen 7 sichert Qualität4 6 Testprotokolle & Bugs/Defects Kunde mit neuer Software Schreiben Testprotokolle Legen Bugs/Defects an 5 Testen mit eigenen Geräten3 Live Tracking des Projektfortschritts
  • 9.
    9 Projektmanager mit Erfahrungin 30 und mehr Projekten Projektmanager 1. Vorbereitung  Intensive Beratung/Consulting durch unsere Testing Spezialisten bzw. Usability Experten  Definition des Testprojekts auf Basis des Briefings  Selektion der Tester und der Geräte 2. Testdurchführung  Testkoordination  Qualitätssicherung der Testberichte und eingereichten Bugs inkl. Duplikatsbereinigung  Direkter Ansprechpartner  „Sprachrohr“ in die Crowd 3. Nachbereitung  Zusammenfassung der Ergebnisse  Ableitung von Handlungsempfehlungen Projekt innerhalb einer Woche abgeschlossen! 1. 2. 3. 1 – 4 Stunden 3 – 5 Tage 1 – 2 Tage Durchschnittliche Dauer
  • 10.
    10 Abwicklung von jeglichenQA Tests & komplexen Usability Studien Plattform: „Nest“ Live Tracking des Projektstatus 24/7 Kommentarfunktion und Kategorisierung der Bugs Exportfunktion der Bugs (JIRA, CSV, …) Verteilung von nicht-veröffentlichten Apps ohne UDID möglich Bug Approval: Verifizierung aller Fehler durch die teilnehmende Tester auf deren Endgeräte Selektion der gewünschten Zielgruppe und benötigten Endgeräte mit automatisierter Filterfunktion. Möglichkeit Vorab-Fragen zur idealen Qualifizierung zu stellen. Sicherheit durch Private Secure Crowd . . .. .X X X X v2.2 v2.3 v3.x v4.x . . .
  • 11.
    11 Triff die Nutzer! DieCrowd Studenten Angestellte AndereUnternehmer Manager 62% 38% DACH 13.000 + Intern. 7.000 + Die Crowd hat sie alle! Geräte 35.000+ davon mobil 18.000+ 14% 24% Konsumenten Professionals Spezialisten 62%
  • 12.
    12 (explorativ) (strukturiert) Wettbewerbs- Analyse Bug Usability+ Bug TestingUsability BugAbility Ein dreigegliedertes Lösungsportfolio für jeden Testingbedarf. Die Lösungen der Testbirds Prototypen Beta Tests End-to-end Testfälle Use Cases
  • 13.
    13 Jedem das Seine DieLösungen der Testbirds Basic Self Service Tool & Crowd Test Management Consulting, Setup & Analysis Service Level Bausteine App Distribution
  • 14.
    14 Das Zusammenspiel ausProjektmanagement, Plattform und Crowd Wie hilft mir das? Ad-hoc verfügbar 35.000+ Geräte Soziodemographische Auswahl Unvoreingenommene Tester Betriebsblindheit Endgerätevielfalt Ressourcenmangel Zielgruppen Relevanz
  • 15.
    15 Beispiele unserer gemeinsamenProjekte. Unsere Referenzen sprechen für Qualität und Flexibilität  Testbegleitung für eine konzerninterne mobile Plattform (Webportal)  Usability-Feedback von Entscheidungsträgern  Einsatz des Bug-Approval-Tools zur Unterstützung der funktionalen Tests  Umfangreiches exploratives Testprojekt einer App für iOS und Android  Verbesserung der Usability für normale Endanwender  Plattformübergreifende Korrektur der funktionalen Fehler durch Bug-Approval  End-to-end Testing einer webbasierten eHealthplattform  Usability-Tests der Zielgruppe (Typ 2 Diabetes) inkl. der Upload Funktion der Blutzuckermessgeräte  Aufdeckung von technischen Fehlern  Umfangreiche Wettbewerbsstudie für das Onlineportal  Nutzerorientierter Benchmark anhand mehrerer direkter Wettbewerber  Verbesserung der Usability einzelner Seitentemplates
  • 16.
    16 Drei schlagkräftige Fürsprecher DieNr.1 für Crowdtesting Seite T2, 11.06.2013 Ein Vogelschwarm testet Apps Das Sprichwort „Vier Augen sehen mehr als zwei" hat sich in unseren vernetzten Zeiten zum Begriff der Schwarm- Intelligenz gesteigert. In München nistet virtuell ein Vogelschwarm, der mehrere tausend Mitglieder umfasst. Die probieren Software in Gestalt von Websites und Apps aus, die von anderen entwickelt wurden. Gewinner von IKT Innovativ 2012 Ausgezeichnet von Bundeswirtschafts- minister Dr. Philipp Rössler 05.12.2012 Nestbau für die digitale Ökonomie „Der frühe Vogel fängt bekanntlich den Wurm. Bei den Testbirds aus München sind es gleich drei Vögel, die in Web-Anwendungen und mobilen Apps wurmige Stellen beseitigen. Mit Hilfe ihrer Crowdtesting-Plattform rekrutieren die drei Gründer passgenau Testergruppen für (fast) jeden Testfall.“