Mobile Testing @ STUGHH
Alles was Ihr schon immer über Mobile
Testing wissen wollt
Daniel Knott
@dnlkntt
www.adventuresinqa.com
2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8
Warum ist Mobile Testing so
wichtig?
3
4
5
https://twitter.com/_adrianhinojosa/status/757015786057641985
6
Pokémon Go
7
Jede App kann über Nacht
zum Hype werden!
8
Und dann sollte die App
stabil sein!
http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon-
go-problems-bugs-issues
http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten-
bugs,261518
9
Eine Technologie kann
unser Leben und die Art
wie wir kommunizieren
grundlegend verändern.
10
11
Mobile Devices & Apps
werden überall verwendet
12
Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/
13
Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/
14
https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg
15
Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/
16
© Daniel Knott
17
https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg
18
Und je nach Use Case
sollten Apps auch in der
echten Umgebung
getestet werden
Eure Fragen
19
20
Welches minimal Set an
nicht funktionalen Tests
siehst du als absolut
notwendig an?
21
1. Usability Tests
2. Security Tests
3. Performance Tests
4. Update Test
5. Check Log Files
22
Kann man eine spezielle
Kategorie von
funktionalen Tests
definieren, wo ein Test
mit verschiedenen
Devices ein Muss ist?
23
Ja, immer dann wenn
gerätespezifische
Hardwarekomponenten
genutzt werden.
24
Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/
Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/
Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/
Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053
25
https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg
26
Was sind die aktuellen
Trends an
Toolunterstützung?
27
Github
HockeyApp
Lint
PMD
FindBugs
CheckStyle
Robolectric
Espresso
UIAutomator
KIF Calabash
Cocoapods
ExpectaXCTest
FBSnapshot
openSTF
...
Appium Crashlytics
EarlgreyOCUnit
Robotium monkey
Chaos monkey
adb
Charles Proxy
28
Calabash
monkey
HockeyApp
Espresso
adb
Charles Proxy
29
Mobile Testing
==
manuelles Testen
30
Tools sollten das Testen
unterstützen
31
Calabash
monkey
HockeyApp
adb
Charles Proxy
32
Wie sieht eine angemessene Strategie für die
Testautomatisierung mit Blick auf die hohe
Fragmentierung im Bereich Android aus? Oder
anders herum: Vorausgesetzt, es gibt eine
Testsuite für automatisierte Tests (sagen wir 400
TCs), auf wie vielen Geräten kommt die dann
tatsächlich zur Anwendung ?
33
Antwort: Es kommt drauf an J
34
http://opensignal.com/reports/2015/08/android-fragmentation/
35
36
Wichtig sind Nutzerdaten
- Tracking
37
38
Group 1, Prio A
- High End Devices
- Quad Core CPU
- RAM >2048MB
- Full HD Display >= 5“
Group 2, Prio B
- Mid-range devices
- Dual Core CPU
- RAM <1024MB
- Screen size <= 4“
- Software not older than 1
year
Group 3, Prio C
- Small devices
- Single Core
- RAM < 512MB
- Low screen size and
resolution
- Older OS, older browser
Basierend auf den Nutzerstatistiken
39
Aus jeder Gruppe 3-4 Geräte
= 9 bis 12 Geräte für die
Automatisierung nutzen
40
Kleine Testsuites
41
Was glaubst Du, wie stark man
aufgrund der hohen
Fragmentierung der Geräte im
Androidsegment auf A/B-Tests
bei Endusern setzen sollte bzw.
machst Du das viel und nimmt
dies an Testcases zu?
42
Antwort: Ja und Ja J
43
Problem: Der Nutzer
44
Ich nehme an, man kommt nicht
umher, sich auch echte Geräte
anzuschaffen. Welche Tipps hast
Du für ein Lab Management?
45
Wichtig sind Nutzerdaten
- Tracking
46
47
48
Geräte aus den Gerätegruppen
kaufen
49
Top 15 Geräte der Nutzer
kaufen
50
Geräte gruppieren
51
Mobile Device Management
sehr wichtig
52
Mobile Rental Tool
53
Internal App Store
54
www.openstf.io
Android Test Farm
55
DEMO
https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl
56
Welche Art von (technischem)
Monitoring scheint sinnvoll,
nachdem die App in Gebrauch
ist? Und wie kann man die App
Store Bemerkungen sinnvoll
nutzen?
57
Crash Reporting Tools
58
HockeyApp
Testflight
Crashlytics
...
59
60
61
62
Eigenes Monitoring /
Tracking
Graylog 2
...
63
- Review der Reviews
- Antworten & Nachfragen
- Nicht alles zu ernst
nehmen
64
65
66
Habt ihr eine sinnvolle Strategie
für die Verzahnung der
Ergebnisse aus manuellen und
automatisierten Tests für den
Report oder liefern die beiden
Testarten mit Hilfe
unterschiedlicher Tools
unterschiedliche Reports?
67
Nein, Keine Strategie
68
Statische Code Analyse == Grün
Test Automation == Grün
6+ Augen Prinzip bei Code
Review
Manuelle Tests == OK
Commit auf Master Branch
69
Manuelle Tests werden nicht in
einem TM Tool gelistet.
Exploratives Testen
Context Driven Testing
Mind Maps sind unsere Freunde
70
Welche Android Versionen sind
denn interessant?
Halten sich gewisse ältere Minor
Versionen, obwohl es schon
längst neuere Versionen gibt?
(Also z.B. 4.3 - obwohl 4.4 schon
länger veröffentlicht ist)
71
Antwort: Es kommt drauf an J
72
Unterschiedlich je nach App
und Land in
denen die App verfügbar ist
73
https://developer.android.com/about/dashboards/index.html
74
75
Alles unter Android 4.0 wird
meist nicht mehr unterstützt
76
Viele App Hersteller
unterstützen nur noch ab
Android 4.4
Weitere Fragen?
77
Vielen Dank für Ihre
Aufmerksamkeit!
www.xing.com
Daniel Knott
@dnlkntt
daniel@adventuresinqa.com

Mobile testing @ stughh