Mittlerweile haben sich im VS-Umfeld immer mehr Nicht-MSTest-Testframeworks etabliert. Im Vortrag wollen wir auf mögliche Alternativen zu MSTest und Coded UI eingehen (z. B. Selenium, Ranorex, Protractor, …). Es geht dabei um Vor-/Nachteile, sinnvolle Szenarien und wie man es geschickt in die TFS-Werkzeugwelt integriert. Das Ziel ist dabei, das Beste aus beiden Welten zu bekommen.

1. Marc Müller 4tecture GmbH, Schweiz
Nico Orschel AIT GmbH & Co. KG, Deutschland
Alternativen zu Visual Studio Test Tools

2. Zielstellung
Überblick
Alternative Testing Tools
Integration von Test-Frameworks
Fazit
Agenda

3. No deep dive today!

4. Die Visual Studio Welt von früher

5. Die Visual Studio Welt von heute

6. Die Visual Studio Welt von heute

7. Testing Quadranten
Business Facing
SupportingTeam
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative Testing
Scenarios
Usability Testing
UAT (User Acceptance Testing)
Alpha / Beta
CritiqueProduct
Unit Tests
Component Tests
Performance and Load Testing
Security Testing
“Ility Testing”
Technology-Facing

8. Frameworks sollten immer Technology-spezifisch gewählt warden
Bsp.:
Java – Junit
C++ - MSTest; Google C++ Test, …
PHP – PHPUnit, …
C# - MSTest, Nunit, Xunit , …
…
Link: https://de.wikipedia.org/wiki/Liste_von_Modultest-Software
Business + Data Acces Layer

9. Fluent Assertions

10. Fluent Assertions
Quelle: https://github.com/dennisdoomen/FluentAssertions/wiki/Documentation-(Release-2.2)

11. SpecFlow

12. SpecFlow – How it works
Business writes
SpecFlow scenarios
Coding
Test Steps
Re-use of coded
Test Steps

13. SpecFlow – How it works
SpecFlow Feature File Steps Implementation Test automation code
Generate
or
write by hand
Use any test
framework
Component
under test

14. SpecFlow Sample

15. UI Testing

16. UI Testing
Mobil Gerät
Windows
Mobile /
Phone
iOS
Android
Coded UI
Ranorex
Xamarin UITest
Perfecto Mobile
Squish
WebDriver /
Appium
PC
WinForms /
WPFCoded UI
Web
Selenium
/ WebDriver
/ Perfecto
Store Apps
Coded UI
Java
Ranorex /
Squish
Flash, SAP

17. Stärken:
- Support für alle
modernen Browser
(Chrome, Firefox, Edge)
- Open Source
- .NET Wrapper
vorhanden
Alternative Frameworks - Selenium

18. Stärken:
- Basiert auf Webdriver
Engine
- Berücksichtigt und
Abstrahiert Angular
Suchstrategien
- Testen wie Endnutzer
(Ausführung in richtigen
Browser)
Alternative Frameworks - Protractor

19. Selenium How-To
Client
Firefox
Driver
Chrome
Driver
Edge
Driver
Json Wire Protocol Proprietäres Protokoll

20. Beispiel: JSON Wire Protocol
{
"SessionId": "a433343ec6e678b1bc17a93bbbf6aea7",
"Status": 0,
"Value": { "AcceptSslCerts": true,
"ApplicationCacheEnabled": false,
"BrowserConnectionEnabled": false,
"BrowserName": "chrome",
"Chrome": { "UserDataDir":
"/var/folders/p6/ll1grbcs4jv_k7675qv47l6m0000gn/T/.org.chromium.Chromium.wEZRL6" },
"CssSelectorsEnabled": true,
"DatabaseEnabled": false,
"HandlesAlerts": true,
"JavascriptEnabled": true,
"LocationContextEnabled": true,
"NativeEvents": true,
"Platform": "Mac OS X",
"Rotatable": false,
"TakesHeapSnapshot": true,
"TakesScreenshot": true,
"Version": "38.0.2125.111",
"WebStorageEnabled": true } }
Quelle: https://app.codegrid.net/entry/selenium-1
Mehr Informationen:
https://github.com/Selenium
HQ/selenium/wiki/JsonWire
Protocol

21. Demo Selenium

22. Stärken:
- Support für Mobile Geräte
und andere Plattformen
(Java, SAP, Android, iOS, …)
- Trennung Aktionen und
Ansteuerung
- Geeignet auch für Nicht-
Programmierer
- .NET Engine
Alternative Frameworks - Ranorex

23. Technologie Unterstützung
http://www.ranorex.com/automate-testing-of-desktop-web-mobile-software.html

24. Demo Ranorex

25. Stärken:
- .NET API orientiert sich
an CodedUI
- .NET Abstraktion
(Alternative Python)
- Physische Geräte (iOS,
Android)
Alternative Frameworks – Xamarin Testcloud

26. Demo Xamarin

27. Stärken:
- Breite
Geräteunterstützung
- Multi Browser-Testing
- VSTS+VS Support
- Remote Manual Testing
Alternative Frameworks – Perfecto Mobile

28. Demo Perfecto Mobile

29. Stärken:
- Support für Mobile +
Desktop Browser (> 100)
- Selenium Cloud Testing
(C#, Java, … )
- Live Debugging
- Local Server Testing
Alternative Frameworks – BrowserStack

30. Integration in
die VS Test Tools

31. MSTest Extension
(Alles )Einpacken in MSTest (Unit)Test
Generic Test
Optionen zur Integration bei <= VS 2010

32. Beispiel: https://nunitforvs.codeplex.com/
MSTest Extension

33. Generic Tests

34. Generic Tests

35. MSTest Extension
Einpacken in MSTest (Unit)Test
Generic Test
VS Test Adapter (VS + Build Server only, Kein Lab)
Optionen zur Integration bei >= VS 2012

36. Bestandteile eines Testadapters
Test
Adapter
Test
Discoverer
Test
Executor
Test
Container
(non DLL +
EXE)

37. MSTest Extension
Einpacken in MSTest (Unit)Test
Generic Test
VS Test Adapter (VS, Build, Release Management)
Publish Test Results
Optionen zur Integration bei >= VS 2015

38. Publish Results Buildstep

39. Frameworks mit Junit Support
- Cucumber
(https://www.relishapp.com/cucumber/cucumber/docs/formatt
ers/junit-output-formatter )
- GoogleTest (C++ Unittest)
(http://www.yolinux.com/TUTORIALS/Cpp-GoogleTest.html
- …
Publish Results Buildstep – Junit Export

40. Publish Code Coverage Data

41. Demo
Importing 3rd Party Code Coverage and Test Data

42. - Es gibt nicht das “Universelle Werkzeug”
- Aufgaben-spezifisch das Framework wählen
- VSTS / TFS 2015 ist offen für viele Frameworks
- Integration
- VS Nutzer: Testadapter
- Alles andere: Publish Testresults
Fazit

44. KONTAKT
Nico.Orschel@aitgmbh.de
+49 151 55052624
@nicoorschel
AIT GmbH & Co. KG
Leitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNG
Agile ALM und TFS
.NET und Architektur
ENTWICKLUNG
Dienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der
Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine eingetragene Marke oder ein eingetragenes Warenzeichen handelt.

45. Marc Müller
Principal Consultant
für DevOps, ALM, TFS /VS, .NET
E-Mail: marc.mueller@4tecture.ch
Webseite: http://www.4tecture.ch
Schulungen: http://4tecture.ch/trainings
Blog: http://4tecture.ch/blog
Twitter: @muellermarc