JohannesDienst - Real Cross-Platform Workflow UI Automation_DevDayDresden.pdf
JohannesDienst - Real Cross-Platform Workflow UI Automation_DevDayDresden.pdf
Das Testen von Workflows, die sich über mehrere Anwendungen und Plattformen erstrecken, ist eine anspruchsvolle Aufgabe. Stellen Sie sich einen Testfall vor, der zuerst eine API aufruft, dann muss ein Benutzer Informationen in seine Web-App eingeben, damit der Endbenutzer die Aktualisierung schließlich in seiner nativen App auf einem Smartphone sieht. Eine echte End-to-End-Automatisierung ist heute nahezu unmöglich. Aktuelle Ansätze versuchen, plattformübergreifend mit Hilfe von Web-Apps zu automatisieren, die auf (mobilen) Browsern laufen. Native Apps auf Android oder iOS können nur mit rechen- und zeitintensiven Techniken wie der Bild-in-Bild-Suche in den Workflow eingebunden werden, da ihnen Code-Selektoren fehlen, die auf dem Document-Object-Model (DOM) arbeiten. Mit dem Aufkommen des maschinellen Lernens/der künstlichen Intelligenz können wir Modelle trainieren, die Elemente auf Benutzeroberflächen allein auf der Grundlage visueller Attribute erkennen. Damit wird es möglich, jede Plattform zu automatisieren, wenn man sie mit der Automatisierung auf Betriebssystemebene kombiniert. In diesem Vortrag werde ich eine Live-Demo zeigen, die die Zuhörer Schritt für Schritt durch eine typische 2-Faktor-Authentifizierung mit einem physischen Smartphone führt. Wir werden sehen, welche Automatisierungen heute möglich sind und wie sie das Testen von bisher nicht testbaren Workflows ermöglichen.
Recomendados
Más contenido relacionado
Similar a JohannesDienst - Real Cross-Platform Workflow UI Automation_DevDayDresden.pdf
Similar a JohannesDienst - Real Cross-Platform Workflow UI Automation_DevDayDresden.pdf(20)
Más de CarolinaMatthies1
Más de CarolinaMatthies1(7)
Último
Último(20)
JohannesDienst - Real Cross-Platform Workflow UI Automation_DevDayDresden.pdf
- 3. © askui User Interface Testing 3 Human
- 4. © askui Cross-Platform Workflow 4 Human
- 5. © askui Cross-Platform Workflow Automation 5 Human
- 6. © askui Cross-Platform Workflow Automation 6 Human
- 7. © askui Element localisation 7 Login Page Login Visual selector <button> Type: ‚submit‘ Text: ‚Login‘ Human Computer Code selector
- 8. © askui 8 Canvas Renders graphics into 2D plane XPath selector CSS selector Canvas Use coordinates/AI. Use case for visual selection
- 9. © askui Cross-Platform User Interface Testing 9
- 10. © askui Human Behaviour Simulation 10 10 I want to recognize it as a REAL HUMAN user would! I want to instrument it as a REAL HUMAN would! Visual selectors Clicks/Taps Keypresses Mouse movement Canvas
- 11. © askui Automation 11 Automation like a REAL HUMAN user!
- 12. © askui Automation 12 Automating Operating Systems AI/Machine Learning for UI Automation like a REAL HUMAN user!
- 13. © askui Cross-Platform Automation Becomes Easy 13
- 14. © askui AI Vision 14
- 15. © askui Operating System Instrumentation 15
- 17. © askui 2-Factor Authentication On Github with Lastpass On Android Device 17
- 18. © askui Getting Tasks Done Autonomously 18
- 19. 19 johannes.dienst@askui.com @JohannesDienst@mastodon.social @JohannesDienst Which two questions are still open?
- 20. askui GmbH Emmy-Noether-Straße 17 76131 Karlsruhe johannes.dienst@askui.com www.askui.com 20