A/B Testing für Native Mobile Apps

•

1 gefällt mir•691 views

Diese Präsentation gibt einen Einblick in das Thema mobiles A/B Testing mit dem Schwerpunkt auf Native iOS Apps. - Was sind A/B Tests auf Webseiten und warum nutzt man diese? - Wie testet Facebook Native Apps? - Wie testet Twitter Native Apps? - Warum sollte jeder mit dem A/B Testen von Apps beginnen? - Was waren die Reaktionen nach A/B Tests bei Netflix? Mehr Informationen zum Thema "A/B Tests in Native mobile Apps" finden Sie hier: https://www.optimizely.de/mobile Mehr Inspiration und Infos zum Thema Webseitentests finden Sie hier: http://blog.optimizely.de/ Optimizely ist der weltweite Marktführer im Bereich A/B- und Multivariate Testing.

Mobil

A/B Testing in Native Apps
Twitter, Facebook, Sie
!
!
!
Marius Kremeyer
Account Executive D-A-CH
!
!
@optimizely
@marius3point0

Rakuten: 50% Besucher via Mobile
(Kassenzone, 2014)
!
Zalando: 41% Besucher via Mobile
(Internet World, 2014)
!
Otto: 20% Umsatz via Mobile
50% in 2016
(mobileinsider, 2014)

60% niemals genutzt
(VentureBeat, 2013)
!
> 80% nach einmaliger
Nutzung gelöscht
(TechCrunch, 2013)

• Webseite wird nicht aktiv
weiterentwickelt • Alles auf Mobile
! • Beispiel: Gesamte Navigation • Target: 1% der Nutzer oder bestimmtes
Netzwerk

• Mobile First • Mangel an App-Entwicklern • Training-Firma aufgekauft • Web-Entwickler —> App-Entwickler
! • 30-40 Experimente gleichzeitig • @optimizely

“Significant Engagement”-
Benachrichtigung

Gesamtes Layout
! • Größe von Bildern • Position von Bildern • Überhaupt Bilder? • Mosaik vs. Vertical Stream

• Optimizely SDK • Release • iPhone Verbinden
! • Visueller Editor * • Flexible Variablen * • Codeblöcke
!
* Keine releases / reviews durch Apple notwendig

1. Unzufriedenheit
2. Einbußen
Unzufriedene Minderheit
Vorübergehende Einbußen

1. Unzufriedene Minderheit
!
Netflix Redesign

+1,4% Engagement
+0,5% Retention
(160.000 Mitglieder)
“Just hold true to the philosophy that the data
is what matters”
!
Bryan Gumm – Manager of Experimentation - Netflix

2. Vorübergehende Einbußen
! • Nicht zu vermeiden • Schmerzhaft • Lerneffekt überwiegt • Langfristiger Gewinn

Danke!
!
marius@optimizely.com
!
@marius3point0
@optimizely

Weitere ähnliche Inhalte

Andere mochten auch

Home Page Scoring: Clarity, Excitingness and Attention

Crayon.co

In diesem Vortrag, präsentiert bei der Veranstaltung "Optimierung für Verlage und Onlinemedien" am 9. Oktober 2014 zeigt Marius Kremeyer: - Wie man Ideen für A/B Testing generiert - Warum man kein Experiment ohne eine Hypothese aufsetzen sollte - Wie eine gute Hypothese aussieht - Wie man Testhypothesen priorisiert - Was Medienunternehmen und Verlage testen könnten All dies soll helfen, A/B Testing besser vorzubereiten, damit man auf die wichtigsten Schwachstellen hin optimiert und Ergebnisse fehlerfrei interpretieren kann. Optimizely können Sie unter: https://www.optimizely.de/pricing 30 Tage kostenfrei ausprobieren. Auf http://blog.optimizely.de/ finden Sie außerdem Ideen und Fallstudien rund um das Thema A/B Testing und Conversion Optimierung.

A/B Testing ideen und Priorisierung für Onlinemedien

Optimizely

Tips for creating, testing and optimizing paid search ads

Search Marketing Expo - SMX

Tips for Creating, Testing and Optimizing Paid Search Ads

Search Marketing Expo - SMX

2015 MnSearch Summit - Brad Geddes - Perfecting you PPC Ad Testing in 2015 an...

MnSearch, The Minnesota Search Engine Marketing Association

An Effective Process for Design Optimization and Conversion Boosting: How Eps...

Kurtis Morrison

Präsentation des Events "CROissants mit Optimizely" in Berlin. Lernen Sie in dieser Präsentation: - [Fallbeispiele] Wie andere Unternehmen Erfolge mit A/B Testing erreichen - Wie Sie Nutzererfahrungen durch A/B Tests personalisieren - Wie Sie mit Optimizely mobile Webseiten optimieren können - Wie Sie mobile Apps testen & optimieren können - Wie Sie neuerdings auch Cross-Channel Erfahrungen dank Optimizely verbessern Falls Sie Optimizely noch nicht nutzen, dann können Sie kostenlos einen Account erstellen: https://www.optimizely.de/ Für Fallbeispiele und Inspiration besuchen Sie am besten unser Blog: http://blog.optimizely.de/

Die Zukunft der Optimierung und Personalisierung mit Optimizely

Optimizely

Pre Campaging Ad Testing

doron_bs

Best Practices for Testing PPC Landing Pages & Ad Copy

Internet Marketing Software - WordStream

Wie geht man bei einem A/B-Test richtig vor? Von der Problemanalyse, über die Hypothesenbildung bis zur Auswertung. Auf der DMX Austria 2014 hat Mirja Bettels, Senior Partner Manager bei der etracker GmbH, alle Bereiche des A/B-Testings umfassend beleuchtet. Die Kernthesen im Überblick: Ohne Hypothese kein Test Ohne Psychologie kein Test Ohne Segmentierung kein Test Ohne Micro-Conversions kein Test Ohne Formularfeldanalyse kein Formulartest Ohne UX-Analyse kein Page-Test Ohne Multi-KPI-Analyse kein Test

A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg....

etracker GmbH

Widemile and Microsoft Multivariate Testing Case Study

Widemile

In this presentation for the Habit Summit, I outline 5 of the most powerful psychological principles for persuasive product design: 1. Endowed progress 2. Sunk-cost fallacy 3. Appointment dynamic 4. Opportunity Cost 5. Hedonic adaptation During the talk I’ll explain their scientific basis and illustrate their application with numerous case studies, as well as give practical tips on how you can implement these principles in your own work. Hope you enjoy it! NN x

Nathalie Nahai - 5 psychological principles of persuasive design

Nathalie Nahai

Stop spending money on ads that don’t work! Finding the best performing ads are critical to crafting successful campaigns. AdAlysis founder, Brad Geddes, discusses in detail the importance of A/B testing and examines the leading ad testing solutions on the market. Ryan Saurer from Boost Media looks at testing ad creative and Sandra and Stewart from the Acquisio Trading Desk look at testing display ads.

Creating an ad testing framework final

Acquisio

Nathalie Nahai - Web psychology principles for you to A/B test

Nathalie Nahai

How to use the Big 5 personality traits to write persuasive copy

Nathalie Nahai

Digital Marketing Measurement Framework - Martin Walsh

Martin Walsh

Andere mochten auch (16)

Home Page Scoring: Clarity, Excitingness and Attention

A/B Testing ideen und Priorisierung für Onlinemedien

Tips for creating, testing and optimizing paid search ads

Tips for Creating, Testing and Optimizing Paid Search Ads

2015 MnSearch Summit - Brad Geddes - Perfecting you PPC Ad Testing in 2015 an...

An Effective Process for Design Optimization and Conversion Boosting: How Eps...

Die Zukunft der Optimierung und Personalisierung mit Optimizely

Pre Campaging Ad Testing

Best Practices for Testing PPC Landing Pages & Ad Copy

A/B-Testing - aber richtig. Mit gezieltem A/B-Testing zu mehr Website-Erfolg....

Widemile and Microsoft Multivariate Testing Case Study

Nathalie Nahai - 5 psychological principles of persuasive design

Creating an ad testing framework final

Nathalie Nahai - Web psychology principles for you to A/B test

How to use the Big 5 personality traits to write persuasive copy

Digital Marketing Measurement Framework - Martin Walsh

Ähnlich wie A/B Testing für Native Mobile Apps

Warum sich mobile Websites für Unternehmen lohnen

quäntchen + glück

SEO Campixx 2015 - Mobile Site Audit (Mario Schwertfeger)

Mario Schwertfeger

Search Trends 2014 - Werbeplanung.at Summit Wien

luna-park GmbH

Mobile in market research 2016 webinar research now

Analytic Partners

Mobile ist heute und morgen. Aber es war auch gestern. Der Trend ist nicht neu. Die Disruption bahnt sich nahezu mit tektonischer Vorankündigung an. Aber trotz der vielen Vorboten, wie mobile Geräte die Durchführung von Marktforschung beeinflussen, hat sich die Marktforschungsindustrie nur sehr langsam verändert. Wir befinden uns momentan in einer kritischen Phase, in der Transformation und Innovation nicht mehr zurückgedrängt werden können. Marktforscher müssen daher ihren Ansatz für die Daten-Erhebungen überdenken und sich für Veränderungen einsetzen. In diesem Webinar zeigt Research Now durch sein eigenes Mobile-Research Rating System auf, - inwieweit Umfragen bereits mobil kompatibel sind, - was bei mobilen Umfragen zu beachten ist, - wie traditionelle Umfragen mobil-gerecht werden - und warum “mobile-first“ Teilnehmer so wichtig sind.

Research Now Webinar: Der Mobile Imperativ

katik

Retention Strategies in Mobile E-Commerce

AboutYouGmbH

Leider existiert bei vielen Entwicklern der Irrglaube, dass mit dem Launch der eigenen App in einem der App Stores die Arbeit getan sei. Dabei geht der Spaß dann erst richtig los. Nur wer seine App als Produkt und nicht als Projekt versteht, hat auch nachhaltig die Chance auf Erfolg. Die Session zeigt, wie man durch Crash Reporting, App Analytics, geschicktes Einbinden der Usercommunity und ein gut durchdachtes Releasemanagement seine App auch nach dem ersten Launch attraktiv und erfolgreich halten kann.

The Day after – nach dem Release ist vor dem Release

OPEN KNOWLEDGE GmbH

The Day after

OPEN KNOWLEDGE GmbH

Social Media und die Generation Y – Was verändert sich für die Unternehmen?

Katja Bett

etailment WIEN 2016 – S. Hoffmann, S. Schwaha, F. Stich – Ambuzzador – Social...

Werbeplanung.at Summit

Mobile Apps mit Mehrwert (by CSS)

cssgmbh

Ebook250714 2

Meami Chu

Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...

e-dialog GmbH

Mobile User Experience - Entwicklung von benutzerfreundlichen mobilen Website...

Christoph Mühlbauer

Responsive Design oder Apps?

A. Baggenstos & Co. AG

Responsive Design oder App?

INM AG

netzstrategen @ NWZ - Aus dem Web ins Geschäft

larsnotleast

Mobile User Experience: Entwicklung von benutzerfreundlichen mobilen Websites und Applikationen Mit dem iPhone hat Apple die mobile Internetnutzung massentauglich gemacht und dank Touch-Technologien wurden Inhalte greifbar. Um das mobile Internet zu etablieren, genügt es jedoch nicht, einfach den herkömmlichen, stationären Web-Auftritt auf ein Handy-Display zu projizieren. Der Bezug zur mobilen Nutzungssituation ist hierbei ein entscheidendes Kriterium. In diesem Vortrag erfahren Sie, wie Anwendungen für das mobile Internet optimiert werden müssen und wie der mobile Nutzer ins Zentrum aller Überlegungen gebracht wird. Christoph Mühlbauer (Human-Computer-Interaction, Universität Siegen)

Mobile User Experience: Entwicklung von benutzerfreundlichen mobilen Websites...

usability.de

Aus dem Web ins Geschäft - Vortrag für die Pirmasenser Zeitung

larsnotleast

App Marketing für Online-Shops

Shopgate Inc.

Ähnlich wie A/B Testing für Native Mobile Apps (20)

Warum sich mobile Websites für Unternehmen lohnen

SEO Campixx 2015 - Mobile Site Audit (Mario Schwertfeger)

Search Trends 2014 - Werbeplanung.at Summit Wien

Mobile in market research 2016 webinar research now

Research Now Webinar: Der Mobile Imperativ

Retention Strategies in Mobile E-Commerce

The Day after – nach dem Release ist vor dem Release

The Day after

Social Media und die Generation Y – Was verändert sich für die Unternehmen?

etailment WIEN 2016 – S. Hoffmann, S. Schwaha, F. Stich – Ambuzzador – Social...

Mobile Apps mit Mehrwert (by CSS)

Ebook250714 2

Google Analytics Konferenz 2012: Thomas Sommeregger, elements.at: Mobile Trac...

Mobile User Experience - Entwicklung von benutzerfreundlichen mobilen Website...

Responsive Design oder Apps?

Responsive Design oder App?

netzstrategen @ NWZ - Aus dem Web ins Geschäft

Mobile User Experience: Entwicklung von benutzerfreundlichen mobilen Websites...

Aus dem Web ins Geschäft - Vortrag für die Pirmasenser Zeitung

App Marketing für Online-Shops

Mehr von Optimizely

Clover's Digital Growth team is responsible for optimizing the merchant's digital experience and they rely on experimentation to guide digital decision-making. This enables them to quickly learn and measure what changes deliver the best outcomes for users. Join us with Lead Product Manager of Growth, Monil Shah, to learn how Clover: - Increased digital conversions amongst merchants with an investment in experimentation - Grew experiment velocity by 4x after replacing Adobe Target - Designed a framework to efficiently capture and prioritize test ideas, and roll out winners

Clover Rings Up Digital Growth to Drive Experimentation

Optimizely

Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...

Optimizely

The Science of Getting Testing Right

Optimizely

Mystique CLI is an Atlassian developed CLI for Optimizely Web. It is a multi-phase project that is currently focusing on improving the development cycle for growth engineers. Currently, Mystique is the standard for developing web experiments at Atlassian, and is capable of a wide variety of operations utilizing Optimizely's REST API. This includes creating, updating, testing, and duplicating experiments/personalization campaigns, as well as "promoting" these entities between Optimizely projects for different environments (e.g. from QA => Prod). It has significantly reduced manual overhead and decreased development time by up to 95% for particular actions.

Atlassian's Mystique CLI, Minimizing the Experiment Development Cycle

Optimizely

Autotrader's Product and Engineering teams were ahead of the curve many years ago when they built a home-grown solution for leveraging feature flags to support server-side testing. Over the years, the industry eventually caught up and surpassed this proprietary tooling and the team had a choice to make: Re-invest into the local solution or completely retool. In this case study, Scott Povlot, Principal Technical Architect, and Seth Stuck, Director of R&D Analytics, will discuss their journey in selecting and then migrating to their next generation of experimentation tooling. They will discuss selection criteria, pros and cons, and outline how they were able to make the migration to Optimizely successful and lessons learned along the way.

Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...

Optimizely

Zillow + Optimizely: Building the Bridge to $20 Billion Revenue

Optimizely

The Future of Optimizely for Technical Teams

Optimizely

Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...

Optimizely

Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...

Optimizely

Building an Experiment Pipeline for GitHub’s New Free Team Offering

Optimizely

Speeding up innovation only matters if it helps you drive positive outcomes. At AMC, experimentation enables the product and platform teams to challenge their assumptions, maximize impact, and evaluate ideas as painted door tests before investing in significant development. A commitment to test everything across 9 platforms fueled their search for the most scalable solution. In this session, you'll learn how to: Leverage server-side testing to experiment quickly Scale across web, mobile, and OTT applications Determine when client-side testing is more efficient

AMC Networks Experiments Faster on the Server Side

Optimizely

An obsession with data, efficiency, and delivering incredible customer experiences are just a few things that the CNN Consumer Science and Software Engineering teams have in common. Simple A/B testing practices evolved into a culture of experimentation, sparking new development practices across the organization. Learn how they drive results across their entire platform from websites to mobile apps.

Evolving Experimentation from CRO to Product Development

Optimizely

Growing from an early stage startup to a national leader in financial literacy is no small feat, and there are a ton of lessons that we have learned at Greenlight as we have grown. Long gone are the days where we would ship something and cross our fingers hoping that it makes some kind of impact on our customers. Now we’re in a world where we can learn ahead of time how much impact a feature will have on the business, before we even launch! In today’s conversation, we’ll discuss how we use Optimizely’s feature flags in our microservice architecture using Optimizely Agent while keeping user IDs and context synchronized. This session will cover: How we set up Optimizely Agent and use it in a kubernetes deployment How we created a user-aliasing service How we access Optimizely both on the frontend and in the backend services. How to build a full stack feature How to manage the rollout using Optimizely’s feature flags

Overcoming the Challenges of Experimentation on a Service Oriented Architecture

Optimizely

A/B testing is an essential element in any product managers playbook. However having the freedom and flexibility to customize testing based on what the data is saying often requires a lot of time and effort, particularly when it comes to engineering resources. Optimizely offers a flexible approach to experimentation through the use of feature testing, which provides more customization options without the additional development effort typically required to implement these feature optimizations. Megan Bubley, a Senior Product Manager at The Zebra, will share her experience working with Optimizely’s feature tests to create a results page where users can compare multiple auto insurance options driven by actual user needs, as well as her experience customizing the experience based on device platform.

How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...

Optimizely

At Treatwell, each experiment goes beyond improving a single business metric. Experimentation works to evolve their product while enriching customer insights in order to deliver the best digital experience to their users. Join Laura Howard, Lead Product Manager, and Dennis Meisner, Senior Product Analyst, to learn their secret to making their hypothesis work harder and how getting their hypothesis right has improved Treatwell’s funnel progression and order health, as well as helped them make critical decisions on their product experience.

Making Your Hypothesis Work Harder to Inform Future Product Strategy

Optimizely

Amy Vetter, Consumer Experience Manager, Direct To Consumer, Europe, will walk you through some of the tests that she and her team run across the Scholl brand. Amy will highlight surprise learnings and how to remove the fear of failing. The team is empowered to test everything possible that will allow the customer to get the best experience and also support the brand’s goal for more revenue and customer data.

Kick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue

Optimizely

Experimentation through Clients' Eyes

Optimizely

Will 2020 mark the shift to a remote-first world in the long run? For GitHub, a distributed workforce is nothing new. Join Sha Ma, VP of Engineering, and Gregory Ceccarelli, Director of Data Science, to learn how they built and scaled a successful experimentation program. They'll share their experience implementing Optimizely across timezones, a remote workforce, and a new business model. In this session, you'll learn how to: Optimize UX for a freemium business model Use data to deliver customer-centered products Scale experimentation and accelerate growth

Shipping to Learn and Accelerate Growth with GitHub

Optimizely

When done right, experimentation can help you validate the product you’re building and create winning customer experiences. And it doesn’t take a big engineering team to make this happen. TrustRadius, the most trusted review site for business technology, uses experimentation to build an online community through website and server-side experimentation. The small but mighty TrustRadius team runs experiments throughout the buyer’s journey to engage different user personas and understand outcomes in real-time. Watch the webinar recording featuring Rilo Stark, product manager at TrustRadius, and Jack Peden, senior software engineer, to understand their data-driven experimentation strategy and how TrustRadius uses Optimizely Web and Full Stack products to tailor experiences to different customer segments and mitigate risk through A/B/N and painted door tests.

Test Everything: TrustRadius Delivers Customer Value with Experimentation

Optimizely

Optimizely Agent: Scaling Resilient Feature Delivery

Optimizely

Mehr von Optimizely (20)

Clover Rings Up Digital Growth to Drive Experimentation

Make Every Touchpoint Count: How to Drive Revenue in an Increasingly Online W...

The Science of Getting Testing Right

Atlassian's Mystique CLI, Minimizing the Experiment Development Cycle

Autotrader Case Study: Migrating from Home-Grown Testing to Best-in-Class Too...

Zillow + Optimizely: Building the Bridge to $20 Billion Revenue

The Future of Optimizely for Technical Teams

Empowering Agents to Provide Service from Anywhere: Contact Centers in the Ti...

Experimentation Everywhere: Create Exceptional Online Shopping Experiences an...

Building an Experiment Pipeline for GitHub’s New Free Team Offering

AMC Networks Experiments Faster on the Server Side

Evolving Experimentation from CRO to Product Development

Overcoming the Challenges of Experimentation on a Service Oriented Architecture

How The Zebra Utilized Feature Experiments To Increase Carrier Card Engagemen...

Making Your Hypothesis Work Harder to Inform Future Product Strategy

Kick Your Assumptions: How Scholl's Test-Everything Culture Drives Revenue

Experimentation through Clients' Eyes

Shipping to Learn and Accelerate Growth with GitHub

Test Everything: TrustRadius Delivers Customer Value with Experimentation

Optimizely Agent: Scaling Resilient Feature Delivery

A/B Testing für Native Mobile Apps

1. A/B Testing in Native Apps Twitter, Facebook, Sie ! ! ! Marius Kremeyer Account Executive D-A-CH ! ! @optimizely @marius3point0

2. Was ist A/B Testing?

3. Conversions: +43.4%

5. Agiles A/B Testing in Native Apps

6. Warum?

8. Rakuten: 50% Besucher via Mobile (Kassenzone, 2014) ! Zalando: 41% Besucher via Mobile (Internet World, 2014) ! Otto: 20% Umsatz via Mobile 50% in 2016 (mobileinsider, 2014)

9. 60% niemals genutzt (VentureBeat, 2013) ! > 80% nach einmaliger Nutzung gelöscht (TechCrunch, 2013)

10. Wer?

11. • Webseite wird nicht aktiv weiterentwickelt • Alles auf Mobile ! • Beispiel: Gesamte Navigation • Target: 1% der Nutzer oder bestimmtes Netzwerk

12. Wer noch?

13. • Mobile First • Mangel an App-Entwicklern • Training-Firma aufgekauft • Web-Entwickler —> App-Entwickler ! • 30-40 Experimente gleichzeitig • @optimizely

14. # Nutzer die Tweet gesehen haben

15.

16. Mute Button

17.

18. “Significant Engagement”- Benachrichtigung

19.

20. Gesamtes Layout ! • Größe von Bildern • Position von Bildern • Überhaupt Bilder? • Mosaik vs. Vertical Stream

21. Wer unter Ihnen?

22. Wie?

23. • Optimizely SDK • Release • iPhone Verbinden ! • Visueller Editor * • Flexible Variablen * • Codeblöcke ! * Keine releases / reviews durch Apple notwendig

24. Achtung!

25. 1. Unzufriedenheit 2. Einbußen Unzufriedene Minderheit Vorübergehende Einbußen

26. 1. Unzufriedene Minderheit ! Netflix Redesign

27.

28.

29. +1,4% Engagement +0,5% Retention (160.000 Mitglieder) “Just hold true to the philosophy that the data is what matters” ! Bryan Gumm – Manager of Experimentation - Netflix

30. 2. Vorübergehende Einbußen ! • Nicht zu vermeiden • Schmerzhaft • Lerneffekt überwiegt • Langfristiger Gewinn

31.

32. Fazit? ! Testen Sie Jetzt!

33. Danke! ! marius@optimizely.com ! @marius3point0 @optimizely

A/B Testing für Native Mobile Apps

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (16)

Ähnlich wie A/B Testing für Native Mobile Apps

Ähnlich wie A/B Testing für Native Mobile Apps (20)

Mehr von Optimizely

Mehr von Optimizely (20)

A/B Testing für Native Mobile Apps