Lean analytics from Web A Quebec mars 2014

1. Lean Analytics Utiliser les données pour créer un meilleur startup plus rapidement. Web à Québec Mars 2014 @acroll

2. Bonjour/hi!

3. 0 5 10 15 1 4 0 1 0 1 14 4 1 13 7 0 0 2Petite entreprise en démarrage sans financement Small, unfunded startup Compagnie en premier développement ("early-stage") avec capital d'amorçage Early-stage company with seed funding Compagnie en croissance, avec financement, sans revenus rowing, funded, pre-revenue company Entreprise en démarrage avec revenus et clients Compagnie privée, mais pas en démarrage Compagnie publique Public company Éducation (peu importe le niveau) Education (school, university) Gouvernement et agences (Ministères et organismes) Organisation à but non lucratif ou non gouvernementale Nonprofit or NGO Journaliste/média d'information/blogueur Reporter, news media, blogger Analyste ou chercheur Analyst or researcher Investisseur, capital de risque ou financement providentiel (Angel funding) Investor, VC, or angel Étudiant Student Autre Other

4. Ne vendez pas ce que vous faites. Faites ce que vous pouvez vendre. Kevin Costner est un entrepreneur minable.

5. Au cœur du Lean est l’itération.

6. On raconte tous de beaux mensonges.

7. La plupart des startup ne savent pas ce qu'ils vont être quand ils grandissent. Hotmail was a database company Flickr was going to be an MMO Twitter was a podcasting company Autodesk made desktop automation Paypal ﬁrst built for Palmpilots Freshbooks was invoicing for a web design ﬁrm Wikipedia was to be written by experts only Mitel was a lawnmower company

8. Son propre idée est toujours la meilleure—oui? On adore créer des choses C'est là que tout s'écroule. Pas de données, pas d’apprentissage.

9. L’analytique à la rescousse!

10. Analytics is the measurement of movement towards your business goals. L’analytique, c’est la mesure du mouvement vers vos objectifs.

11. In a startup, the purpose of analytics is to iterate to product/market ﬁt before the money runs out. Dans un startup, le but de l’analyse est d'itérer au produit / marché soutenable pendant qu’il vous reste de l’argent.

12. J’ai deux enfants. Au moins une d’eux est une ﬁlle.

13. Quelle est la chance que l’autre soit un garçon?

14. GG GF FG FF

15. 2 de 3 (66%) sont des garçons. FG FF GF

16. Quelques leçons fondamentales.

17. Un bon indicateur est... Comprenable If you’re busy explaining the data, you won’t be busy acting on it. Comparable Comparison is context. Un taux ou une fréquence The only way to measure change and roll up the tension between two metrics (MPH) Change votre comportement If it won’t change your behavior it is a bad metric.

18. La règle la plus simple. mauvaise métrique. Si elle ne change pas votre comportement, c’est une h"p://www.ﬂickr.com/photos/circasassy/7858155676/

19. Qualitatif Unstructured, anecdotal, revealing, hard to aggregate, often too positive & reassuring. Chaud et imprécis. Quantitatif Numbers and stats. Hard facts, less insight, easier to analyze; often sour and disappointing. Froid et dur.

20. Explorateur Speculative. Tries to ﬁnd unexpected or interesting insights. Source of unfair advantages. Capitvant. Déclarante Predictable. Keeps you abreast of the normal, day-to-day operations. Can be managed by exception. Nécessaire.

21. MaiAvrilMarFev Trancher les données Jan 0 5,000 Usagersactifs Cohorte: Comparison of similar groups along a timeline. (this is the April cohort) Test A/B Changing one thing (i.e. color) and measuring the result (i.e. revenue.) Analyse multivariée Changing several things at once to see which correlates with a result. ☀ ☁ ☀ ☁ Segment: Cross-sectional comparison of all people divided by some attribute (age, gender, etc.) ☀ ☁

22. Lequel de ces deux sociétés a plus de succes?

23. Janvier Février Mars Avril Mai Rev/usager $5.00 $4.50 $4.33 $4.25 $4.50Cette entreprise agrandit-il? Cohort 1 2 3 4 5 Janvier Février Mars Avril Mai $5 $3 $2 $1 $0.5 $6 $4 $2 $1 $7 $6 $5 $8 $7 $9 Et celcui-çi?

24. Cohorte 1 2 3 4 5 Janvier Février Mars Avril Mai Moyens $5 $3 $2 $1 $0.5 $6 $4 $2 $1 $7 $6 $5 $8 $7 $9 $7 $5 $3 $1 $0.5 Les mêmes données vus par cohorte

25. De retard Historical. Shows you how you’re doing; reports the news. Example: sales. Explique le passé. D’en tête Forward-looking. Number today that predicts tomorrow; reports the news. Example: pipeline. Predit la futur.

26. A Facebook user reaching 7 friends within 10 days of signing up (Chamath Palihapitiya) If someone comes back to Zynga a day after signing up for a game, they’ll probably become an engaged, paying user (Nabeel Hyatt) A Dropbox user who puts at least one ﬁle in one folder on one device (ChenLi Wang) Twitter user following a certain number of people, and a certain percentage of those people following the user back (Josh Elman) A LinkedIn user getting to X connections in Y days (Elliot Schmukler) Quelques examples (From the 2012 Growth Hacking conference. http://growthhackersconference.com/)

27. Donc, il faut parler de corrélation.

28. 1 10 100 1000 10000 Ice cream consumption Drownings Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec

29. Corrélée Two variables that are related (but may be dependent on something else.) La crème glacée et la noyade. Causée An independent variable that directly impacts a dependent one. L’été et la noyade.

30. Un métrique d’en tête, causale, est une surpuissance. h"p://www.ﬂickr.com/photos/bloke_with_camera/401812833/sizes/o/in/photostream/

31. Hacker la croissance, démystiﬁer Trouvez la correlation Veriﬁez la causalité Optimiser l’élement causal Choisissez la métrique à changer

32. Est-ce qu’une action sociale (Like, RT, upvote) predis un don? http://blog.justgiving.com/nine-reasons-why-social-and-mobile-are-the-future-of-fundraising/

33. L’usage mobile le predit-il? http://blog.justgiving.com/nine-reasons-why-social-and-mobile-are-the-future-of-fundraising/

34. Pourquoi le spam Nigérian est si mal écrit?

35. Aunshul Rege of Rutgers University, USA in 2009 Experienced scammers expect a “strike rate” of 1 or 2 replies per 1,000 messages emailed; they expect to land 2 or 3 “Mugu” (fools) each week. One scammer boasted “When you get a reply it’s 70% sure you’ll get the money” “By sending an email that repels all but the most gullible,” says [Microsoft Researcher Corman] Herley, “the scammer gets the most promising marks to self-select, and tilts the true to false positive ratio in his favor.” 1000 courriels 1-2 réponses 1 imbécile et son argent, bientôt séparés Mal-écrit (0.1% conversion) Usagers crédules (70% conversion) 1000 courriels 100 réponses 1 imbécile et son argent, bientôt séparés Bien écrit (10% conversion) Usagers incrédules (.07% conversion) Ce serait terriblement ineﬃcace puisque ça prendrait des humains.

36. Le mot “Nigeria” est la meilleure façon d'identiﬁer des usagers crédules et prometteuses.

37. Les spammeurs nigérians comprennent vraiment leur marché. Ils se méﬁent des metriques de vanité.

38. Le système Lean Analytics.

39. Les trois moteurs de croissance d’Eric Ries Viralité Que les gens invittent leurs amis. Combien ils disent, à quelle vitesse ils leur disent. Prix Que les visiteurs dépensent de l’argent. Les clients valent plus qu’ils coûtent. Fidélisation Que les gens reviennent. Approche Obtenir des clients plus vite que vous les perdez. Math

40. Les mesures de pirates de Dave Acquisition How do your users become aware of you? SEO, SEM, widgets, email, PR, campaigns, blogs ... Activation Do drive-by visitors subscribe, use, etc? Features, design, tone, compensation, affirmation ... Rétention Does a one-time user become engaged? Notifications, alerts, reminders, emails, updates... Revenu Do you make money from user activity? Transactions, clicks, subscriptions, DLC, analytics... Renvoi Do users promote your product? Email, widgets, campaigns, likes, RTs, affiliates...

41. Étape EMPATHIE J'ai trouvé un besoin réel et non-comblé d’un marché atteignable. FIDÉLITÉ J'ai compris comment résoudre le problème d'une manière qu’ils continueront d’utiliser et de payer. VIRALITÉ Je peut les convaincre de promouvoir mon produit ou service a leurs amis. REVENU La croissance de revenu me permet d’agrandir organiquement et artiﬁciellement. ÉCHELLE J'ai trouvé un modèle d’entreprise durable avec de bonnes marges dans un écosystème sain. Barrière à franchir Lescinqétapes

42. Six modèles de business E-commerce SaaS Medias Logiciel mobile Contenu généré par usagers Marché biface Votre entreprise

43. Customer Acquisition Cost paid direct search wom inherent virality VISITOR Freemium/trial offer Enrollment User Disengaged User Cancel Freemium churn Engaged User Free user disengagement Reactivate Cancel Trial abandonment rate Invite Others Paying Customer Reactivation rate Paid conversion FORMER USERS User Lifetime Value Reactivate FORMER CUSTOMERS Customer Lifetime Value Viral coefficient Viral rate Resolution Support data Account Cancelled Billing Info Exp. Paid Churn Rate Tiering Capacity Limit Upselling rate Upselling Disengaged DissatisfiedTrial Over

44. Modèle + Étape = La métrique dominante Métrique dominante Votre modèle E-Com SaaS Mobile Biface Media CGU Empathie Fidélité Viralité Revenu Échelle Votreétape

45. Vraiment? Juste une?

46. Oui, une.

47. Dans un startup, c’est difﬁcile de focuser.

48. Avoir une seule métrique aborde ce problème.

49. www.theeastsiderla.com

50. Les métriques, c’est des “squeeze toys.” http://www.ﬂickr.com/photos/connortarter/4791605202/

51. Empathy Stickiness Virality Revenue Scale E- commerce SaaS Media Mobile app User-gen content 2-sided market Interviews; qualitative results; quantitative scoring; surveys Loyalty, conversion CAC, shares, reactivation Transaction, CLV Affiliates, white-label Engagement, churn Inherent virality, CAC Upselling, CAC, CLV API, magic #, mktplace Content, spam Invites, sharing Ads, donations Analytics, user data Inventory, listings SEM, sharing Transactions, commission Other verticals (Money from transactions) Downloads, churn, virality WoM, app ratings, CAC CLV, ARPDAU Spinoffs, publishers (Money from active users) Traffic, visits, returns Content virality, SEM CPE, affiliate %, eyeballs Syndication, licenses (Money from ad clicks)

52. Mieux: bit.ly/BigLeanTable

53. Dessiner une ligne à franchir.

54. Une entreprise perd le quart de ses clients chaque année. Est-ce bon, ou mauvais?

55. Ne sachant pas le “normal” vous fait faire des conneries.

56. Ligne de base: 5-7% croissance/semaine “A good growth rate during YC is 5-7% a week,” he says. “If you can hit 10% a week you're doing exceptionally well. If you can only manage 1%, it's a sign you haven't yet ﬁgured out what you're doing.” At revenue stage, measure growth in revenue. Before that, measure growth in active users. Paul Graham, Y Combinator • Are there enough people who really care enough to sustain a 5% growth rate? • Don’t strive for a 5% growth at the expense of really understanding your customers and building a meaningful solution • Once you’re a pre-revenue startup at or near product/market ﬁt, you should have 5% growth of active users each week • Once you’re generating revenues, they should grow at 5% a week

57. Ligne de base: 10% visiteurs engagées/jour Fred Wilson’s social ratios 30% d’usagers par mois l’utilisent 10% d’usagers par jour l’utilisent 1% d’usagers l’utilisent en même temps

58. Ligne de base: 2-5% désabonnement par mois • The best SaaS get 1.5% - 3% a month. They have multiple Ph.D’s on the job. • Get below a 5% monthly churn rate before you know you’ve got a business that’s ready to grow (Mark MacLeod) and around 2% before you really step on the gas (David Skok) • Last-ditch appeals and reactivation can have a big impact. Facebook’s “don’t leave” reduces attrition by 7%.

59. Ligne de base:: Coût d’acquisition < 1/3 le valeur de l’usager • CLV is wrong. CAC Is probably wrong, too. • Time kills all plans: It’ll take a long time to ﬁnd out whether your churn and revenue projections are right • Cashﬂow: You’re basically “loaning” the customer money between acquisition and CLV. • It keeps you honest: Limiting yourself to a CAC of only a third of your CLV will forces you to verify costs sooner. Vie de 20 mois $30/mois par usager L’usager vaut $600 $200 coût d’acquisition Dépense de 1/3

60. Ligne de base: 35% d’usagers mobiles engagées par la 90e journée Jour 1 100% Jour 30 54% Jour 60 43% Jour 90 35% October,2012studyof200,000appsbyFlurry Smartphone Tablet Usages par semaine 12.9 fois 9.5 fois Durée d’usage 4.1 minutes 8.2 minutes In recent years, third-month engagement has increased from 25% to 35%, but frequency of use has dropped from 6.7 uses a week to 3.7 a week.

61. Ça varie beaucoup.

62. Le cycle Lean Analytics

63. Changer la ligne Pivoter ou abandonner Essayer de nouveau Grand succes! Avons-nous franchis la ligne? Regarder les résultats Faire des changements en production Concevoir un test Creer une hypothèse Avec des données: trouver un point commun Sans données: faire une conjecture Trouver une amélioration possible Etablir la ligne de base Choisir une métrique

64. Les hôtes Airbnb obtiennent-ils plus de locations si leur proprietées présentent des photos professionnelles?

65. Hypothèse La photographie professionnelle aide AirBnB Produit minimum (MVP) 20 photographes se faisant passer pour les employés Mesurer les résultats Comparez les annonces photographiés professionellement aux autres Decider d’agir Lancer la photographie professionelle pour tous les hôtes

66. 5,000 proprietés/mois en février 2012

67. Wô les moteurs!

68. Hypothèse La photographie professionnelle aide AirBnB Vraiment?

69. Changer la ligne Pivoter ou abandonner Essayer de nouveau Grand succes! Avons-nous franchis la ligne? Regarder les résultats Faites des changements en production Concevoir un test Creer une hypothèse Avec des données: trouver un point commun Sans données: faire une conjecture Trouver une amélioration possible Etablir la ligne de base Choisir une métrique

70. “Hé, les maisons qui se louent bien ont de belles photos” C'est peut-être l'appareil photo. "Ordinateur: Qu'est-ce que toutes les maisons très loués ont en commun?" L'appareil photo. Avec des données: trouver un point commun Sans données: faire une conjecture

71. Circle of Moms: Engagement insufﬁsant • Too few people were actually using the product • Less than 20% of any circles had any activity after their initial creation • A few million monthly uniques from 10M registered users, but no sustained traction • They found moms were far more engaged • Their messages to one another were on average 50% longer • They were 115% more likely to attach a picture to a post they wrote • They were 110% more likely to engage in a threaded (i.e. deep) conversation • Circle owners’ friends were 50% more likely to engage with the circle • They were 75% more likely to click on Facebook notiﬁcations • They were 180% more likely to click on Facebook news feed items • They were 60% more likely to accept invitations to the app • Pivoted to the new market, including a name change • By late 2009, 4.5M users and strong engagement • Sold to Sugar, inc. in early 2012

72. Landing page design A/B testing Cohort analysis General analytics URL shortening Funnel analytics Inﬂuencer Marketing Publisher analytics SaaS analytics Gaming analytics User interaction Customer satisfaction KPI dashboardsUser segmentation User analytics Spying on users

73. C’est plus diﬃcile quand vous êtes grand.

74. Comme startup, votre objectif est de découvrir un modèle d'affaires durable et reproductible. Quand vous êtes une grande organisation, votre but est de la perpétuer.

75. VOUS AVEZ TOUT À PERDRE

76. De plus, c'est pas populaire.

77. VOUS ÊTES ICI

78. VOUS ÊTES ICI MAXIMUM LOCALE OPTIMISATION DES MESURES ACTUELS

79. VOUS ÊTES ICI MAXIMUM GLOBALE L'INNOVATION AVEC DE NOUVELLES RÈGLES

80. VOUS ÊTES ICI PERSONNE N'AIME DESCENDRE

81. ALORS, COMMENT GAGNER FIXER GOUVERNER PROSPÉRER INNOVER? AMÉLIORER PERTURBER CROÎTRE SURVIVRE

82. http://www.ﬂickr.com/photos/puuikibeach/4789015423 http://www.ﬂickr.com/photos/elcapitanbsc/3936927326 Coût des essais: fuyant Coût d’attention: propulsant

83. QUE FONT LES GRANDES ORGANISATIONS POUR BIEN INNOVER?

84. GET UNCOMFORTABLY CLOSE RAPPROCHEZ-VOUS INCONFORTABLEMENT

85. “DES ÉTUDES DES HOMMES MONTRENT QUE 1 SUR 8 ONT UN PROBLÈME D'INCONTINENCE; LES FEMMES, 1 SUR 3. MAIS MES STATISTIQUES COTÉ SERVEUR MONTRENT UN NOMBRE IMPORTANT D'HOMMES* QUI ME DONNE À PENSER QUE LE MARCHÉ MASCULIN EST TOTALEMENT SOUS-SERVI” *(OR IT COULD BE MEN LOOKING ON BEHALF OF WOMEN)

86. REFRAME THE PROBLEM RECADRER LA PROBLÈME

87. POUR CHAQUE TRANCHE DE 100 $, METLIFE RÉINVESTIT 66 $ DANS DE NOUVEAUX PROJETS. FOR EVERY $100 THEY CUT, METLIFE REINVESTS $66 IN NEW PROJECTS.

88. EVERYTHING IS A STUDY FIRST TOUT COMMENCE COMME UNE ÉTUDE

89. ENCADRER LE PROJET COMME UN EXERCICE D'APPRENTISSAGE; LA CRÉATION DE PRODUITS EST PRESQU’UN ACCIDENT. http://www.flickr.com/photos/creative_tools/8544475139

90. USE DATA TO MAKE PEOPLE WANT DATA UTILISER LES DONNÉES POUR QUE LES GENS EN VEULENT

91. DÉMARRER VOS PROPRES PROJETS.

92. BUILD EXPERIMENTS INTO EVERYTHING http://www.flickr.com/photos/mpeterke/3546334679/ TOUT EST UN ESSAI

93. DE NOMBREUX MOYENS DE RECUEILLIR DES DONNÉES

94. GET ON THE SHELF

95. PLAN THE BABY STEPS CIBLEZ LES PREMIERS PAS

96. Netﬂix

97. Tesla http://www.hdwallpapersinn.com/wp-content/uploads/2012/12/600-tesla.jpg

98. La limite de 140 caractères de Twitter n'est pas arbitraire. Il est limité par SMS (160 caractères) et le nom d'utilisateur (20 caractères.) http://i.i.cbsi.com/cnwk.1d/i/tim/2011/11/18/ sms_screen_twitter_activity_stream_270x405.png

99. UNDERSTAND CONSTRAINTS COMPRENEZ LES CONTRAINTES

100. EMBRACE THE HARSH LIGHT OF DATA EMBRASSEZ L’ÉCLAIRAGE PUISSANT DES DONNÉES

101. Arbitron, données, et pourquoi la musique de radio est tellement moche.

102. 0 15 30 2007 2012 Nombres de fois qu’une chanson en “répétition fréquente” est joué chaque jour Chaque 4h Chaque 55m

103. USE PROXY DATA (JUST BE CAREFUL) UTILISEZ LES DONNÉES DES ALENTOURS (MAIS SOYEZ PRUDENTS)

104. D’après les données, Oakland Hills est un foyer de criminalité. http://www.ﬂickr.com/photos/oaklandlocal/6060462047

105. BE SUBVERSIVE SOYEZ SUBVERSIF

106. http://www.ﬂickr.com/photos/bootbearwdc/1243690099/

107. Conclusions.

108. “A subjective degree of belief should rationally change to account for evidence.” (AKA Bayes’ Theorem.) “Une croyance subjective doit être modiﬁée rationnellement pour tenir compte des nouvelles preuves.”

109. Pic by Twodolla on Flickr. http://www.ﬂickr.com/photos/twodolla/3168857844

110. ARCHIMEDES SE BAIGNAIT AUPARAVANT

111. Autrefois, le leader persuadait les autres d’agir quand les données manquaient. Once, a leader convinced others to act in the absence of information.

112. Aujourd’hui, le leader c’est celui qui sait quelles questions poser. Today, the leader is the person who knows what questions to ask.

113. Alistair Croll acroll@gmail.com @acroll Ben Yoskovitz byosko@gmail.com @byosko