Embed Size (px)
DESCRIPTION
Présentation fait au Web à Québec. Comment utiliser les données met metriques pour croitre votre startup plus rapidement, avec des leçons pour entreprises de toutes grandeurs. Version franglais; le plupart des slides sont traduis. Veuillez excuser les erreurs; le français n'est pas ma langue maternelle. Closing keynote for the Web A Quebec conference in Quebec City. Looks at how to use data to build a better business faster, for organizations of all sizes.
Citation preview
Lean AnalyticsUtiliser les données pour créer un meilleur startup
plus rapidement.
Web à QuébecMars 2014
@acroll
Bonjour/hi!
0 5 10 15
1
4
0
1
0
1
14
4
1
13
7
0
0
2Petite entreprise en démarrage sans financementSmall, unfunded startup
Compagnie en premier développement ("early-stage") avec capital d'amorçageEarly-stage company with seed funding
Compagnie en croissance, avec financement, sans revenusrowing, funded, pre-revenue company
Entreprise en démarrage avec revenus et clientsCompagnie privée, mais pas en démarrage
Compagnie publiquePublic company
Éducation (peu importe le niveau)Education (school, university)
Gouvernement et agences (Ministères et organismes)Organisation à but non lucratif ou non gouvernementale
Nonprofit or NGO
Journaliste/média d'information/blogueurReporter, news media, blogger
Analyste ou chercheurAnalyst or researcher
Investisseur, capital de risque ou financement providentiel (Angel funding)Investor, VC, or angel
ÉtudiantStudent
AutreOther
Ne vendez pas ce que vous faites.Faites ce que vous pouvez vendre.
Kevin Costner est un entrepreneur minable.
Au cœur duLean est l’itération.
On raconte tousde beaux mensonges.
La plupart des startup ne savent pas ce qu'ils vont être quand ils grandissent.
Hotmailwas a database company
Flickrwas going to be an MMO
Twitterwas a podcasting company
Autodeskmade desktop automation
Paypalfirst built for Palmpilots
Freshbookswas invoicing for a web design firm
Wikipediawas to be written by experts only
Mitelwas a lawnmower company
Son propre idée est toujours la meilleure—oui?
On adore créer des choses
C'est là que tout s'écroule.
Pas de données, pas d’apprentissage.
L’analytique à la rescousse!
Analytics is the measurement of movement towards your business
goals.
L’analytique, c’est la mesure du mouvement vers vos objectifs.
In a startup, the purpose of analytics is to iterate to product/market fit before the
money runs out.
Dans un startup, le but de l’analyse est d'itérer au produit / marché
soutenable pendant qu’il vous reste de l’argent.
J’ai deux enfants.Au moins une d’eux est une fille.
Quelle est la chanceque l’autre soit un garçon?
GG GF
FG FF
2 de 3 (66%) sont des garçons.
FG FF GF
Quelques leçons fondamentales.
Un bon indicateur est...
Comprenable
If you’re busy explaining the data, you won’t be busy acting on it.
Comparable
Comparison is context.
Un taux ou une fréquence
The only way to measure change and roll up the tension between two metrics (MPH)
Change votre comportement
If it won’t change your behavior it is a bad metric.
La règle la plus simple.
mauvaise métrique.
Si elle ne change pas votre comportement, c’est une
h"p://www.flickr.com/photos/circasassy/7858155676/
Qualitatif
Unstructured, anecdotal, revealing, hard to aggregate, often too positive & reassuring.
Chaud et imprécis.
Quantitatif
Numbers and stats. Hard facts, less insight, easier to analyze; often sour and disappointing.
Froid et dur.
Explorateur
Speculative. Tries to find unexpected or interesting insights. Source of unfair advantages.
Capitvant.
Déclarante
Predictable. Keeps you abreast of the normal, day-to-day operations. Can be managed by exception.
Nécessaire.
MaiAvrilMarFev
Trancher les données
Jan
0
5,000
Usag
ers a
ctifs
Cohorte:Comparison of similar groups along a timeline.(this is the April cohort)
Test A/BChanging one thing (i.e. color) and measuring the result (i.e. revenue.)
Analyse multivariéeChanging several things at once to see which correlates with a result.
☀☁☀☁
Segment:Cross-sectional
comparison of all people divided by
some attribute (age, gender, etc.)
☀
☁
Lequel de ces deux sociétés a plus de succes?
Janvier Février Mars Avril Mai
Rev/usager $5.00 $4.50 $4.33 $4.25 $4.50Cette entreprise agrandit-il?
Cohort 1 2 3 4 5
Janvier
Février
Mars
Avril
Mai
$5 $3 $2 $1 $0.5
$6 $4 $2 $1
$7 $6 $5
$8 $7
$9
Et celcui-çi?
Cohorte 1 2 3 4 5
Janvier
Février
Mars
Avril
Mai
Moyens
$5 $3 $2 $1 $0.5
$6 $4 $2 $1
$7 $6 $5
$8 $7
$9
$7 $5 $3 $1 $0.5
Les mêmes données vus par
cohorte
De retard
Historical. Shows you how you’re doing; reports the news. Example: sales.
Explique le passé.
D’en tête
Forward-looking. Number today that predicts tomorrow; reports the news. Example: pipeline.
Predit la futur.
A Facebook user reaching 7 friends within 10 days of signing up (Chamath Palihapitiya)
If someone comes back to Zynga a day after signing up for a game, they’ll probably become an engaged, paying user (Nabeel Hyatt)
A Dropbox user who puts at least one file in one folder on one device (ChenLi Wang)
Twitter user following a certain number of people, and a certain percentage of those people following the user back (Josh Elman)
A LinkedIn user getting to X connections in Y days (Elliot Schmukler)
Quelques examples
(From the 2012 Growth Hacking conference. http://growthhackersconference.com/)
Donc, il fautparler de corrélation.
1
10
100
1000
10000
Ice cream consumption DrowningsJan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec
Corrélée
Two variables that are related (but may be dependent on something else.)
La crème glacéeet la noyade.
Causée
An independent variable that directly impacts a dependent one.
L’étéet la noyade.
Un métrique d’en tête, causale, est une surpuissance.
h"p://www.flickr.com/photos/bloke_with_camera/401812833/sizes/o/in/photostream/
Hacker la croissance, démystifier
Trouvez la correlation
Verifiez la causalité
Optimiser l’élement causal
Choisissez la métrique à changer
Est-ce qu’une action sociale (Like, RT, upvote) predis un don?
http
://bl
og.ju
stgi
ving.
com
/nine
-reas
ons-
why
-soc
ial-a
nd-m
obile
-are
-the-
futu
re-o
f-fun
drais
ing/
L’usage mobile le predit-il?ht
tp://
blog
.just
givin
g.co
m/n
ine-re
ason
s-w
hy-s
ocial
-and
-mob
ile-a
re-th
e-fu
ture
-of-f
undr
aising
/
Pourquoi le spam Nigérianest si mal écrit?
Aunshul Rege of Rutgers University, USA in 2009
Experienced scammers expect a “strike rate” of 1 or 2 replies per 1,000 messages emailed; they expect to land 2 or 3 “Mugu” (fools) each week.One scammer boasted “When you get a reply it’s 70% sure you’ll get the money”“By sending an email that repels all but the most gullible,” says [Microsoft Researcher Corman] Herley, “the scammer gets the most promising marks to self-select, and tilts the true to false positive ratio in his favor.”
1000 courriels
1-2 réponses
1 imbécile et son argent, bientôt séparés
Mal-écrit (0.1% conversion)
Usagers crédules (70% conversion)
1000 courriels
100 réponses
1 imbécile et son argent, bientôt séparés
Bien écrit (10% conversion)
Usagers incrédules (.07% conversion)
Ce serait terriblement inefficace puisque ça
prendrait des humains.
Le mot “Nigeria” est la meilleure façon d'identifier des usagers crédules et
prometteuses.
Les spammeurs nigérians comprennent vraiment leur marché.
Ils se méfient des metriques de vanité.
Le système Lean Analytics.
Les trois moteurs de croissanced’Eric Ries
Viralité
Que les gens invittent leurs amis.
Combien ils disent, à quelle vitesse ils leur
disent.
Prix
Que les visiteurs dépensent de
l’argent.
Les clients valent plus qu’ils coûtent.
Fidélisation
Que les gens reviennent.
Approche
Obtenir des clients plus vite
que vous les perdez.
Math
Les mesures de pirates de Dave
AcquisitionHow do your users become aware of you?
SEO, SEM, widgets, email, PR, campaigns, blogs ...
ActivationDo drive-by visitors subscribe, use, etc?
Features, design, tone, compensation, affirmation ...
RétentionDoes a one-time user become engaged?
Notifications, alerts, reminders, emails, updates...
RevenuDo you make money from user activity?
Transactions, clicks, subscriptions, DLC, analytics...
RenvoiDo users promote your product?
Email, widgets, campaigns, likes, RTs, affiliates...
Étape
EMPATHIE J'ai trouvé un besoin réel et non-comblé d’un marché atteignable.
FIDÉLITÉ J'ai compris comment résoudre le problème d'une manière qu’ils continueront d’utiliser et de payer.
VIRALITÉ Je peut les convaincre de promouvoir mon produit ou service a leurs amis.
REVENU La croissance de revenu me permet d’agrandir organiquement et artificiellement.
ÉCHELLE J'ai trouvé un modèle d’entreprise durable avec de bonnes marges dans un écosystème sain.
Barrière à franchirLe
s cin
q ét
apes
Six modèles de business
E-commerce SaaS MediasLogicielmobile
Contenu généré par
usagersMarché biface
Votre entreprise
Customer Acquisition Cost
paid direct search wom inherent virality
VISITOR
Freemium/trial offer
Enrollment
User
Disengaged User
Cancel
Freemium churn
Engaged User
Free user disengagement
Reactivate
Cancel
Trial abandonment rate
Invite Others
Paying Customer
Reactivationrate
Paid conversion
FORMER USERS
User Lifetime Value
Reactivate
FORMER CUSTOMERS
Customer Lifetime Value
Viral coefficientViral rate
Resolution
Support data
Account Cancelled Billing Info Exp.
Paid Churn Rate
Tiering
Capacity Limit
Upselling rate Upselling
Disengaged DissatisfiedTrial Over
Modèle + Étape = La métrique dominante
Métriquedominante
Votre modèle
E-Com SaaS Mobile Biface Media CGUEmpathie
Fidélité
Viralité
Revenu
Échelle
Votre
éta
pe
Vraiment? Juste une?
Oui, une.
Dans un startup,c’est difficile de focuser.
Avoir une seule métrique aborde ce problème.
www.theeastsiderla.com
Les métriques,c’est des “squeeze toys.”
http://www.flickr.com/photos/connortarter/4791605202/
Empathy
Stickiness
Virality
Revenue
Scale
E-commerce SaaS MediaMobile
appUser-gencontent
2-sidedmarket
Interviews; qualitative results; quantitative scoring; surveys
Loyalty, conversion
CAC, shares, reactivation
Transaction, CLV
Affiliates, white-label
Engagement, churn
Inherent virality, CAC
Upselling, CAC, CLV
API, magic #, mktplace
Content, spam
Invites, sharing
Ads, donations
Analytics, user data
Inventory, listings
SEM, sharing
Transactions, commission
Other verticals
(Money from transactions)
Downloads, churn, virality
WoM, app ratings, CAC
CLV, ARPDAU
Spinoffs, publishers
(Money from active users)
Traffic, visits, returns
Content virality, SEM
CPE, affiliate %, eyeballs
Syndication, licenses
(Money from ad clicks)
Mieux: bit.ly/BigLeanTable
Dessiner une ligne à franchir.
Une entreprise perd le quart de ses clients chaque année.
Est-ce bon, ou mauvais?
Ne sachant pas le “normal”vous fait faire des conneries.
Ligne de base: 5-7% croissance/semaine
“A good growth rate during YC is 5-7% a week,” he says. “If you can hit 10% a week you're doing exceptionally well. If you can only manage 1%, it's a sign you haven't yet figured out what you're doing.” At revenue stage, measure growth in revenue. Before that, measure growth in active users.
Paul Graham, Y Combinator
• Are there enough people who really care enough to sustain a 5% growth rate?
• Don’t strive for a 5% growth at the expense of really understanding your customers and building a meaningful solution
• Once you’re a pre-revenue startup at or near product/market fit, you should have 5% growth of active users each week
• Once you’re generating revenues, they should grow at 5% a week
Ligne de base: 10% visiteurs engagées/jour
Fred Wilson’s social ratios
30% d’usagers par mois l’utilisent
10% d’usagers par jour l’utilisent
1% d’usagers l’utilisent en même temps
Ligne de base: 2-5% désabonnement par mois• The best SaaS get 1.5% - 3% a month. They have multiple Ph.D’s
on the job.• Get below a 5% monthly churn rate before you know you’ve got a
business that’s ready to grow (Mark MacLeod) and around 2% before you really step on the gas (David Skok)
• Last-ditch appeals and reactivation can have a big impact. Facebook’s “don’t leave” reduces attrition by 7%.
Ligne de base:: Coût d’acquisition < 1/3 le valeur de l’usager• CLV is wrong. CAC Is probably wrong, too.• Time kills all plans: It’ll take a long time to find
out whether your churn and revenue projections are right
• Cashflow: You’re basically “loaning” the customer money between acquisition and CLV.
• It keeps you honest: Limiting yourself to a CAC of only a third of your CLV will forces you to verify costs sooner.
Vie de 20 mois$30/mois par
usagerL’usager vaut $600
$200 coûtd’acquisition
Dépense de 1/3
Ligne de base: 35% d’usagers mobiles engagées par la 90e journéeJour 1
100%
Jour 30
54%
Jour 60
43%
Jour 90
35%
October, 2012 study of 200,000 apps by Flurry
Smartphone TabletUsages par semaine 12.9 fois 9.5 fois
Durée d’usage 4.1 minutes 8.2 minutes
In recent years, third-month engagement has increased from 25% to 35%, but frequency of use has dropped from 6.7 uses a week to 3.7 a week.
Ça varie beaucoup.
Le cycle Lean Analytics
Changer la lignePivoter ou
abandonner
Essayer de nouveau
Grand succes!
Avons-nous franchis la ligne?
Regarder les résultats
Faire des changements en
production
Concevoir un test
Creer une hypothèse
Avec des données: trouver un point
commun
Sans données: faire une
conjecture
Trouver une amélioration
possible
Etablir la ligne de base
Choisir une métrique
Les hôtes Airbnb obtiennent-ils plus de locations si leur proprietées présentent des photos professionnelles?
HypothèseLa photographie professionnelle aide AirBnB
Produit minimum (MVP)20 photographes se faisant passer pour les employés
Mesurer les résultatsComparez les annonces photographiés professionellement aux autres
Decider d’agirLancer la photographie professionelle pour tous les hôtes
5,000 proprietés/mois en février 2012
HypothèseLa photographie professionnelle aide AirBnB
Vraiment?
Changer la lignePivoter ou
abandonner
Essayer de nouveau
Grand succes!
Avons-nous franchis la ligne?
Regarder les résultats
Faites des changements en
production
Concevoir un test
Creer une hypothèse
Avec des données: trouver un point
commun
Sans données: faire une
conjecture
Trouver une amélioration
possible
Etablir la ligne de base
Choisir une métrique
“Hé, les maisons qui se louent bien ont de
belles photos”
C'est peut-être l'appareil photo.
"Ordinateur: Qu'est-ce que
toutes les maisons très loués ont en
commun?"
L'appareil photo.
Avec des données: trouver un point commun
Sans données: faire une conjecture
Circle of Moms: Engagement insuffisant• Too few people were
actually using the product
• Less than 20% of any circles had any activity after their initial creation
• A few million monthly uniques from 10M registered users, but no sustained traction
• They found moms were far more engaged• Their messages to one another were on average 50% longer• They were 115% more likely to attach a picture to a post they wrote• They were 110% more likely to engage in a threaded (i.e. deep)
conversation• Circle owners’ friends were 50% more likely to engage with the circle• They were 75% more likely to click on Facebook notifications• They were 180% more likely to click on Facebook news feed items• They were 60% more likely to accept invitations to the app
• Pivoted to the new market, including a name change• By late 2009, 4.5M users and strong engagement• Sold to Sugar, inc. in early 2012
Landing page design A/B testing
Cohort analysis General analytics
URL shortening
Funnel analytics
Influencer Marketing
Publisher analytics
SaaS analytics
Gaming analytics
User interaction Customer satisfaction KPI dashboardsUser segmentation
User analytics Spying on users
C’est plus difficilequand vous êtes grand.
Comme startup, votre objectif est de découvrir un modèle d'affaires
durable et reproductible.
Quand vous êtes une grande organisation, votre but est de la
perpétuer.
VOUS AVEZ TOUT À PERDRE
De plus, c'est pas populaire.
VOUS ÊTES ICI
VOUS ÊTES ICI
MAXIMUMLOCALEOPTIMISATION
DES MESURES ACTUELS
VOUS ÊTES ICI
MAXIMUMGLOBALE
L'INNOVATIONAVEC DE
NOUVELLES RÈGLES
VOUS ÊTES ICI
PERSONNE N'AIMEDESCENDRE
ALORS, COMMENT
GAGNER FIXER GOUVERNER PROSPÉRER INNOVER? AMÉLIORER PERTURBER CROÎTRE SURVIVRE
http://www.flickr.com/photos/puuikibeach/4789015423 http://www.flickr.com/photos/elcapitanbsc/3936927326
Coût des essais: fuyant Coût d’attention: propulsant
QUE FONT LES GRANDES ORGANISATIONS POUR BIEN
INNOVER?
GET UNCOMFORTABLY CLOSE
RAPPROCHEZ-VOUS INCONFORTABLEMENT
“DES ÉTUDES DES HOMMES MONTRENT QUE 1 SUR 8 ONT UN PROBLÈME
D'INCONTINENCE; LES FEMMES, 1 SUR 3.MAIS MES STATISTIQUES COTÉ SERVEUR
MONTRENT UN NOMBRE IMPORTANT D'HOMMES* QUI ME DONNE À PENSER
QUE LE MARCHÉ MASCULIN EST TOTALEMENT SOUS-SERVI”
*(OR IT COULD BE MEN LOOKING ON BEHALF OF WOMEN)
REFRAME THE PROBLEM
RECADRER LA PROBLÈME
POUR CHAQUE TRANCHE DE 100 $, METLIFE RÉINVESTIT 66 $ DANS DE NOUVEAUX PROJETS.
FOR EVERY $100 THEY CUT, METLIFE REINVESTS $66 IN NEW PROJECTS.
EVERYTHING IS A STUDY FIRST
TOUT COMMENCE COMME UNE ÉTUDE
ENCADRER LE PROJET COMME UN EXERCICE
D'APPRENTISSAGE; LA CRÉATION DE
PRODUITS EST PRESQU’UN
ACCIDENT.
http://www.flickr.com/photos/creative_tools/8544475139
USE DATA TO MAKE PEOPLE WANT DATA
UTILISER LES DONNÉES POUR QUE LES GENS EN VEULENT
DÉMARRER VOS PROPRES
PROJETS.
BUILD EXPERIMENTS INTO EVERYTHING
http://www.flickr.com/photos/mpeterke/3546334679/
TOUT EST UN ESSAI
DE NOMBREUX MOYENS DE RECUEILLIR
DES DONNÉES
GET ON THE SHELF
PLAN THE BABY STEPS
CIBLEZ LES PREMIERS PAS
Netflix
Tesla
http://www.hdwallpapersinn.com/wp-content/uploads/2012/12/600-tesla.jpg
La limite de 140 caractères de Twitter n'est pas arbitraire.Il est limité par SMS (160
caractères) et le nom d'utilisateur (20
caractères.)http://i.i.cbsi.com/cnwk.1d/i/tim/2011/11/18/
sms_screen_twitter_activity_stream_270x405.png
UNDERSTAND CONSTRAINTS
COMPRENEZ LES CONTRAINTES
EMBRACE THE HARSH LIGHT OF DATA
EMBRASSEZ L’ÉCLAIRAGEPUISSANT DES DONNÉES
Arbitron, données, et pourquoi la musique de radio est tellement moche.
0
15
30
2007 2012
Nombres de fois qu’une chanson en “répétition fréquente” est joué chaque jour
Chaque 4h
Chaque 55m
USE PROXY DATA (JUST BE CAREFUL)
UTILISEZ LES DONNÉES DES ALENTOURS(MAIS SOYEZ PRUDENTS)
D’après les données, Oakland Hills est un foyer de criminalité.
http://www.flickr.com/photos/oaklandlocal/6060462047
BE SUBVERSIVE
SOYEZ SUBVERSIF
http://www.flickr.com/photos/bootbearwdc/1243690099/
Conclusions.
“A subjective degree of belief should rationally change to account for evidence.”
(AKA Bayes’ Theorem.)
“Une croyance subjective doit être modifiée rationnellement pour tenir compte des
nouvelles preuves.”
Pic by Twodolla on Flickr. http://www.flickr.com/photos/twodolla/3168857844
ARCHIMEDES SE BAIGNAIT AUPARAVANT
Autrefois, le leader persuadait les autres d’agir quand les données manquaient.
Once, a leader convinced others to act in the absence of information.
Aujourd’hui, le leader c’est celui qui sait quelles questions poser.
Today, the leader is the person who knows what questions to ask.
