Stats 101 : Significativité statistique et A/B testing

Anne-Claire Haury

Koudetat + !

21 Avril 2014

1

Objectifs

I Comprendre le principe des tests statistiques.I Repérer différents problèmes et choisir le test adéquat.I Etre en mesure de faire les calculs soi-même.

2

Exemple 1 : répondre à une question

I Sur 1000 personnes (500 hommes, 500 femmes), on observe queles femmes gagnent en moyenne 2000 euros et les hommes 2100.Peut-on en conclure que les femmes gagnent moins que leshommes?

I Même question si l’on a 200 femmes et 200 hommes.I Même question si l’on a 10 femmes et 10 hommes.

De quoi la réponse va-t-elle dépendre ?

3

Exemple 2 : comparer 2 valeursOn veut tester laquelle des deux pages a le plus de succès.

Source : experiencesolutions.co.uk

I Sur 1000 personnes l’ayant vu, 23 ont cliqué sur le bouton rouge.I Sur 500 personnes l’ayant vu, 17 ont cliqué sur le bouton bleu.I Peut-on affirmer que la page A a plus de succès?

4

Exemple 3 : poser diffrentes questions

I Peut-on affirmer qu’il y a plus d’hommes que de femmes eninformatique?

I Peut-on affirmer que l’informatique est le domaine où il y a la plusgrande différence entre le nombre d’hommes et le nombre defemmes?

I Peut-on affirmer qu’en informatique la différence entre le nombred’hommes et le nombre de femmes est plus grande qu’enmarketing?

5

La significativité

On se pose donc la question de la fiabilité d’un chiffre et de lavalidité des conclusions.

6

Définition

Un écart est statistiquement significatif à 5% si la probabilité qu’onl’oberve par hasard est inférieure à 5%.

Intuitivement, cela a un rapport avec:I La taille de l’échantillon.I L’hétérogénéité de l’échantillon.I La valeur de l’écart.

7

La logique des tests

1. On part d’une hypothèse.2. On regarde ce que le hasard donnerait.3. On compare nos valeurs à celles du hasard.

8

Variables aléatoires

Définition (pas très mathématique)Une variable aléatoire (v.a.) est une application définissant l’ensembledes résultats possibles pour une expérience donnée.

Exemples:I X représente la variable aléatoire liée à l’expérience "pile ou face":

X prend les valeurs 0 ou 1.I X représente la variable aléatoire liée à l’expérience "valeur du QI":

X prend ses valeurs entre 0 et 150.I X représente la variable aléatoire liée à l’expérience "poids": X

prend ses valeurs entre 0 et +∞.

9

Loi de probabilité

Définition (pas mathématique du tout!)Une loi (ou distribution) de probabilité représente le comportement d’unevariable aléatoire.Exemple:

I X représente la variable aléatoire liée à l’expérience "pile ou face":X prend ses valeurs entre 0 et 1.

I P(X = 0) = 0,5I P(X = 1) = 0,5I La somme des probabilités vaut 1.

10

Echantillon statistique

(X1, ...,Xn) est un échantillon si les variables aléatoires X1, ...,Xn sontindépendantes et suivent la même loi. On dit alors qu’elles sontindépendantes et identiquement distribuées (i.i.d.).

Exemples:I X1...Xn sont n lancers de pile ou face. Ils sont indépendants et ont

tous la même loi de probabilité.I X1...Xn représentent le QI de n personnes. Ces personnes sont

indépendantes et leur QI suit la même distribution (assimilée à uneloi normale).

11

Estimation de la moyenne

L’espérance de la loi suivie par un échantillon est estimée par lamoyenne empirique:

X =X1 + X2 + ...+ Xn

n=

∑ni=1 Xi

n

Exemple: X1...X1000 sont 1000 personens qui cliquent (X = 1) ou necliquent pas (X = 0) sur votre CTA : la moyenne de ces valeurs estimevotre taux de conversion.Si 45 personnes cliquent, le TC est estimé à 4,5%.Mais que vaut cette estimation ?

12

Estimation de la moyenne (2)

"Mon taux de conversion n’arrête pas de grimper, Olé!!!#KingOfTheWorld"

13

Estimation de la moyenne (2)

"Et m****... #PrendreUnCoursDeStats..."

13

Qualité de l’estimation

14

Nouvelle indication

Pour être sûr de l’estimation, il faut une variance la plus faible possible.

15

Estimation de la variance

Si (X1, ...,Xn) est un échantillon, on estime sa variance σ2 par lavariance empirique:

S2 =1

n − 1

n∑i=1

(Xi − X )2

La variance dépend de n : plus n est grand, plus la variance est petite.

L’écart-type est la racine carrée de la variance. Il représente l’écartmoyen à la moyenne.

16

En effet...

17

Pour être sûr(e) d’avoir comprisCalculer la moyenne, la variance et l’écart-type empiriques del’échantillon suivant:

1,1,0,0,0

moyenne :

x =15(1 + 1 + 0 + 0 + 0) = 0.4

variance :

s2 =14

((1− 0.4)2 + (1− 0.4)2 + (0− 0.4)2 + (0− 0.4)2 + (0− 0.4)2

)= 0.3

écart-type :

s =√

s2 = 0.55

18

Pour être sûr(e) d’avoir comprisCalculer la moyenne, la variance et l’écart-type empiriques del’échantillon suivant:

1,1,0,0,0

moyenne :

x =15(1 + 1 + 0 + 0 + 0) = 0.4

variance :

s2 =14

((1− 0.4)2 + (1− 0.4)2 + (0− 0.4)2 + (0− 0.4)2 + (0− 0.4)2

)= 0.3

écart-type :

s =√

s2 = 0.55

18

Pour être sûr(e) d’avoir comprisCalculer la moyenne, la variance et l’écart-type empiriques del’échantillon suivant:

1,1,0,0,0

moyenne :

x =15(1 + 1 + 0 + 0 + 0) = 0.4

variance :

s2 =14

((1− 0.4)2 + (1− 0.4)2 + (0− 0.4)2 + (0− 0.4)2 + (0− 0.4)2

)= 0.3

écart-type :

s =√

s2 = 0.55

18

Pour être sûr(e) d’avoir comprisCalculer la moyenne, la variance et l’écart-type empiriques del’échantillon suivant:

1,1,0,0,0

moyenne :

x =15(1 + 1 + 0 + 0 + 0) = 0.4

variance :

s2 =14

((1− 0.4)2 + (1− 0.4)2 + (0− 0.4)2 + (0− 0.4)2 + (0− 0.4)2

)= 0.3

écart-type :

s =√

s2 = 0.5518

La loi normale

source : matplotlib.org

Histoire de la loi normale :I Loi des erreurs (Gauss, 1777-1855)I L’homme moyen (Quételet, 1796-1874)I L’eugénisme (Galton, 1822-1911)

19

La loi normale (2)

source : wikipedia.com

Si X suit la loi normale N (µ, σ2)

I X peut prendre toutes les valeurs entre −∞ et +∞.I La courbe est symétrique.I L’espérance de X vaut µ : la courbe est centrée en µ.I La variance de X vaut σ2 (son écart-type vaut donc σ).

20

La loi normale (3)

source : statlect.com

Si X suit la loi normale standard N (0,1) :I Partie rouge : la probabilité que X soit compris entre −2 et 2.I On note: P(−2 < X < 2) (= 0.95 environ).I L’aire totale sous la courbe vaut 1, c’est-à-dire:

P(−∞ < X < +∞) = 1.

21

Théorème central limiteUn des plus grand résultats statistiques.Il dit que votre moyenne estimée se promène autour de votre vraiemoyenne selon une loi normale.

22

Théorème central limite

Un des plus grand résultats statistiques.Ce qui revient à dire que :

22

Théorème central limite

Si (X1, ...,Xn) est un échantillon suivant une loi de moyenne µ et devariance σ2, alors, si n est assez grand, leur moyenne empirique suitune loi normale N (µ, σ

2

n ) :

X →n→∞ N (µ,σ2

n)

ce qui équivaut à:

√n

X − µσ→n→∞ N (0,1)

Remarque: σ2

n représente la fiabilité de l’estimation. Plus n est grand,plus il est probable que la vraie moyenne µ soit bien approximée par X .

23

Cas d’une proportion

Dans le cas où on cherche à estimer une proportion (un taux deconversion par exemple) qu’on appelle p, on a:

√n

X − p√p(1− p)

→n→∞ N (0,1)

24

Intervalle de confianceDans le cas d’un échantillon (X1...Xn) de moyenne p, la moyennethéorique se trouve avec une certitude de 1− α% dans l’intervalle:

[x − tα

√p(1− p)√

n, x + tα

√p(1− p)√

n]

qui correspond à :

P(−tα <√

nX − p

p(1− p)< tα) = 1− α%

Source : jussieu.fr

I tα : la valeur après laquellel’aire vaut α/2%.

I −tα : la valeur avantlaquelle l’aire vaut α/2%.

25

Cas souvent rencontréDans le cas d’un échantillon (X1...Xn) de moyenne p, la moyennethéorique se trouve avec une certitude de 95% dans l’intervalle:

[x − 1.96

√p(1− p)

n, x + 1.96

√p(1− p)

n]

Comme on ne connaît pas p, on a deux choix:I se mettre dans le ’worst-case scenario’, à savoir p = 0.5 :

[x − 1.96

√0.25

n, x + 1.96

√0.25

n]

I remplacer p par son estimateur x si on pense qu’il n’est pas tropmauvais:

[x − 1.96

√x(1− x)

n, x + 1.96

√x(1− x)

n]

26

Retour à l’exemple

I Avec 500 points, x = 0.062 et la vraie proportion se trouve doncavec 95% de proba entre 0.018 et 0.105. (super info :))

I Avec 2000 points, x = 0.059 et la vraie proportion se trouve doncavec 95% de proba entre 0.037 et 0.08. (déjà mieux!)

I Avec 10000 points, x = 0.0049 et la vraie proportion se trouve doncavec 95% de proba entre 0.039 et 0.058. (encore plus précis)

27

Les tests statistiquesPuis-je affirmer que le taux de conversion p d’un échantillon est différentde la valeur p0 avec seulement 5% de chances de me tromper?

I Je sais que la moyenne se trouve avec 95% de certitude (donc 5%de risque) entre :

[x − 1.96

√0.25

n, x + 1.96

√0.25

n]

I C’est-à-dire que:

P(−1.96 <√

nX − p√

0.25< 1.96) = 95%

I Je calcule t =√

n X−p0√0.25

car je suppose que p0 est la bonneproportion.

I Si t > 1.96 ou t < −1.96 : je suis dans l’erreur, je rejette l’hypothèseet conclue qu’avec 95% de certitude, p 6= p0.

28

Les tests statistiques (2)

Pour être plus précis:

Si j’affirme que le taux de conversion p d’un échantillon vaut la valeur p0,avec quelle probabilité ai-je raison?

I Je calcule t =√

n X−p0√0.25

I Si t < 0, je calcule : 2P(t < 1√n

X−p√0.25

)

I Si t > 0, je calcule 2P( 1√n

X−p√0.25

< t)

I La valeur obtenue s’apelle p-value. Plus elle est faible, plus je suissûre que l’hypothèse est fausse.

29

A/B testing : même principe !

Puis-je affirmer que deux proportions p1 et p2 sont différentes avecseulement 5% de chances de me tromper?

Même principe. Cette fois, il faut calculer:I x1,n1: moyenne et taille de l’échantillon 1.I x2,n2: moyenne et taille de l’échantillon 2.I la proportion moyenne pm = x1n1+x2n2

n1+n2.

I alors, on calcule t = x1−x2√pm(1−pm)

n1+ pm(1−pm)

n2

I on compare t à −1.96 et 1.96 comme dans l’autre cas.I si t > 1.96 ou t < −1.96 on conclue que les deux proportions sont

différentes.I calcul de la p-value idem que précédemment.

30

Concrètement

Page A : 23 clics sur 1000 visites.Page B : 17 clics sur 500 visites.

I x1 = 0.023, n1 = 1000I x1 = 0.034, n1 = 500I pm = 0.023×1000−0.034×500

1000+500 = 0.026.

I t = 0.034−0.023√0.025/1000+0.025/500

= 1.27

I 1.27 < 1.96 : les deux proportions ne sont pas significativementdifférentes !

31

Concrètement

Page A : 23 clics sur 1000 visites.Page B : 17 clics sur 500 visites.

I x1 = 0.023, n1 = 1000I x1 = 0.034, n1 = 500I pm = 0.023×1000−0.034×500

1000+500 = 0.026.

I t = 0.034−0.023√0.025/1000+0.025/500

= 1.27

I 1.27 < 1.96 : les deux proportions ne sont pas significativementdifférentes !

31

Que tester ?

Règle d’or : ne pas tester tout à la fois. Essayer de garder la plupart deséléments égaux par ailleurs.Exemples de choses à tester :

I CTAI HeadlineI ImagesI Texte

Etre sûr avant de lancer le A/B testing qu’on saura commentinterpréter les résultats.

32

Peut-on tester 3 pages ou plus ?

Oui ! Si c’est bien nécessaire. Dans ce cas, le plus simple est decommencer par en tester deux et de tester la troisième (puis laquatrième, etc.) contre le vainqueur.

33

Always be closing

N’importe quel logiciel vous donnera un résultat. Mais il ne vous dira passi votre démarche est correcte ou si votre théorie a une sens.Donc:

I Savoir ce qu’on cherche à obtenir comme résultat(s)I Avoir une idée des calculs que fait la machine ! (Check)I Dans le doute, demander l’avis d’un statisticien (ils sont presque

tous normaux et sympas)

34