Première étude sur le testing en France

16/09/2014 1Une enquête réalisée par pour en partenariat avec

1ère enquête sur les pratiques de l’A/B testing en France

Romain Créteur, Manager Analytics & Testing

[email protected]

16/09/2014

Une enquête réalisée par pour en partenariat avec

mailto:[email protected]


Méthodologie de l’enquête

L’objectif de cette enquête est de dresser un panorama de l’utilisation de l’A/B

Testing en France, tant dans la diffusion de son utilisation que dans ses modes

d’exploitation et ses process d’organisation internes

176 réponses ont été collectées auprès de directeurs, managers et opérationnels de

sites de taille et de nature variées

– Les répondants ont été interrogés par web et téléphone entre le 2 mai et le 15 juin

2014

Cette étude a été réalisée par Converteo pour le compte de la société Kameleoon en

partenariat avec Frenchweb

.


L’A/B testing, bien que très positivement perçu, tarde à être utilisé de manière régulière à cause de la complexité de sa mise en œuvre technique et organisationnelle .

Malgré une forte reconnaissance, l’A/B testing est une pratique encore peu répandue :

lorsqu’elle est utilisée, elle l’est encore de manière trop superficielle et non systématique

un manque d’information et un manque de ressources internes expliquent que 54% des

personnes interrogées n’utilisent toujours pas l’A/B testing aujourd’hui

Les opinions au sujet de l’A/B testing varient selon le trafic du site, le secteur d’activité et la

fonction de la personne interrogée, mais c’est globalement une pratique considérée comme utile

voire indispensable

L’A/B testing convainc largement ses utilisateurs qui la désigne le plus souvent comme leur

pratique favorite pour l’optimisation de la conversion

La gestion des process associés à l’utilisation de l’A/B testing reste complexe :

L’A/B testing va au delà du seul choix d’un bon outil mais nécessite l’adaptation des processus

de travail et la mise en place d’équipes projets transverses (Marketing + IT)

Les équipes Marketing sont systématiquement au cœur des process liés à la mise en place

d’un projet d’A/B testing mais les équipes IT sont trop souvent mises de côté

L’A/B testing est une pratique considérée comme simple mais avec des étapes critiques qu’il

faut bien maitriser

1

2

3

4


Etat des lieux de l’A/B Testing en France


L’A/B Testing est une pratique encore assez mal diffusée : seuls 23% des sites e-commerce l’utilisent de manière régulière ou continue

Une proportion encore limitée de sites utilisent l’A/B Testing comme moyen d’optimisation de la

conversion

Parmi ceux qui l’utilisent, 50% seulement y ont recours de manière régulière ou continue

Le nombre de tests réalisés par an est supérieur à 20 dans moins de 30% des cas

.

21%

24%

26%

29%

Combien de tests réalisez-vous par an ?

Inférieur à 5

Entre 5 et 10

Entre 10 et 20

Supérieur à 20

54%

23%

23%

Faites-vous de l'A/B testing ?

Non

Oui, demanièreponctuelle

Oui, demanièrerégulière /continue


Pourtant, 94% des personnes interrogées considèrent l’A/B Testing comme une pratique utile voire indispensable

Les utilisateurs de l’A/B testing semblent satisfaits des résultats obtenus: 99% considèrent cette

pratique comme utile voire indispensable (pour 53% d’entre eux)

Auprès des personnes n’utilisant pas l’A/B testing, cette pratique a néanmoins une image plutôt

positive: 46% d’entre elles la considèrent utile voire indispensable (pour 7% d’entre eux)

.

1%

5%

56%

38%

Diriez-vous que l'A/B Testing est:

Inutile

Peu utile

Utile

Indispensable

46%

53%

1%

Pour les personnes utilisant l'A/B Testing:

Utile

Indispensable

Non renseigné

2% 8%

39%

7%

44%

Pour les personnes n'utilisant pasl'A/B Testing

Inutile

Peu utile

Utile

Indispensable

Non renseigné


54% des personnes interrogées ne font pas d’A/B testing, principalement à cause d’un manque d’information et de temps.

Le manque de ressources (temps, information, compétences) est le principal frein au

développement de l'A/B testing dans les entreprises

Plus de 50% des répondants n’ayant pas encore démarré de projet de testing prévoit de le faire,

pour la majorité d’entre eux sous moins de 12 mois

32%

9%

42%

20%

13%

Je ne sais pasce qu'est l'A/B

testing

Je ne pensepas que l'A/Btesting ait un

intérêt

Manque detemps

Manque decompétences

internes

Absence desollicitation / de

société pourm'accompagner

Quelles sont les raisons pour lesquelles vous n'avez pas démarré de projet ?

27%

21%20%

15%

17%

A quelle échéance est prévu votre projet ?

Pas de projet

Moins de 6 mois

Entre 6 mois et unan

Plus d'un an

Non renseigné

Remarque: Plusieurs réponses étaient possibles à cette question.

Manque d’intérêt:

41 %

Manque de ressources:

75 %


Segmentation selon la nature des acteurs et des personnes interrogées


L’utilisation de l’A/B testing est d’autant plus fréquente qu’elle concerne des sites avec des volumes importants de visites uniques.

33%

73%

80%

67%

27%

20%

< 1 million Entre 1 ou 5 millions > 5 millions


Oui Non

A mesure que le site gagne en nombre de visiteurs, l’utilisation de l’A/B testing s’impose

comme une norme d’optimisation de la conversion.

visiteurs uniques par mois

et


La nature de Pure player ou l’objectif transactionnel d’un site ne sont pas différenciant vis-à-vis de l’utilisation de l’A/B testing

Il y a très peu de différence entre pure players et non pure players relativement à l’utilisation de

l’A/B testing ; il n’y a pas un type d’acteurs particulièrement plus mature qu’un autre

Contrairement aux idées reçues, ce ne sont pas les sites de vente en ligne qui sont les plus

matures sur l’A/B testing mais les sites de génération de leads

NB : Les sites de vente sont toutefois plus nombreux en valeur absolue à avoir répondu à l’enquête

.

Faites-vous de l’A/B testing ?

47%44%

Pure player Non Pure player

Pure player ou Non Pure player

Pourcentage de "oui"

45%

38%

44%

73%

Vente Corporate Media Lead Generation

Objectif du site

Pourcentage de "oui"


En revanche, des différences de maturité sont repérables selon les secteurs d’activité.

Les secteurs « Petites annonces, location », « Banque, Assurance, Conseil » et « Retail,

Distribution » enregistrent de bonnes performances

En revanche, le secteur « Construction, Bricolage, Jardinage » est en retard; de même pour « Mode,

beauté, santé » alors même que l’optimisation de la conversion sur site représente un enjeu

important

70%

59%

48% 47%

30% 29%

44%

Petites annonceslocation

Banque, assurance,conseil

Retail, Distribution Internet etTélécommunications

Mode, beauté, santé Construction,Bricolage, Jardinage

Autres



Les personnes issues des fonctions marketing sont globalement plus favorables à l’A/B testing que celles issues des fonctions techniques.

Dans les deux cas, il y a un socle important de personnes qui considèrent l’A/B testing comme

indispensable (50%)

Pourtant, 97% des responsable Marketing pensent que l’A/B testing est utile voire indispensable

contre "seulement" 75% des responsables IT

3%

47%50%

Marketing

25%

25%

50%

Technique

Inutile

Peu utile

Utile

Indispensable

Pensez-vous que l’A/B testing est une pratique…


Les directeurs et les managers sont plus sceptiques sur l’utilité de l’A/B testing que les opérationnels.

Les directeurs et les managers sont tous convaincus de l'utilité de l'A/B testing, alors que les

opérationnels donnent des réponses plus diverses

Mais plus on progresse dans la hiérarchie, plus l’utilité de l’A/B testing est discutée: managers et

directeurs le voient davantage comme un outil utile voire peu utile et moins nombreux sont ceux qui

le considèrent indispensable ; il reste donc de la pédagogie à faire pour démontrer que l’A/B testing

est essentiel

0% 0%

10%

19%

0% 0%

56%60%

30%

25%

40%

60%

Directeurs Managers Opérationnels

Pensez-vous que l’A/B testing est une pratique…

Inutile Peu utile Utile Indispensable


Les modes d’utilisation de l’A/B Testing


L’utilisation de l’A/B testing est encore relativement superficielle et non systématique

Beaucoup d'entreprises n'ont pas encore totalement intégré l'A/B testing dans leurs processus

de travail :

– Moins de 20% testent systématiquement les évolutions de leurs sites

– A peine 50% ont déjà réalisé des tests qu’elles qualifient de « avancés »

.

Oui19%

Non81%

Testez-vous systématiquement les modifications de votre site ?

0%

10%

20%

30%

40%

50%

60%

70%

Des tests simples Des tests avancés Des tests avec redirectiond'URL

Quel types de tests réalisez-vous ?



En revanche, il est dans 57% des cas utilisé pour créer des expériences personnalisées .

Oui57%

Non43%

Utilisez-vous l'A/B testing pour créer des expériences personnalisées ?

Plus de la moitié des répondants ont déjà utilisé leur outil d’A/B testing pour créer des

expériences personnalisées

Cela montre très clairement la convergence des deux problématiques qui permet d’anticiper

une intégration de plus en plus forte des outils d’A/B testing et de personnalisation dans le

quotidien des équipes web


L’A/B testing est devenue la pratique favorite de ses utilisateurs pour l’optimisation de la conversion.

L’A/B testing occupe la

première place parmi

les pratiques favorites

d’optimisation de la

conversion chez ses

utilisateurs

Il est souvent combiné

avec d’autres outils et

fait partie d’un

écosystème

L’utilisation de l’A/B

testing révèle un

meilleur niveau de

maturité sur les

techniques

d'optimisation en

général : sur tous les

items, les utilisateurs

d'A/B testing sont en

avance

38%

54%

63%

37%

20%

2%

UX / Ergonomie Analytique A/B Testing Recommandations/ Personnalisation

Search Autre

Pour les utilisateurs d'A/B testing :

14%

24%

0%

7%

18%

4%

33%

UX / Ergonomie Analytique A/B Testing Recommandations /personnalisation

Search Autre Non renseigné

Pour les non-utilisateurs d'A/B testing :



La gestion des process associés à l’utilisation de l’A/B Testing


Internalisation/ ExternalisationLes outils commercialisés sont les plus fréquents parmi les utilisateurs d’A/B testing

La plupart des personnes interrogées déclarent utiliser un outil commercialisé par un éditeur pour

faire de l’A/B testing

Rares sont ceux qui utilisent un outil open-source ou gratuit

Pour les utilisateurs d’outils externes, la fonction d’édition graphique est la plus populaire, mais

dans l'ensemble les différentes fonctions sont toutes équitablement utilisées

.

23%

73%

4%

Quel type d'outil utilisez-vous ?

Un outil développéen interne

Un outilcommercialisé parun éditeur

Un outil open-source ou gratuit


0

5

10

15

20

25

30

35

40

45

D'éditiongraphique

D'éditionavancée

(CSS,Javascript)

De ciblage Dereportinginterne

Dereporting

dans votreoutil de

webanalyse

Carte dechaleur

heatmap

Nonapplicable

Si vous utilisez un outil externe, utilisez-vous les fonctions...


Internalisation / ExternalisationEn revanche, l’utilisation de l’A/B testing est internalisée pour la plupart

67% des personnes interrogées déclarent réaliser seules leurs tests et la plupart préservent la

gestion de projet en interne ou la négligent

Ces chiffres sont à mettre en regard avec les contraintes de temps et de compétences

précédemment mentionnées, l’externalisation pouvant apporter une réponse à ces problèmes

On remarquera que la partie la plus externalisée est la réalisation des tests en eux-mêmes alors

que c’est celle où la valeur ajoutée est la moins grande

.


67%

15%

26%

12%

2%

Je réalise seul mes tests J'externalise l'identificationdes pistes d'amélioration

(roadmap des tests)

J'externalise la réalisationdes tests

J'externalise l'analyse destests

J'externalise la gestion deprojet

Comment utilisez-vous votre(vos) outil(s) d'A/B testing ?


OrganisationL’équipe marketing est souvent désignée pour piloter les projet d’A/B testing

Pour 95% des utilisateurs d’A/B testing, l’équipe marketing doit être impliquée dans les projets

d’A/B testing

En revanche, beaucoup négligent l’importance de l’équipe technique :

– Seulement 44% des utilisateurs d'A/B testing et 25% des non-utilisateurs d'A/B testing considèrent

que ces projets doivent mener par le marketing et l'IT conjointement

.

51%

4%

44%

1%

Pour les utilisateurs d'A/B testing:

L'équipe marketing

L'équipe technique

Co-responsabilitééquipe marketing /équipe technique

Je ne sais pas

46%

1%

25%

28%

Pour les non-utilisateurs d'A/B testing:

L'équipe marketing

L'équipe technique

Co-responsabilitééquipemarketing/équipetechnique

Je ne sais pas

Selon vous, qui doit piloter votre projet d’A/B testing ?


OrganisationDiverses fonctions peuvent être impliquées dans des projets d’A/B testing mais c’est souvent la direction marketing qui centralise les informations

Le pilotage des campagnes d'A/B testing est souvent confié à un chef de projet ou un web analyst

La direction marketing centralise les résultats qui peinent encore à être partagés au-delà : on notera

en particulier le faible partage avec les équipes IT dont la roadmap devrait pourtant être impactée

par les tests menés

.

56%

35%

46%

67%

9%

Chef de projet UX/Designer/Ergonome Développeur front-end (Javascriptet CSS)

Web analyst Autre

Quelles sont les fonctions impliquées dans vos projets d'A/B testing ?

Remarque: Plusieurs réponses étaient possibles à ces question.

89%

40%28%

2%

Direction marketing Direction générale Direction technique Autre

Les résultats de vos campagnes d'A/B testing sont-ils partagés / communiqués ?


OrganisationL’A/B testing est une pratique considérée comme simple mais avec des étapes critiques qu’il faut bien maitriser

L’A/B testing est considérée comme une pratique plutôt simple voire très simple par la plupart des

personnes interrogées ; pourtant près de la moitié des répondants ont déclaré n'avoir mené que

des tests simples

Les étapes les plus critiques sont l’identification des pistes d’améliorations ergonomiques et

l’analyse des résultats qui sont également les moins externalisées

.

51%

16%

23%

33%

Identification despistes

d'améliorationsergonomiques

Réalisationtechnique du test

Paramétrage du test Analyse desrésultats

Quelle est, selon vous, l'étape la plus critique d'un projet d'A/B testing ?

8%

69%

23%

Considérez-vous l’A/B testing comme une pratique…

Très simple

Simple

Compliquée



Vous pouvez télécharger notre livre blanc sur le testing sur www.converteo.com

Merci

http://www.converteo.com/