28
Les tests utilisateurs pour les petits budgets Assistance à la Maîtrise d’ouvrage (AMOA) Ergonomie Design

Les tests utilisateurs pour les petits budgets

Embed Size (px)

DESCRIPTION

Intervention de 20 min réalisée aux Rencontres Interactives de novembre 2012

Citation preview

Page 1: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs pour les petits budgets

Assistance à la Maîtrise d’ouvrage (AMOA)

Ergonomie

Design

Page 2: Les tests utilisateurs pour les petits budgets

Sondage

1) Qui a déjà organisé des tests utilisateurs ?

2) Qui compte le faire ?

Page 3: Les tests utilisateurs pour les petits budgets

Plan

Méthodes d'amélioration ergonomiques

Les évaluation expertes Les expérimentations

Les tests

utilisateurs

Page 4: Les tests utilisateurs pour les petits budgets

Les évaluations expertes

● Se basent sur l’avis d’un ou plusieurs experts.

● Ne nécessitent pas la présence d’utilisateurs.

● Nielsen conseille 3 évaluateurs car c’est meilleur rapport entre le nombre de défauts trouvés et le coût.

● L’expérience des évaluateurs influe sur la qualité des résultats.

➔ Évaluation heuristique.

➔ Inspection cognitive.

➔ L’analyse de conformité aux recommandations.

Page 5: Les tests utilisateurs pour les petits budgets

Les évaluations expertes

Principe : Technique réalisée par des experts évaluateurs qui inspectent une interface et jugent sa conformité avec un ensemble de principes d'utilisation.

L'objectif est de détecter les aspects positifs et négatifs du point de vue de l’utilisabilité et à en déduire des recommandations d’amélioration adaptées.

Évaluations heuristiques

Avantages :

● Pas d’utilisateur.

● Organisation rapide et feedback rapide

● Les évaluateurs (formés à la méthode) ne sont pas nécessairement des experts en ergonomie.

● Coût réduit

Inconvénients :

● Il n’y a pas vraiment de liens avec l’activité réelle.

● L’évaluateur n’est pas un utilisateur, il peut donc passer à côté de certains défauts, par exemple en ce qui concerne la compréhension des libellés.

● Cette méthode à tendance à produire des faux-positifs c’est-à-dire des défauts d’ergonomie qui n’en sont pas réellement.

Page 6: Les tests utilisateurs pour les petits budgets

Les évaluations expertes

Évaluation heuristique

Références :

● Les critères ergonomiques de Bastien & Scapin chez ErgoLab

● Les critères ergonomiques de Bastien & Scapin chez Ergoweb.ca

● Les heuristiques de Nielsen

● Exemple d'évaluation Heuristique sur un jeu Ipad

Page 7: Les tests utilisateurs pour les petits budgets

Les évaluations expertes

Principe : Les évaluateurs passent en revues l’ensemble des écrans se posant quatre questions et relèvent les défauts d’ergonomie. Le but étant que l’évaluateur se mette dans la position d’un utilisateur :

● Les utilisateurs vont-ils tenter d’exécuter les actions appropriées ?

● Les utilisateurs sauront-ils que les actions appropriées sont permises ou disponibles ?

● Les utilisateurs vont-ils associer aux effets souhaités les actions appropriées ?

● Lorsque les actions seront effectuées l’utilisateur pourra-t-il se rendre compte des traitements en cours ?

Inspection cognitive

Avantages :

● La méthode ne nécessite pas d’utilisateur.

● Elle peut être mise œuvre facilement et rapidement.

● Le coût est réduit

Références : L'inspection cognitive (Cognitive walkthrough) sur wikipédia

Inconvénients :

● Il n’y a pas vraiment de liens avec l’activité réelle.

● L’évaluateur n'est pas forcement compétent pour comprendre le contexte métier (lexique, enjeux, motivation, etc...) des « vrais » utilisateurs.

Page 8: Les tests utilisateurs pour les petits budgets

Les évaluations expertes

Principe : On évalue la conformité des éléments de l’interface aux recommandations publiées dans des guides de conception.

Exemples :● Web Style Guide Online de Patrick J. Lynch & Sarah Horton● User interface guideline Android ● User interface guidelines Iphone ● Windows User Experience Interaction Guidelines● Guidelines for Designing User Interface Software de Smith & Mosier (SAM)

L’analyse de la conformité aux recommandations

Avantages :

● L’analyse est peu dépendante de l’expertise de l’évaluateur.

● Elle est exhaustive et précise.

Inconvénients :

● Le contexte d’utilisation et l’utilisateur ne sont pas pris en compte.

Page 9: Les tests utilisateurs pour les petits budgets

● Les expérimentations se basent sur une démarche scientifique expérimentale.

● Cette démarche consiste à formuler des hypothèses qui sont validées ou non par un protocole de tests.

● Le protocole de tests compare différentes conditions en mesurant certaines variables.

➔ Eyetracking

➔ A/B testing et tests multivariés

➔ Expérimentations scientifiques

➔ Outils d'évaluation automatiques

Les expérimentations

Page 10: Les tests utilisateurs pour les petits budgets

Les expérimentations

Principe : L’eye tracking consiste à enregistrer les déplacements oculaires de l’utilisateur sur l’écran. On peut tirer de ces enregistrements différentes données, notamment une représentation graphique avec les zones les plus regardées et le parcours « moyen » du regard. Attention, ce sont les déplacements oculaires que l’on enregistre et non l’activité du cerveau ! On peut regarder, sans voir, voir sans comprendre, comprendre sans en tenir compte. C’est une technique adaptée pour réaliser des expérimentations et non des tests utilisateurs.

L’eye tracking

Avantages :

● On obtient des données précises sur le parcours oculaire de l’utilisateur.

● il est possible d’obtenir des réponses précises et valides à certaines hypothèses complexes.

Références : Définition de l'eyetracking sur Wikipédia (eng)

Inconvénients :

● Souvent utilisé à mauvais escient, par exemple, pour trouver des défauts d’ergonomie.

● Nécessite du matériel spécifique et un labo aménagé > Processus coûteux.

● Il faut faire passer un nombre important d’utilisateurs.

Page 11: Les tests utilisateurs pour les petits budgets

Les expérimentations

Principe : Généralement utilisée sur les sites d’e-commerce, cette technique, issue du marketing, consiste à mettre en ligne plusieurs versions d'un gabarit en modifiant des éléments, comme le libellé, la taille et la couleur d’un bouton, l’organisation d’une fiche produit, etc… On mesure alors certaines variables comme le taux de transformation, le panier moyen, etc…

A/B testing et tests multivariés

Avantages :

● La situation est réelle et non une situation de laboratoire.

● Les résultats obtenus sont facilement généralisables à la population cible (nombre important d’utilisateur et public réel), voir c’est la population cible qui est testée.

Références : Définition de l'A/B testing sur Wikipédia

Inconvénients :

● Nécessite des modifications techniques sur le site en production afin de générer les différentes pages et le suivi.

● Il faut faire varier les bons facteurs et donc faire des hypothèses en amont.

Page 12: Les tests utilisateurs pour les petits budgets

Les expérimentations

Principe : Les expérimentations scientifiques sont des protocoles de tests qui ont pour but de valider ou non des hypothèses. La forme de ces expérimentations peut être très variable suivant les cas, mais le but est de répondre à une question précise. Pour cela, on fixe l’environnement, on compare différents dispositifs et on mesure différentes variables.

Expérimentations scientifiques

Avantages :

● La validité des réponses obtenues.

Inconvénients :

● La mise en place nécessite une métrologie précise et donc une expertise certaine.

● Le coût est assez élevé car l’ensemble du processus est relativement long.

Page 13: Les tests utilisateurs pour les petits budgets

Les expérimentations

Exemple : quel dispositif pour la saisie du texte sur la TV ?

Protocole :

Tests avec 3 dispositifs :● Mode SMS simple● Mode SMS avec une représentation à l’écran.● Clavier virtuel 36 utilisateurs :● des experts du mode SMS (multi-press).● des non-experts.

2 tâches :● Tâche 1 : saisie d’une adresse mail : «[email protected] ».● Tâche 2 : la saisie d’un texte court : «Le soleil et la neige».

Tous les utilisateurs passaient sur tous les dispositifs et toutes les tâches.

Temps de réalisation des tâches.

Pourcentages de tâches incomplètes.

Page 14: Les tests utilisateurs pour les petits budgets

Les expérimentations

Outils d'évaluation automatiques

● ERGOVAL

● KRI/AG

● CHIMES

● SYNOP

● Mahajan et Shneiderman

Page 15: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

● Nécessitent la présence des utilisateurs-testeurs.

● Les testeurs passent chacun leur tour.

● Les testeurs doivent suivre des scénarios déterminés à l'avance en fonction de ce que l'on cherche à tester.

➔ Les tests utilisateurs «classiques» en laboratoire.

➔ Les tests avec l'entourage.

➔ Les tests utilisateurs à distance.

Objectif :● Identifier les problèmes d'utilisabilité ● Attention, les tests ne sont pas des focus groups ! Les testeurs ne sont pas là

pour proposer des améliorations.

Page 16: Les tests utilisateurs pour les petits budgets

Tester quoi ?

● Wireframes

● Compos graphiques

● Des prototypes HTML/ serveur de test

● Un site existant en production

● Une application

● Un système embarqué

● Un logiciel

● ...

A quel moment ?

● En avant vente, comme argumentaire commercial

● En conception

● En production / Comme outil d'amélioration du site dans son cycle de vie.

Les tests utilisateurs

Page 17: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs : Tuer le mythe

« Avec 5 testeurs, on décèle 85 % des problèmes d'utilisabilité » 0/20

P(i) = N(1-(1-L)i)

Nb de problèmes trouvés

Nb d'utilisateurs Nb total de problèmes Proportion de problèmes du site rencontrés par un utilisateur

● « N» est prédictible grâce à un modèle mathématique, mais uniquement sur la base d'un pré-test

et il reste théorique

● « L » est une variable spécifique à chaque site, chaque type de test et chaque équipe de test

Référence : Un calculateur en ligne

Modèle de Nielsen : Permet d'identifier le nb minimum de testeurs afin de permettre de déceler un nombre suffisant de problèmes.

Page 18: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs : Tuer le mythe

Questions fréquentes :

Combien de testeurs sont nécessaires pour trouver le plus de problèmes critiques ?

● Il est possible de le définir grâce au modèle mathématique de Nielsen, sur la base d'un pré-test.

Peut-on trouver tous les problèmes ?

● Non, car plus on teste, plus on trouve de problèmes. Par contre, la probabilité d'identifier les problèmes critiques augmente.

● Plus il y a de testeurs, plus vous identifier de problèmes.

Quelle méthodes choisir ?

● En fonction de son contexte. Toutes les méthodes ont des objectifs, des résultats et des applications différentes.

● Plus vous utilisez de types de tests, plus vous améliorer les résultats.

Page 19: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Phase préparatoire

● Identification des pts clefs à tester

● Scénarios● Recrutement des

utilisateurs● Mode de

rémunération● Matériel● Lieu● Logiciels

● Accords de participation et de confidentialité.

● Pilotage des cessions par un facilitateur

● Questionnaire● Test scénarisé● Enregistrement de

cession ● Debriefing

1Récolte des

données

2Analyse des

données

3Implément.

des solutions

4Analyse des

résultats

5

● Analyses d'experts

● A/B testing● Modifications● Évolutions● Mise en place

de marqueurs de contrôle.

● Analyses d'experts

● Ça a fonctionné ou pas ?

Cycle de l'amélioration continue

Page 20: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Principe : Les tests utilisateurs se passent dans un environnement dédié, généralement constitué d’une « régie »séparée de la salle de test par une vitre sans teints et Piloté par un facilitateur.

Les sessions de tests sont filmées (écran, utilisateurs,… ). Ces enregistrements sont, par la suite, étudiés en détails.

Test utilisateurs « classiques » en laboratoire

Avantages :

● Tous types de service, sur différents supports peuvent être testés (Téléphone, tablette, TV) voir avec des interactions croisées entre les supports.

● La qualité des résultats obtenus.

Inconvénients :

● C’est relativement long à mettre en place (recrutement, préparation de l’environnement de test, dépouillement).

● Le rapport coût/résultat n’est pas toujours celui attendu notamment si les hypothèses initiales ont mal été posées.

Page 21: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Principe : Réaliser soi-même les tests afin d’en réduire le coût. Les tests peuvent être réalisés dans les locaux de l’entreprise avec les moyens existant (salle de réunion, ordinateur portable, etc…). Le recrutement se fait au mieux, à la cantine, chez les étudiants, les collègues.

Le but est de détecter des défauts d’ergonomie à corriger et pas nécessairement tous les défauts.

Test de proximité avec l'entourage

Avantages :

● La mise en place est relativement simple et légère.

● Le coût est très réduit, quelques dizaines d’euros par utilisateur et éventuellement un logiciel de capture d’écrans (50 € maximum).

Inconvénients :

● Les utilisateurs vont avoir tendance à faire plaisir et donc à avoir un avis majoritairement favorable.

● Les résultats observés se limitent à l’échantillon.

● Ils ne sont pas généralisables.

Page 22: Les tests utilisateurs pour les petits budgets

Quelques logiciels de capture vidéo

EXPRESSION ENCODER

$69.95

SILVERBACKCAMTASIA STUDIO

282,00€ Gratuit

Gratuit Gratuit

Page 23: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Rôle du facilitateur● Pilote la session de tests

● Pas forcement un ergonome.

● Se présenter en tant qu'observateur indépendant (pas en tant que personne impliquée dans le projet)

● Aider l'utilisateur à rester dans le scénario prévu.

● Résoudre les problèmes d'ordre technique (plantage du navigateur, etc..).

● Inciter l'utilisateur à penser à haute voix.

● Donner la compensation au testeur en début de test pour que les testeurs ne cherchent pas à faire plaisir pendant le test pour mériter la compensation.

● Réinitialiser le test, notamment l'historique du navigateur: liens visités, autocomplétion...

● Surveiller le temps des actions et limiter la session à 20 minutes.

Page 24: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Quelques astuces

● Pour les tests avec de « faux » utilisateurs : N'hésitez pas à créer des personas pour que les testeurs se glissent mieux dans la peau des utilisateurs finaux.

● Les testeurs proches (famille, amis...) : attention aux avis positifs pour faire plaisir

● Les testeurs chez le client : attention aux avis métier

● Les testeurs qui ont participer à la conception : attention aux avis qui minimisent les problèmes.

● Précisez que l'objet de l'étude c'est la qualité de l'interface et pas leur compétences.

● Si vous avez déjà un site en production n'hésitez pas à solliciter vos « vrais » utilisateurs pour tester vos version futures. Ils sont en général assez partants pour participer aux tests.

● Rémunérer les utilisateurs ne bons d'achat, bon de réduction.

Page 25: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Questions génériques avant de commencer le test

● L'objectif du site est-il clair ?● L'audience du site peut-elle clairement s'identifier ?● Le site est-il utile et pertinent pour ce public ?● Le site est-il intéressant et attirant ?● Le site permet-il aux visiteurs de réaliser toutes les tâches qu'ils veulent accomplir ?● Les visiteurs peuvent-ils accomplir facilement ces tâches ?● Le contenu et l'organisation des informations sont-ils cohérents avec l'objectif du site ?● L'information importante est-elle facile à trouver ?● Toutes les informations sont-elles claires, faciles à comprendre et à lire ?● Le visiteur sait-il toujours où il est et comment faire pour aller où il veut ?● Le graphisme est-il agréable ?● Les pages se chargent-elles suffisamment vite ?

Page 26: Les tests utilisateurs pour les petits budgets

Les tests utilisateurs

Principe : Les utilisateurs réalisent les tests à partir de leur ordinateur chez eux. Les parcours sont enregistrés sous la forme généralement d’une capture de l’écran et de la webcam de l’utilisateur.

Test utilisateur à distance

Avantages :

● Des services notamment anglophones proposent des outils complets pour faire l’ensemble des tests.

● Le coût par utilisateur est relativement bas (30/50€). Il varie en fonction de la spécificité du public recherché.

● Les résultats sont obtenus généralement rapidement (sous une semaine).

Inconvénients :

● Il faut avoir un service fonctionnel et accessible à partir d’internet.

● Le mode de recrutement des testeurs pose question

● La motivation des testeurs pose questions.

● Pas de facilitateur / contrôle aléatoire du respect des scénarios.

● Certains publics ne sont pas accessibles par ce canal (personnes âgées, enfants, etc…).

Page 27: Les tests utilisateurs pour les petits budgets

Quelques services de tests online

Services anglophones : – usertesting.com– trymyui.com– gweezy.com– userlytics.com– intuitionhq.com

Service francophones :– evalyzer.com, le service de testing

à distance de Christian Bastien– appili.com et supergonomie.com ou

les utilisateurs semblent moins impliqués, moins réactifs

– usabilla.com

Divers : • possibilité un peu différente:

testapic.com: ce ne semble pas vraiment être un test utilisateur, plutôt un test marketing.

• youeye.com permettrait de réaliser une carte de chaleur du site analysé; ce n'est pas encore disponible mais ça semble intéressant.

• userzoom.com

• loop11.com

• utetool.com

Page 28: Les tests utilisateurs pour les petits budgets

Conclusion

Faites des tests !