Reconceptualisation_TestUtilisabilite_SPromTep_mai2010

Le test d’utilisabilité revisité Réconcilier corps et raison pour mieux comprendre l’expérience du

consommateur en ligne

Le cas du site Nouvelles de Radio-Canada

Serey-Bopha Sandrine Prom TepCandidate au Ph.D., HEC Montréal

Colloque odyssée de l'espace virtuel

ACFAS, 12 mai 2010

Sandrine Prom Tep, Candidate au PhD, Mai 2010

Plan de la présentationDe QUOI on parle? SI et Recherche sur le comportement du consommateur

TU et recherche commerciale Paradigme classique Repenser le TU via la littérature sur l’expérientiel

COMMENT ça se passe? TU: procédure et mesures

Utilisabilité et mesures classiques TU en lab Procédure du TU

POURQUOI en faire tout un CAS? Site de nouvelles de Radio-Canada

TU revisité: une exploration conceptuelle Comparaison des deux approches

Conclusions


De QUOI on parle?

Système interactif et comportement de l’utilisateur/consommateur


TU et recherche commerciale Test d’utilisabilité: outil de recherche

commerciale « Technique used to evaluate a product by testing it with

representative users. In the test, these users will try to complete typical tasks while observers watch, listen and takes notes »

Objectif: « to identify any usability problems, collect quantitative data on participants' performance (e.g., time on task, error rates), and determine participant's satisfaction with the product. »*

Outil du procesus de design centré usager (ISO 13407) Produits interactifs principalement testés auprès

d’utilisateurs potentiels

*Source: usability.gov


TU et recherche commerciale Approche

Observation directe Donnée objective de performance VS opinions, attitudes et

préférences de navigation (sondages) Donnée primaire collectée en temps réel VS mesures rapportées

Donnée quantitative and qualitative Durée de la tâche, fréquence des erreurs, taux de complétion,

etc. Verbalisation via un protocole de verbalisation à voix haute –

TAP (Ericsson and Simon, 1980) Limites

Environnement contrôlé VS naturel (i.e.; dans un lab à moins de tester à distance)

Coûteux en temps et argent Mesure ponctuelle VS continue et nombre de participants limités

*Source: usability.gov


Paradigme classique Utilisabilité/facilité d’utilisation: un concept

qui vient d’où? Interaction Homme-Machine (IHM/CHI)

Champ de recherche qui origine de l’informatique (70s) Qualité des applications reposent dans leur développement

intrinsèque en tenant compte de facteurs humains physiques (ex. taille et distance d’un écran pour la lecture d’un être humain de taille et vue moyennes)

Déterminisme technologique (VS système sociotechnique) De l’ergonomie physique à l’ergonomie cognitive

« Cognitive Engineering » (Norman,1986) Critères ergonomiques fondés sur les théories du traitement

de l’information (Scapin & Bastien, 1997) Vise la productivité au travail Explosion de la recherche avec les révolutions micro-

informatique des années 80 puis Web des années 2000


Récupération marketing De l’utilisabilité à l’expérience usager/client?

Marketing électronique et littérature sur l’expérience optimale

Csikszentmihalyi: concept de flow (1997): « Complete absorption of the body and mind in the activity where time is suspended »

État cognitif (Novak, Hoffman & Yung, 2000; Matchwick & Rigdon, 2004)

Comprendre et intégrér la notion de satisfaction optimale à l’utilisation d’un site Web

Valeur de l’impact expérientiel d’un site Web accrue Durée de la tâche comme mesure de satisfaction

(hédonique) VS mesure de productivité (utilitaire)


Dimension expérientielle Au-delà de la cognition: UX

Recherche sur le comportement du consommateur Courant interprétatif et littérature sur l’expérientiel

“The Experiential aspects of consumption: Consumer fantasies, feelings and fun” (Holbrook & Hirschman, 1982).

Questioning “What Consumer Research Is?” Belk (1984, 1987), Calder, B. J., & Tybout, A. M. (1987)

Pine and Gilmore’s article « Welcome to the Experience Economy » (1998)

L’expérience comme source de connaissance informative « Direct observation of or participation in events as a basis of knowledge », « The fact or state of having been affected by or gained knowledge through

direct observation or participation » (Merriam-Webster)

Applications marketing Comprendre la représentation symbolique et vécue d’un produit du point de

vue de l’usager Appréciation hédonique de l’activité (navigation pour le plaisir intrinsèque

de naviguer) VS instrumentation fonctionnelle vers un but (validation congitive)

Mieux contextualiser l’usage VS l’utilisation d’un produit


Expérience symbolique et incarnée Au-delà de la cognition: expérience

symbolique et incarnée (embodied experience) Recherche sur l’imaginaire et la corporalité en interprétatif

Martin (2004) Contexte ludique cartes MagicConceptualiser l’imaginaire au delà de la dichotomie

traditionnelle du réel vs imaginaireVolonté délibérée d’échapper à la réalité (escapism)Interaction entre les deux: “Michelle accepts both real and unreal

elements and vies the creature as an integrated whole when evoking the imaginary” (p. 144)

Kozinets et al. (2004) Ludic Agency and retail spectacleCorporalité des expériences vécues très palpable dans les

métaphores présentes dans les transcriptions d’entrevues des informants

Indices de description/expression physique


Expérience symbolique et incarnée Au-delà de la cognition: expérience

symbolique et incarnée (embodied experience) Recherche sur l’imaginaire et la corporalité en interprétatif

Joy and Sherry (2003) Speaking of art as embodied imagination

Approche multisensorielle: Corps=entité ayant sa propre agence = autonome

Conceptualisent le cognitif comme englobant toute opération mentale de traitement multisensoriel ou neuronal

“Bodies move, sense, touch, smell, taste, and act in conjunction with thought and speech within a space, for people experience themselves simultaneously in and as their bodies” (p.261)

Dibbell (1999) Rape in cyberspacePoursuivre la notion de corporalité: différences qui existent entre

le corps physique et celui qui ressent le ’viol’ du code de conduite communément accepté par les participans dans l’espace virtuel (Communauté virtuelle)

Coexistence des deux espaces réel et virtuel: référence à ce qui est vécu dans un seul et même lieu qu’est le corps


COMMENT ça se passe?

Test d’utilisabilité: procédure et mesures


Test d’utilisabilité en lab

http://usability.ee/Usability-Lab.html

Work and Control rooms

Une vidéo du participant superposée sur son activité à l’écran. L’activité à l’écran est enregistrée directement.


TU et procédure

1 –Le participant se présente dans un lab

2 - Le facilitateur explique les tâches du test au participant

3 – L’équipe observe le participant réalisant les tâches sur le site

4 – Le participant est remercié et reçoit une compensation

5 – L’équipe évalue la performance du site sur la base des observations


Mesures d’utilisabilité classiques

Usability ObjectiveEffectiveness

MeasuresEfficiency Measures

Satisfaction Measures

Suitability for the Task

Percentage of goals achieved

Time to complete a task Rating scale for satisfaction

Appropriate for trained users

Number of "power features" used

Relative efficiency compared with an

expert user

Rating scale for satisfaction with "power features"

Learnability Percentage of functions learned

Time to learn criterionRating scale for "ease of

learning"

Error Tolerance Percentage of errors corrected successfully

Time spent on correcting errors

Rating scale for error handling

ISO 9241 : “Usability : The effectiveness, efficiency, and satisfaction with which

specified users achieve specified goals in particular environments”

Source: www.iso.org


POURQUOI en faire tout un CAS?

TU du site Nouvelles de Radio-Canada:Même collecte, nouvelles données?!


TU du site de nouvelles de SRC


Déroulement du TU Recrutement: 15 usagers représentatifs des

internautes visés Rétribution pour la participation Collecte de 3 jours (Août 2005) Séance individuelle d’1 heure 2 ergonomes professionnels: faciliter & observer Laboratoire de test : salle d’observation et salle de

contrôle séparées avec enregistrements vidéo du participant et de la saisie moniteur de l’activité

Documentation: guides de recrutement et scénarios de tâches


Extrait du rapport de TU Mise en valeur des nouvelles

Suggestions Utiliser une plus grande taille de police pour le texte de la nouvelle Placer le lien vidéo de façon intégrée au texte de l’article Clairement différencier les reportages télévisés du contenu vidéo exclusif au Web Ne pas conserver la séquence avec le présentateur pour les vidéos tirées du

journal TV

Problèmes P4 : « Les titres sont dans le champ

de vision […] » Titres et photos plus grands dans la

zone de défilement La zone vidéo n’est pas dans le

champ de vision La police du texte est trop petite

WebperformSite SRC

Site LCN


TU revisité: prise II Réexamen des données du TU (Oct. 2005)

Réutilisation des données: aucune nouvelle collecte Éthique: obtention de nouveaux consentements

10/15 participants Réécoute complète et transcription partielle des

enregistrements des séances du TU Échantillon exploratoire: 4 participants Aucune hypothèse des tâches à accomplir en tête Analyse sémantique du protocole verbal pour identifier:

Tout ce qui se rapporte à la consommation de nouvelles médiatiques(représentation symbolique des nouvelles/news)

Tout ce qui se rapporte à la navigation dans le Web en général et dans le site Nouvelles de la SRC en particulier (« navigational embodied experience »)

2 thèmes ont clairement émergé: Propos en référence aux déplacements dans l’espace Propos en référence aux habitudes (navigation +

consommation médiatique)


Verbatim et codage


Expérience d’espace et d’habitudes Expérience de navigation

Structurée par la taille et le positionnement des éléments de l’interface (espace)

e.g. « grands titres », « grosse photo pour la Une », « C’est là que j’irai en premier », « c’est évident », « c’est là qu’il faut aller », « menu à gauche avec les nouvelles à droite », « ensuite les catégories », etc.

Structurée par les pratiques des médias d’information qui imposent des attentes (habitudes)

e.g. « pour un site de nouvelles c’est correct, ça fait le tour car je retrouve pas mal ce qui est dans l’air ».

Appropriation du site : d’un site public à un espace privé e.g. « je serais allée voir là mais là c'est mon champ d'intérêt à

moi là…si une nouvelle m'a pas accroché avant de me rendre en bas »


Illustration par un extrait vidéo


D’autres sites de nouvelles Pratiques de design et création d’attentes


Analyse comparée Analyse des données dans un TU classique

Hypothèses de départ rattachées à la formulation des tâches

Approche déductive VS inductive qui réduit l’observation à ce que l’on cherche (i.e.; mesures de performance)

Observations quantitatives sur l’efficacité et les autres mesures cognitives classiques

Verbatim ou extrait vidéo: donnée qualitative utilisée seulement pour illustrer/préciser un succès ou échec de tâche

Aucune analyse sémantique ni interprétative du data Recommandations formulées sur la base des problèmes

observés/mesurés et des suggestions des participants Difficultés d’utilisabilité sans rattachement aux usages (e.g.;

habitudes de navigation et de pratiques médiatiques)


Étude exploratoire Complémentarité des approches pour l’étude du

phénomène Mieux comprendre l’expérience de navigation du

consommateur de nouvelles en ligne Réconciliation épistémologique rarissime: TU classique

(positiviste) + revisité (interprétatif) Exploitation plus riche des mêmes données de navigation

Entrevues en profondeur d’une heure avec beaucoup de perte de données non exploitées avec le TU classique

Opportunité unique d’avoir une forme d’accès ponctuel à l’expérience de l’espace virtuel des usagers/consommateurs et la façon dont ils se le représentent

Forme ultra légère et ‘discount’ d’observation participante* (e.g.; sans déploiement ethnographique complet du point de vue de la durée et du contexte d’utilisation réel)

Voir les approches ‘ethno lite’ pratiquées en entreprises

*participation su sens étiré car asynchrone via position double de concepteur/usager du SI comme ergonome qui élabore des scénarios de TU


Conclusions Validité accrue des mesures

Contexte d’utilisation simulé (lab + tâches assignées) constitue un biais moindre pour accéder à la dimension symbolique qui se rattache plus à l’expérience de navigation en général que les mesures de performance sur le site

Contextualisation des mesures de performance par les habitudes & attentes de consommation médiatiques de nouvelles

Bénéfices managériaux pour la conception de site web

Approche avec la capacité de générer des idées pour la conception de site Web

Adresse plusieurs niveaux de besoins cognitifs, expérientiels et symboliques

Approche qui addresse la tension fondamentale entre design et usage (œuf et poule)

Perspective de co-construction sociale du besoin Niveau de co-design plus accru


Conclusions Limites de l’étude

Échantillon limité aux résultats non généralisables Collecte de données en lab VS contexte naturel de navigation

réelle non simulée Dominance du texte: toujours et encore des données verbales

avec analyse sémantique VS image et analyse visuelle Collecte de données et interprétation sans démarche

ethnographique complète Dilemme épistémologique: pratique réflexive subjective d’une

ergonomie cognitive positiviste Pratique du design oriente la sélection d’items (biais d’expertise) Sans validation inter-juge

Pistes de recherche future Comparer des résultats de différents segments représentatifs des

usagers du site nouvelles Trianguler les données du TU classique + revisité encore plus

avec des données de: Eye-tracking Mesures physiologiques Expressions faciales/Communication non verbale


Références Belk, R. W. (1984). Manifesto for a Consumer Behavior of Consumer Behavior. In Scientific Method

on Marketing (pp. 163-167): P. Anderson and M.J. Ryan ed., Chicago: AMA. Belk, R. W. (1987). A Modest Proposal for Creating Verisimilitude in Consumer-Information-

Processing Models, and Some Suggestions for Establishing a Discipline to Study Consumer Behaviour. In N. D. a. R. B. Fuat Firat (Ed.), Philosophical and Radical Thought in Marketing (pp. 361-372): Lexington, MA: Lexington Books.Calder, B. J., & Tybout, A. M. (1987). What Consumer Research Is? Journal of Consumer Research, 14(June), 136-140.

Csikszentmihalyi, M. (1990). Flow: The Psychology of Optimal Experience (1st edition ed.). New York, NY.: HarperCollins Publishers.

Dibbell, J. (1999). My Tiny Life. Crime and Passion in the Virtual World. London: Fourth Estate. Ericsson, K., & Simon, H. (1980). "Verbal reports as data". Psychological Review 87 (3): 215–251 Holbrook, M. B. & Hirschman, E. C. (1982). Holbrook, M. B., & Hirschman, E. C. (1982). The

Experiential Aspects of Consumption: Consumer Fantasies, Feelings and Fun. Journal of Consumer Research, 9(2).

Joy, A., & Sherry, J. F. (2003). Speaking of Art as Embodied Imagination. A Multisensory Approach to Understanding Aesthetic Experience. Journal of Consumer Research, 30(September), 259-282.

Kozinets, R. V., Sherry, J. F., Storm, D., Duhachek, A., Nuttavuthisit, K., & DeBerry-Spence, B. (2004). Ludic Agency and Retail Spectacle. Journal of Consumer Research, 31 658–672

Martin, B. A. S. (2004). Using the imagination: Consumer evoking and thematizing of the fantastic imaginary. Journal of consumer research, 31(1), 136-149.

Mathwick, C., & Rigdon, E. (2004). Play, Flow, and the Online Search Experience. Journal of Consumer Research, 31, 324–332

Norman, D. A. (1986). "Cognitive Engineering," in D. A. Norman and S. W. Draper, eds., User Centered System Design: New Perspectives on Human-Computer Interaction, Lawrence Erlbaum Associates, Hillsdale, N.J., 31-61, 1986.

Novak, T. P., Hoffman, D.L., and Yung, Y. (2000). Measuring the customer experience in online environments: A structural modeling approach. Marketing Science, 19(1), 22.

Scapin, D.L. and Bastien, J.M.C. (1997). Ergonomic criteria for evaluating the ergonomic quality of interactive systems. Behaviour & Information Technology, 6(4-5), 220-231.


Questions?

Rejoignons-nous sur Facebook, Twitter, LinkedIn, Agentsolo…

[email protected]

www.chairerbc.com

www.ergonomia.ca

Merci!

Espace de contenu partagé sur Slideshare: http://www.slideshare.net/spromtep/


Appendix


BBC’s news Web site: the reference


New web Site: after UT & redesign


CBC’s French news Web site pedigree

2nd Quebec French news web site after cyberpresse

News Web site : French CBC’s most frequented Web site

Info producer and press releases dispatcher BBC’s model Before and after UT Comparison with other French news Web

sites in Quebec: cyberpresse & canoe


CBC French news Web site users 29% of Web surfers have visited one of the

French CBC’s Web site within the past 3 months Spend more time on the Internet than average

(11.0 h per week ) Have more high speed Internet access (53%) Access Internet from their home more often

(86%) Access less often Internet from their workplace

only (10%)

Source: Statmedia 2004


Who are these users? 94% speak French at home 52% are women (vs 49% women for

Internet in general) Average age : 38.4 (vs 37.0 for internet

users in general) Higher education Sligthly superior income

Source: Statmedia 2004