META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION

META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION

Marina Burakova-Lorgnier

Laboratoire de Psychologie SocialeEA849

Marina Burakova. Méta-analyse. 3

Objectifs du séminaireEchanges & partages des

connaissances & des compétences

Connaissance des techniques de la méta-analyse

Réalisation d’un projet collectif◦E.g., réaliser une méta-analyse

d’études en langues française sur un thème donné


Comment fondons-nous les modèles

conceptuels? Revue de

question narrative

Pourquoi y-a-t’il autant

d’études avec des résultats

contradictoires? Théories et méthodologies divergents?

Mythe de l’étude parfaite


Mythe de l’étude parfaite

Toute étude contient au moins l’une des erreurs possibles:

Erreur de mesureErreur due à la validité de

construitErreur d’échantillonnageAutres biais…


Mythe du test de significativité Caractère contradictoire des résultats de

nombreuses études provient du fait qu’ont croie en pouvoir du test de significativité.

Croyance: Relation entre les variables existe si elle est significative. Ce n’est que l’erreur de 1ère espèce (Type I, ou α). Erreur de Type I = .05 pour le seuil de probabilité de .95

Oubli: concept de pouvoir statistique. Erreur de Type II, ou erreur de seconde espèce (β)! Erreur de Type II = 1 - .5 = .5 dans ce même cas.


Parenthèses Comment teste-on une hypothèse ?

(1) définir H0 à contrôler

(2) choisir un test statistique pour la contrôler (3) définir la distribution de la statistique sous l’hypothèse ’H0 est réalisée’

(4) définir le niveau de signification du test(5) calculer, à partir des données fournies par l’échantillon, la valeur de la statistique(6) prendre une décision concernant l’hypothèse posée et faire une interprétation

8

ParenthèsesH0 stipule l’absence de différence, les effets

sont dus au hasard et non aux facteurs étudiés

Risque de se tromper en la rejetant : α (Type I) ou β (Type II)

Marina Burakova. Méta-analyse.

9

Venue de la méta-analyse Dans les années 1970s -- tonnes

d’études contradictoires en sciences sociales & humaines.

En 1981, D. Stockman, directeur du bureau fédéral du budget aux Etats-Unis diminue le budget de la recherche en sciences sociales & humaines de 80%.

Chercheurs deviennent sceptiques quant à la contribution des études isolées au développement de la science.

Marina Burakova. Méta-analyse.


Méta-analyse vs. test de significativité MA calcule la moyenne de tous les r

quel que soit le test de significativité.

MA permet d’estimer la variabilité de la relation causale.

σr2 - σe

2 = 0 Variance des r observés moins

variance due aux erreurs de l’échantillonnage ≈ 0 la variabilité est due à l’erreur de l’échantillonnage !


Méta-analyse vs. test de significativité 1. Utilisation exclusive du test de

significativité produit de conclusions fausses.

2. MA donne une idée rapprochée de la réalité des causalités existantes Pourquoi?


Méta-analyse vs. test de significativité (suite)MA corrige les problèmes liés aux:

- Erreurs d’échantillonnage- Pouvoir statistique réduit- Autres artefacts:

Erreur de mesure Dichotomisation de la mesure Erreur de transcription…

Résultat production de la connaissance cumulative avec un niveau d’exactitude égal aux sciences exactes (Hedges, 1987).


Méta-analyse vs. test de significativité (suite)L’explication la plus simple de la

variabilité des coefficients de pistes (r ou β) – l’erreur d’échantillonnage. De par leurs petites tailles les échantillons sont rarement représentatifs.

Schmidt, Ocasio, Hillery & Hunter (1985) ont démontré ce problème en découpant l’échantillon d’une étude en plusieurs petits échantillons (N=30).

Donc la première démarche consiste à contrôler l’erreur d’échantillonnage!


Que faire afin d’analyser les données dans une étude isolée?Baser l’interprétation sur deux

indicateurs statistiques: Estimation ponctuelle (point

estimates) des tailles d’effet (r (corrélations) & d-valeurs (différence des moyennes standardisée))

Intervalle de confiance


Artefacts autres que l’erreur d’échantillonnage (e.g., aptitude performance)Erreur de mesure de la VD (performance)

Validité de l’étude sera inférieure à la valeur véritable du coefficient.

Erreur de mesure de la VI

Validité de l’étude sera diminuée quand la performance est mesurée avec l’erreur aléatoire

Dichotomisation d’une VD continue

E.g., absentéisme : plus de … moins de…

Dichotomisation d’une VI continue

E.g., niveau d’aptitude : ‘acceptable’ ou ‘non’

Variance de la VI

Validité de l’étude sera inférieure à la valeur véritable suite à la diminution de la variance d’une caractéristique individuelle qui prédit la performance


Artefacts autre que l’erreur d’échantillonnage (suite)Attrition Validité de l’étude sera inférieure à la

valeur véritable compte tenu des promotions des individus avec un haut niveau de performance et des licenciement de ceux avec un niveau de performance inacceptable

Problème de validité de construit de la VD

Variations de la validité de l’étude si la structure factorielle du construit ne tient pas la route

Problème de validité de construit de la VI

Validité de l’étude sera différente de la validité véritable

Erreur de transcription

Validité de l’étude communiquée est différente de celle réelle suite aux erreurs de codage, lecture erronée des tableaux statistiques, erreur typographiques

Variance due aux facteurs extérieurs

Validité de l’étude est systématiquement inférieure à la valeur véritable suite aux niveaux d’expérience disparates chez les employés lorsque leur performance est mesurée


Techniques de méta-analyse1. Méta-analyse axée sur l’erreur

d’échantillonnageA. Technique Bare BonesB. Technique fondée sur le test de

homogénéité

2. Méta-analyse psychométriqueA. Technique qui corrige chaque r ou d de

manière indépendanteB. Technique fondée sur la distribution

d’artefacts

3. Méta-analyse descriptive


1.A. Technique Bare Bones « Réduit à l’essentiel »

Corrige uniquement l’erreur d’échantillonnage

Ignore tous les autres artefacts peut être utilisée lors de l’étape

initiale

(Pearlman, Schmidt & Hunter, 1980; Hunter, Schmidt & Jackson, 1982; Hunter & Schmidt, 1990)


1.A. Bare Bones: exempleEtude, N°

Validité observée

(r)

Etude, N°

Validité observée

(r)

1 .04 12 .11

2 .14 13 .21

3 .31* 14 .37*

4 .12 15 .14

5 .38* 16 .29*

6 .27* 17 .26*

7 .15 18 .17

8 .36* 19 .39*

9 .20 20 .22

10 .02 21 .21

11 .23r = corrélation entre une aptitude et la précision du tri de lettres chez les employés de la poste.N = 68 dans chaque étude.Seulement huit r sont significatif. Le coefficient varie bcp! (Schmidt & Hunter, 2006)

1. Calculer la moyenne des r .22

2. Calculer la variance des r .012

3. Calculer la variance due à l’erreur d’échantillonnage .0135

4. Estimer la variance inter-étude (step3 – step2) -.0015 Comme elle est proche du 0, nous estimons que ET = 0. Donc, r corrigé = .22


Bare Bones : notre exemple1. Corrélation moyenne

2. Variance de la corrélation observée

3. Variance due à l’erreur d’échantillonnage

4. Variance entre études

-


1.B. Technique fondée sur le test de homogénéité

χ2-test est utilisé afin de conclure si la variabilité des études est supérieure à l’erreur d’échantillonnage.

Si χ2-test de homogénéité n’est pas significatif r est considéré constant. Sinon, il faut chercher les modérateurs.

« - » χ2-test est basé sur l’erreur de première espèce.

(Hedges, 1982; Hedges & Olkin, 1985; Rosenthal & Rubin, 1982)


2.A. Technique qui corrige chaque r ou d de manière indépendante

La technique la plus complète, utilisée dans 10% des méta-analyses (Schmidt & Hunter, 2006). Peut aller jusqu’à l’étape 2 ou 4.

1. Correction de chaque coefficient cas par cas.2. Moyenne est calculée à la base de tous les

coefficients corrigés (rˉAB). Or, cela ↑ la variance d’erreur d’échantillonnage.

3. Estimation de la variance réelle des corrélations des construits.

4. Si l’écart-type (SD) ainsi obtenu (à la base de la variance connue) est proche de 0, il n’y a pas de modérateurs.


2.A. Correction cas par cas: Exemple (étapes 1 & 2)Corrélation entre deux construits

(traits de personnalité) rAB = .60

Le trait A est mesuré avec une échelle x.

Le trait B est mesuré avec une échelle y.

α1= .90 = racine carrée de la fiabilité de x; rxx = .81

α2= .90 = racine carrée de la fiabilité de y; ryy = .81

α3= .90 = validité de construit de x

α4= .90 = validité de construit de y

α5= .80 = facteur d’atténuation suite à la fraction de x à la médiane (dichotomisation)

α6= .80 = facteur d’atténuation suite à la fraction de y à la médiane (dichotomisation)

Impact cumulé des artefacts est exprimé via le facteur total d’atténuation (A)

A = (.90)(.90) (.90)(.90) (.80)(.80)=.42

Donc, la corrélation atténuée

rxy = A x rAB = .42 x .60 = .25

Les artefacts ont réduit la corrélation véritable de .35!

Pour corriger le biais d’atténuation d’une étude réelle, il faut calculer le facteur total d’atténuation!

rAB = rxy / A = .25/.42 = .60


A Meta-Analysis of Antecedents and Correlates of Employee Turnover: Update, Moderator Tests, and Research Implications for the Next Millennium (Griffeth, Hom, & Gartner, 2000)


2.B. Technique fondée sur la distribution d’artefacts

Habituellement, tous les artefacts ne peuvent pas être connus/ne sont pas communiqués dans l’étude. Cette technique est utilisée dans 90% des méta-analyses

1. Technique Bare Bones est appliquée.2. M (moyenne) & SD (écart-type) sont

ensuite corrigés par rapport aux artefacts (autres que l’erreur de mesure).

3. Modérateurs peuvent être également examinés.

(Callender & Osburn, 1980; Raju & Burke, 1983)


Work strain, santé psychologique & physique comme déterminants de l’absentéisme : Méta-analyse (Darr & Jones, 2008)


Darr

& Jon

es,

20

08


Modèle retenu (Darr & Jones, 2008)


3. Technique descriptive Glass (1976) a introduit cette approche

dans l’optique de présenter un tableau large (rich picture) fondé sur des particularités.◦ Accent sur la taille d’effet ( au lieu de la

significativité). Calcule M + ET des r. ◦ Variabilité de r est réelle. ◦ Approche rigoureuse (donc une bonne

connaissance du construit et/ou de la théorie) garantie le choix approprié d’études pour réaliser une MA.

◦ Plus tard Bangert-Drowns (1986) l’appelle study effect meta-analysis.


Software MetaXL software pageEffect Size Calculators Calculate d and r from a variety of statistics.ClinTools (commercial)Comprehensive Meta-Analysis (commercial)MIX 2.0 Professional Excel addin with Ribbon interface for meta-analysis and effect size conversions in Excel (free and commercial versions).What meta-analysis features are available in Stata? (free add-ons to commercial package)The Meta-Analysis Calculator free on-line tool for conducting a meta-analysisMetastat (Free)Meta-Analyst Free Windows-based tool for Meta-Analysis of binary, continuous and diagnostic dataRevman A free software for meta-analysis and preparation of cochrane protocols and review available from the Cochrane CollaborationMetafor-project A free software package to conduct meta-analyses in R.Calculation of fixed and random effects in R source code for performing univariate and multivariate meta-analyses in R, and for calculating several statistics of heterogeneity.Macros in SPSS Free Macros to conduct meta-analyses in SPSS.compute.es: Compute Effect Sizes (R package).MAd GUI User friendly graphical user interface package to conduct meta-analysis in R (Free).

http://www.epigear.com/



http://myweb.polyu.edu.hk/~mspaul/calculator/calculator.html



http://www.clintools.com/

http://www.metaanalysis.com/



http://www.meta-analysis-made-easy.com/

http://www.stata.com/support/faqs/stat/meta.html








http://www.lyonsmorris.com/lyons/metaAnalysis/index.cfm




http://edres.org/meta/metastat.htm

http://tuftscaes.org/meta_analyst/

http://tuftscaes.org/meta_analyst/

http://www.cc-ims.net/revman

http://www.metafor-project.org/

http://www.netstorm.be/home/meta_analysis








http://mason.gmu.edu/~dwilsonb/ma.html

http://cran.r-project.org/web/packages/compute.es/index.html





http://en.wikipedia.org/wiki/R_(programming_language)

http://cran.r-project.org/web/packages/RcmdrPlugin.MAd/index.html

http://cran.r-project.org/web/packages/RcmdrPlugin.MAd/index.html


RéférencesSchmidt, F.L. & Hunter, J.E. (2006).

Meta-Analysis. In N. Anderson, D.S. Ones, H.K. Sinangil, & C. Viswesvaran (eds.), Handbook of Industrial, Work & Organisational Psychology. Sage Publications.

Hunter, J.E. & Schmidt, F.L. (2004). Methods of Meta-Analysis. Correcting error and Bias in Research Findings. 2nd Edition. Sage Publications.


Thèmes & calendrierFin octobre 1ère réunion

Documents

META-ANALYSE: REVUE DE TECHNIQUES ET UTILISATION