Embed Size (px)
Citation preview
Le biais du répondant
Hubert Verreault
Associé de recherche
1
4e colloque annuel de la Chaire Mobilité – 13 mai 2014
Plan de la présentation
1. Contexte
2. Indicateurs et tendances
3. Estimation de l’impact du biais du répondant
4. Méthode de décomposition des effets
5. Constats/Perspectives
2 4e colloque annuel de la Chaire Mobilité
Biais du répondant
• Définition d’un biais
• En statistique, un biais est une démarche ou un processus qui engendre des erreurs dans les résultats d'une étude.
• Biais du répondant
• Hypothèse : Les répondants connaissent aussi bien les déplacements des personnes de leur ménage que les leurs.
o Est-ce réellement le cas ?
3 4e colloque annuel de la Chaire Mobilité
Système d’information
• Enquête OD 1987 à 2008
• Territoire : Grande Région de Montréal (GRM)
• Utilisation de la variable “Répondant“ qui spécifie la personne qui a répondu à l’enquête dans le ménage.
• OD 1987 et 1993 : Première personne = Répondant
• Permet de segmenter en deux échantillons :
o Répondants : Personnes qui ont déclaré leurs déplacements;
o Non-répondants : Personnes qui n’ont pas déclaré directement leurs déplacements.
4 4e colloque annuel de la Chaire Mobilité
Processus d’entrevue
Demande de parler à la personne qui
connait le mieux les déplacements du
ménage Réponse pour l’ensemble des personnes du
ménage 5 4e colloque annuel de la Chaire Mobilité
Questionnements
1. Quelle est la distribution des répondants ?
2. Est-ce qu'il y a des différences entre les indicateurs témoignant des comportements des répondants et ceux des non-répondants?
• Exemple : Taux de mobilité
6 4e colloque annuel de la Chaire Mobilité
0%
1%
2%
3%
4%
5%
6%
7%
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
Hommes Femmes
Pro
po
rtio
n
Distribution des personnes
Population Répondants
Composition démographique des répondants vs population
43 % 57 %
7 4e colloque annuel de la Chaire Mobilité Enquête OD 2008
00.10.20.30.40.50.60.70.80.91
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
Hommes Femmes
de
pl/
pe
rs
Nombre de déplacements par personne
Significativement différent Répondant Non-Répondant
Exemple d’indicateur
8 Grande région de Montréal (GRM)
Répondants
Non -
Répondants
>
Si Δ > 0
OD
2008
OD
1987
à
2008 0.00
0.20
0.40
0.60
0.80
1.00
1.20
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
ans
et +
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
ans
et +
Hommes Femmes
Dif
fére
nce
s
Évolution des différences entre les répondants et les non-répondants
1987 1993 1998 2003 2008
Constats
• En supposant que les comportements de réponse aux enquête n'ont pas changé entre enquêtes
• Différences Répondants/Non-répondants généralement à la baisse depuis 1993.
o Baisse de la taille des ménages (moins de non-répondants);
o Les taux de mobilité sont “naturellement” à la baisse. Donc, le risque de ne pas déclarer un déplacement est plus faible.
• Les écarts observés sont plus faibles en pointe du matin (PAM)
o Habituellement des déplacements motif travail.
9 4e colloque annuel de la Chaire Mobilité
Mesure de l’ampleur du biais du répondant
• Comment mesurer l’impact de celui-ci?
1. Hypothèse : Les comportements de mobilité des répondants et non-répondants sont similaires.
2. Application des taux de mobilité des répondants aux non-répondants (par cohorte et groupe d’âge).
10 4e colloque annuel de la Chaire Mobilité
Déplacements supplémentaires si les non-répondants se comportaient comme des répondants
OD Écart %
2008 756 659 10.7
2003 779 457 11.3
1998 928 390 13.3
1993 1 021 864 14.7
1987 573 689 10.8
11 4e colloque annuel de la Chaire Mobilité
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
0
10 000
20 000
30 000
40 000
50 000
60 000
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
Hommes Femmes
Écar
t e
n %
Écar
t
Nombre de déplacements par personne
Écart % Écart
10.3%
354 250
11.2%
402 409
10.7%
756 659
Écart
Tendance
Grande région de Montréal (GRM)
OD 2008
Déplacements supplémentaires si les non-répondants se comportaient comme des répondants
Indicateurs Écart %
Nombre de déplacements par personne par jour
Totaux 756 659 10.7
Motif TRAVAIL 22 133 1.4
Motif ÉTUDE -16 886 -4.7
Motif LOISIR 154 990 30.6
Motif MAGASINAGE 167 496 28.0
Auto-Conducteur 450 841 10.8
Auto-Passager -107 042 -15.8
Transport en commun 236 178 20.5
Transport actif 222 886 30.4
Pointe du matin 6 203 0.3
Externes au domicile 229 541 33.0
Nombre de Non-mobiles -89 597 -14.0
12 4e colloque annuel de la Chaire Mobilité Grande région de Montréal (GRM)
OD 2008
Questionnements
• Est-ce que les différences observées entre les répondants et les non-répondants sont réellement liées au biais du répondant ?
• Est-ce qu’elles sont liées à des variables de contrôles qui ne sont pas incluses dans les analyses ?
Questionnements
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
0 à
4 a
ns
5 à
9 a
ns
10
à 1
4 a
ns
15
à 1
9 a
ns
20
à 2
4 a
ns
25
à 2
9 a
ns
30
à 3
4 a
ns
35
à 3
9 a
ns
40
à 4
4 a
ns
45
à 4
9 a
ns
50
à 5
4 a
ns
55
à 5
9 a
ns
60
à 6
4 a
ns
65
à 6
9 a
ns
70
à 7
4 a
ns
75
à 7
9 a
ns
80
à 8
4 a
ns
85
an
s et
+
Hommes Femmes
Pro
po
rtio
n
Proportion des travailleurs temps plein
Population Répondant Non-Répondant
Méthode de décomposition des effets Méthode Oaxaca
• L’écart entre les deux échantillons peut être expliqué par deux phénomènes :
1. La composition de la population n’est pas la même dans les deux échantillons (Effet de l’échantillon) o Les non-répondants sont en plus grande proportion des
travailleurs comparativement aux répondants, ce qui peut influencer les taux de mobilité.
2. Les comportements de mobilité déclarés des personnes des deux échantillons ne sont pas les mêmes (Effet des coefficients) o Pour ce dernier cas, ceci représente le biais du répondant.
Non-Rep
Méthode de décomposition des effets Taux de mobilité par personne mobile
16
4e colloque annuel de la Chaire Mobilité
Variable d'interaction : Difficile à interpréter. L'objectif est qu'elle soit la plus près de 0.
Effet dû aux différences de comportements entre les deux
échantillons
La différence de comportements de
mobilité est significative
L’effet des
coefficients
explique 94% de
la différence
observée
La distribution des
échantillons
explique 0% de la
différence
observée
Méthode de décomposition des effets Taux de mobilité par personne mobile : Effet des coefficients
• Variables incluses dans le modèle :
• Région de domicile
• Appartenance à une cohorte et un genre
• Être un travailleur temps plein
• Appartenance à un type de ménage
• Celles qui sont significatives :
• Domicile sur l’île de Montréal
• Travailleur temps plein Homme et Femme
• Ménage à 2 personnes, 3 personnes et 4 personnes et plus
17 4e colloque annuel de la Chaire Mobilité
Indicateurs
Web
Télé
ph
on
e
Dif
f
% D
iff/
web
Dif
f si
gn
Nb_depl 2.52 2.20 0.33 12.9% *
NB_NMOB 0.17 0.15 0.02 13.1%
Nb_depl_mob 3.05 2.59 0.46 15.2% ***
Nb_travail_mob 0.55 0.44 0.12 21.1% *
Nb_étude_mob 0.44 0.43 0.01 1.9%
Nb_loisir_mob 0.25 0.18 0.07 28.8%
Nb_magasinage_mob 0.24 0.12 0.12 49.4% **
Nb_autre_mob 0.35 0.24 0.11 31.1%
Nb_AC_mob 1.35 1.07 0.28 21.0%
Nb_AP_mob 0.48 0.42 0.06 12.5%
Nb_TC_mob 0.29 0.41 -0.12 -39.9% *
Nb_MAR_mob 0.32 0.37 -0.05 -15.8%
Nb_PAM_mob 0.87 0.77 0.10 11.1% *
Nb_EXT_mob 0.61 0.22 0.39 64.0% ***
No
n-R
ép
on
dan
t
Taux Différence
Enquête Web vs Téléphonique Le biais du répondant est-il le même ?
18 4e colloque annuel de la Chaire Mobilité
IndicateursW
eb
Télé
ph
on
e
Dif
f
% D
iff/
web
Dif
f si
gn
Éch
anti
llon
Co
effi
cien
t
Inte
ract
ion
% É
chan
% C
oef
f
% In
ter
Éch
an_
Sign
Co
eff_
Sign
Inte
r_Si
gn
Nb_depl 2.85 2.83 0.02 0.8% 0.11 0.47 -0.55 481% 2062% -2443% * **
NB_NMOB 0.16 0.13 0.03 18.7% -0.03 -0.13 0.19 -96% -436% 632% * *** ***
Nb_depl_mob 3.40 3.26 0.14 4.2% 0.00 0.06 0.08 2% 45% 53%
Nb_travail_mob 0.72 0.62 0.10 13.8% -0.01 0.08 0.03 -11% 81% 30%
Nb_étude_mob 0.16 0.07 0.10 58.4% ** 0.06 0.09 -0.06 66% 97% -64% ** *
Nb_loisir_mob 0.31 0.30 0.01 3.2% -0.03 -0.06 0.10 -262% -666% 1029%
Nb_magasinage_mob 0.34 0.47 -0.13 -39.1% * -0.08 -0.12 0.07 60% 94% -54% *
Nb_autre_mob 0.57 0.47 0.10 17.3% 0.04 0.15 -0.09 40% 152% -93%
Nb_AC_mob 1.91 1.74 0.18 9.3% 0.36 -0.47 0.29 201% -266% 165% *** *
Nb_AP_mob 0.31 0.21 0.10 31.0% 0.09 0.16 -0.16 96% 168% -164% *
Nb_TC_mob 0.53 0.47 0.06 11.5% -0.08 0.19 -0.05 -133% 311% -78%
Nb_MAR_mob 0.38 0.53 -0.15 -41.1% -0.24 0.04 0.05 153% -23% -30% ***
Nb_PAM_mob 0.74 0.70 0.04 4.8% 0.08 -0.02 -0.03 238% -66% -72% **
Nb_EXT_mob 0.79 0.59 0.19 24.6% -0.02 0.18 0.03 -11% 93% 17%
Nb_depl 2.52 2.20 0.33 12.9% * -0.16 0.81 -0.33 -48% 251% -102% *** *** *
NB_NMOB 0.17 0.15 0.02 13.1% 0.03 -0.15 0.15 117% -666% 648% *** ***
Nb_depl_mob 3.05 2.59 0.46 15.2% *** -0.07 0.41 0.12 -14% 89% 25% * *
Nb_travail_mob 0.55 0.44 0.12 21.1% * 0.01 0.18 -0.08 10% 156% -66% ***
Nb_étude_mob 0.44 0.43 0.01 1.9% -0.01 0.01 0.01 -145% 124% 121%
Nb_loisir_mob 0.25 0.18 0.07 28.8% -0.04 0.07 0.05 -55% 93% 62% ***
Nb_magasinage_mob 0.24 0.12 0.12 49.4% ** 0.00 -0.02 0.14 -1% -17% 118% ***
Nb_autre_mob 0.35 0.24 0.11 31.1% 0.02 0.14 -0.05 17% 128% -45%
Nb_AC_mob 1.35 1.07 0.28 21.0% 0.01 0.19 0.09 2% 67% 31%
Nb_AP_mob 0.48 0.42 0.06 12.5% 0.02 0.03 0.02 26% 47% 26%
Nb_TC_mob 0.29 0.41 -0.12 -39.9% * -0.07 -0.06 0.01 56% 50% -6% **
Nb_MAR_mob 0.32 0.37 -0.05 -15.8% -0.06 0.04 -0.03 120% -80% 60% *
Nb_PAM_mob 0.87 0.77 0.10 11.1% * 0.02 0.11 -0.04 25% 117% -42% *
Nb_EXT_mob 0.61 0.22 0.39 64.0% *** 0.01 0.30 0.08 2% 78% 20% **
Taux Différence Composante
No
n-R
ép
on
dan
tR
ép
on
dan
t
Différences petites
et non
significatives pour
la majorité des
indicateurs
Différences plus
grandes et
significatives pour
plusieurs
indicateurs
Répondants
Non-
Répondants
Conclusion (1)
• Le biais du répondant :
• semble généralement à la baisse depuis 1993;
• est relativement faible en Pointe du matin;
• soulève cependant des questionnements sur la précision des autres informations qui sont demandées : heures des déplacements, lignes de bus, mode déclaré, lieux d’activité, etc.
19 4e colloque annuel de la Chaire Mobilité
Conclusion (2)
• Alors, que faire pour réduire ce biais ?
• Faire des enquêtes Personnes ? o Les enquêtes ménages sont nécessaires afin de connaitre les
interactions entre les membres d’un ménage.
• Efforts supplémentaires lors de la collecte de données ? -> Beaucoup d’efforts sont déjà faits!
o Une attention particulière aux non-répondants déclarés non-mobiles pourrait cependant aider.
• Utiliser seulement l’échantillon Répondants pour certaines analyses ?
o Échantillon plus petit pour certaines tranches de la population.
20 4e colloque annuel de la Chaire Mobilité
• Un biais sur lequel nous avons le contrôle : Biais “d’Excès de confiance” (Over confidence bias)
En terminant …
21 4e colloque annuel de la Chaire Mobilité
Source : http://synapsetrading.com/2010/12/overconfidence-bias-behavioral-finance-trading-psychology/
