118
Outils pour l’évaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

Embed Size (px)

Citation preview

Page 1: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

Outils pour l’évaluation de la

recherche scientifique

Brigitte BénichouxINIST-CNRS

25 juin 2010

Page 2: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 2

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 3: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 3

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 4: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 4

Vous avez dit « évaluation » ? Pour quoi ?

Validation du travail scientifique Place de la recherche française Rôle des universités

Par qui, pour qui ? LOLF, l’AERES Les organismes de recherche, les universités Le grand public

Page 5: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 5

De quoi ? Des chercheurs, Des publications, Des établissements

Comment ? Les experts Les indicateurs bibliométriques

Page 6: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 6

La LOLF

Loi Organique relative aux Lois de Finances

Nouveau cadre de gestion de l’administration

Janvier 2006 Introduction d’objectifs et d’indicateurs

de performance

Page 7: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 7

Page 8: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 8

L’AERES Evaluation des établissements

d’enseignement supérieur et des organismes de recherche « … sur la base de critères objectifs » Établissements Activités de recherche Formations Procédures d’évaluation

Page 9: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 9

L’AERES Experts

4 niveaux de notation… … sur 4 critères

Qualité scientifique Rayonnement Stratégie , vie du laboratoire Appréciation du projet

Et une note globale Chercheurs et enseignants-chercheurs

Nombre de publications Autres indicateurs

Pertinence recherches,Qualité des résultatsImpact international,

Prise de risqueQualité et quantité des publications

Thèses encadréesLogiciels, brevets

Diffusion de la connaissance,Obtention de contrats

Notoriété, attractivité du laboratoireRelations internationales,

Invitations,Prix ou distinctions,Contrats nationaux,

Organisation de congrès,Comités éditoriaux,

Instances d’évaluation,Post-doctorants.

Vitalité de l’unité,Animation scintifique

Incitation aux échangesPolitique recrutement ouverte,

Enseignement supérieur,Insertion dans l’environnement.

Cohérence,Potentiel humain,

Affectation de moyens,Politique prévisionnelle

Page 10: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 10

Organismes de recherche

Décret de 1983

Instances Principe de collégialité Disciplinaire

Organisation Rythme biennal ou quadriennal

Page 11: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 11

Documents demandés Chercheurs du CNRS :

compte-rendu annuel d’activités rapport d’activité détaillé tous les deux ans objectifs de recherche, tous les 4 ans mise à jour de la liste des publications tous

les deux ans

Au niveau collectif : Informations administratives Informations scientifiques

Page 12: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 12

Critères Activité scientifique

Objectifs et intérêt du projet

Rayonnement Diversité

Activités d’animation et de valorisation Direction de recherches Enseignement

Production scientifique  indicateurs

bibliométriques et autres

Collectif Idem + organisation interne

Page 13: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 13

Conséquences Pour le chercheur

Recommandations écrites Primes Promotion

Pour le collectif Recommandations … … si évaluation négative diminution des

moyens, non renouvellement, fusion

Page 14: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 14

En général … Activités de recherche : Résultats,

collaborations, publications (nb, qualité, impact), innovation des thèmes et procédures de recherche

Activités de valorisation : brevets, contrats Activités de gestion : animation d’équipe,

direction de projets, réponses à appels d’offre Diffusion de la culture scientifique :

Enseignement, direction thèses, expertises Mobilité thématique et géographique

Page 15: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 15

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 16: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 16

Qualité de l’enseignement supérieur

Un mouvement international… Processus de Bologne UNESCO, OCDE, Banque Mondiale Guide de bonnes pratiques, Lignes

directrices…

… avec des répercussions nationales

Page 17: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 17

Une multitude de classements Classements internationaux

Shanghaï THES (Times Higher Education Supplement) Les autres

Généraux : Newsweek, Ecole des Mines de Paris Par discipline : Shanghaï, THE, management Objets particuliers : webometrics

Classements régionaux CHE (Allemagne), CWTS (Leiden) Classement européen

Classements nationaux US News and World Report Maclean’s (Canada), La Repubblic (Italie), Excelencia

(Spain)…

Page 18: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 18

Shanghaï 2003, Thomson Critères

Anciens étudiants ayant reçu un prix Nobel ou la médaille Fields 10%

Membre de l’équipe universitaire ayant reçu… 20%

Nombre de chercheurs parmi les plus cités 20%

Articles publiés dans Nature ou Sciences 20% Articles indexés dans WoS 20% Résultats rapportés à la taille de l’institution

10%

Page 19: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 19

Page 20: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 20

1° : Harvard2° : Stanford3° : Berkeley

4° : Cambridge, UK5° : MIT

40° : Paris 6 P.et M. Curie

Page 21: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 21

Shanghaï - critiques Hétérogénéité des indicateurs

Périodes différentes SHS n’ont pas le critère N&S

Biais des données de base : affiliations, langue, couverture, DT

Nobel Critères redondants Parution annuelle

Page 22: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 22

THES-QS Depuis 2004, Times Higher Education Suppl.,

Quacquarelli Symonds

Grand public. Comparaison internationale des universités mobilité des étudiants

Indicateurs Qualité de la recherche : peer review 40%, nombre

de citations 20% Qualité de l’enseignement : ratio

étudiants/enseignants (20%), recrutement 10% Ouverture internationale : enseignants (5%) et

étudiants (5%) étrangers

Page 23: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 23

Page 24: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 24

28° : Ecole Nationale

Supérieure

1° : Harvard, US2° : Cambridge, UK3° : Yale, US4° : Univ College London5° : Imperial College London

Page 25: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 25

THES - critiques Collecte des données Prédominance de la langue anglaise Universités mondiales… sauf pays en

développement ! Améliorations constantes

Normalisation des scores WOS Scopus (couverture plus large…)

Page 26: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 26

Paris Tech - Mines Classement professionnel

Anciens étudiants qui occupent poste n°1 dans une des 500 plus grandes entreprises internationales

Page 27: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 27

1° : Tokyo2° : Harvard3° : Stanford

4° : Waseda, Japon5° : Séoul

Page 28: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 28

Webometrics Mesure de l’activité scientifique sur le web

visibilité Soutient l’open access, les PVD Classe 4000 universités et 1000 organismes

de recherche Public visé : autorités universitaires,

membres décideurs Résultats :

Bons pour les établissements de recherche Moins bons pour les universités

Page 29: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 29

Webometrics, critères

« World Ranking » S (size) : nombre de pages 20% V (visibility) : liens entrants 50% R (rich files) : diversité des formats de

fichiers 15% Sc (Scholar) : référencement GS 15%

Page 30: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 30

Page 31: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 31

1° : MIT2° : Harvard3° : Stanford4° : Berkeley5° : Cornell

129° : Université Paris 6 Pierre et Marie Curie

Page 32: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 32

Leiden rankings 1000 universités européennes qui

ont plus de 700 publications/an dans le WOS

Indicateurs du CWTS Résultats différents en fonction

des critères

Page 33: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 33

Universités européennes

Page 34: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 34

Et il y en a d’autres… SCImago institutions rankings The Carnegie classification of institutions

of higher education, Stanford Performance ranking of scientific papers

for world universities, Taïwan US News and World reports Echelle de Vincennes Classement par dominance ….

Page 35: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 35

SCImago institutions rankings

Page 36: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 36

Page 37: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 37

On y pense…. Valérie Pécresse Commission Européenne classement

Pluridemnesionnel Indépendant Transparent D’ampleur mondiale

CHERPA Contextes Institutions comparables Classements par disciplines

Page 38: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 47

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 39: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 48

Bibliométrie

Bibliométrie : « Application de méthodes mathématiques et statistiques aux livres et autres moyens de communication » Pritchard (1969)

Postulat : la recherche scientifique est la production de connaissance, la littérature scientifique en est la matière constitutive

Page 40: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 49

Bibliométrie Résultats

Indicateurs Comptage des publications Quantité Comptage des citations Performance Comptage des co-citations Connexion entre

les chercheurs ou les domaines de recherche

Objectifs Cognitifs Opérationnels

Page 41: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 50

Création des indicateurs Création d’un corpus d’analyse

Reformatage Sélection des données Traitements

À partir de sources existantes ou non

Utilisation des indicateurs existants ou création d’indicateurs « home made »

Page 42: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 51

Sources

Couverture Taille du corpus Identification auteurs et affiliations Erreurs de typographie, longueur des

articles, nombre de coauteurs, de références citées….

Définition des disciplines

Page 43: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 52

Citations « impact » « reward/rhetorical » Des parasites…

auto-citations non cités « over citation »

Impact n’est pas corrélé avec la qualité, mais avec la visibilité

Page 44: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 53

Pourquoi cite-t-on ?

Citations négatives Consensus social Prestige Diffusion Conventions de citations Linguistique

En quoi tous ces facteurs sont-ils liés à la qualité de l’article ?

Page 45: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 54

Soyons prudents !

Illusion de la métrique Erreurs de mesure Manipulation Technique monopolistique Vision partielle

Page 46: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 55

Pour beaucoup …

« any number beats no number »

M. Zitt :«  si la scientométrie est un miroir de la science en

action, alors la responsabilité des scientométriciens est de polir ce miroir et de prévenir des illusions d’optique »

Page 47: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 56

Les indicateurs sont souvent “misunderstood, misinterpreted, misused ”

Aucun indicateur ne devrait être utilisé seul

Les indicateurs doivent être utilisés par des personnes compétentes

La réalité est trop complexe pour être mesurée en nombres et statistiques

Page 48: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 57

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 49: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 58

Les indicateurs Quantitatifs

La revue Le chercheur ou l’institution

Qualitatifs En amont peer review En aval commentaires, blogs,

récompenses, prix, invitations

Nb d’articles ou brevetsNb de citations

nb cit/article, Article Influence ScoreH index, m index, g index,

Field normalized citation score,Journal normalized citation score,…

Facteur d’impact, SJR, Eigen factor score, Y factor,Journal cost-effectiveness,

facteurs d’usage,SNIP, …

Page 50: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 59

Comptage des publications A partir des bases de données

bibliographiques et/ou de la structure évaluée

Mesure simplifiée et approximative de la production

Indicateurs dérivés analyse de la productivité

Surtout valable pour des chiffres élevés Brevets Co-publications

cherc

heu

rs

Page 51: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 60

Comptage des citations A partir de certaines bases de données

bibliographiques Mesure de l’impact Indicateurs dérivés

Moyenne de citations/article ou par chercheur Pourcentage de la production mondiale Corrélation avec nombre de déchargements

Co-citations Uncitedness

cherc

heu

rs

Page 52: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 61

Comptage de présence Attribution à chaque élément d’une part

entière S’interprète en termes de participation

Comptage fractionnaire Attribution à chaque élément en fonction de

sa participation S’interprète en termes de contribution

Page 53: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 62

Indice h Plus grande valeur de h pour laquelle

le chercheur a publié h articles qui ont reçu au moins h citations

Allie le comptage des publications et la distribution des citations

Dépend de la discipline Créé pour un auteur, mais sera

appliqué à un groupe d’auteurs ou à une revue

cherc

heu

rs

Page 54: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 63

Indice h Mais

Auto-citations Co-publications Obtention données sources exactes est

difficile Basé sur le long terme Ne peut diminuer Age de l’auteur m-quotient

cherc

heu

rs

Page 55: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 64

… et les autres… Age académique des auteurs v-index (Vaidya

2005) Prise en compte des articles très cités g-index

(Egghe, 2005) Co auteurs comptage fractionnaire des citations

et des articles hm-index, pure h-index (Schreiber, Chai)

Prise en compte du nombre de citations dans le h-core a-index, m-index, R-index

Nombre de citations augmente AR-index

cherc

heu

rs

Page 56: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 65

…. Adaptation pour les institutions h1 et h2

(Praathap, 2006) Différenciation des auteurs qui ont le même h

e-index (Zhang, 2009) Plus de poids aux articles plus récents

contemporary h-index (Sidiropoulos, 2006) En fonction du nombre d’auteurs individual

h-index

cherc

heu

rs

Page 57: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 66

Les comptages normalisés

Comparaisons de l’impact reçu par l’entité avec la moyenne mondiale

relative impact index Journal/Field normalized citation score Crown indicator, CWTS, Leiden Top 5%

(CWTS) Nb de publications, de citations, de citations/article, avec ou sans autocitations

cherc

heu

rs

Page 58: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 67

Les indicateurs de Thomson ISI, Garfield Thomson, Reuters Base de données, WOS

Nb publications, Nb des citations Tris H index

JCR Facteur d’impact Indice immédiateté Demi-vie citée et citante

ESI Tri des auteurs, organismes, pays, articles les plus

cités

Page 59: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 68

0 2 4 6 8 10 12 14 16 18 20

Immediacy Index Window

Impact Factor Window

50% of 50% ofcitations citations

Time after publication (Years)

Cita

tion

s

Cited half-life

From : M. Amin, M. Mabe.- Impact Factors : use and abuse

Page 60: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 69

Facteur d'impact Indique le nombre moyen de citations

auquel un article (publié dans un journal donné) peut prétendre

Evaluation de l'importance relative d'un périodique dans un domaine donné

=nb de citations (année N) aux articles (N-1 et N-2)

nb d'articles (années N-1 et N-2) pour un périodique

revu

es

Page 61: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 70

Indice d'immédiateté (R)

Même calcul que Facteur d’Impact, mais concerne les citations pendant l’année N d’articles publiés pendant l’année N (pour un périodique donné)

= nb de citations aux articles nb total d'articles dans l'année de la parution Indique la rapidité de citation des articles d'une

revue Plus il est élevé, plus la revue est dynamique

revu

es

Page 62: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 71

Journal cited half-life (R)

Âge médian des articles du journal cités dans l’année en cours

= nb d'années nécessaire pour obtenir 50% des citations aux articles du journal

N'est pas un élément d'évaluation pour un périodique, mais plutôt de gestion de collection et/ou archivage.

Cited journal table : liste des titres qui citent le périodique en question et nombre d'occurrences par année

Cited-only journals : dont les références ne sont pas indexées par l'ISI

revu

es

Page 63: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 72

Journal citing half life (R)

Âge médian des articles cités par le journal

= nb d'années nécessaires pour obtenir 50% des citations par ce journal

Evaluation de la moyenne d'âge des articles cités par un périodique

Citing journal table: liste des titres le plus souvent cités par les articles du journal en question

revu

es

Page 64: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 73

Facteur d’impact - Critiques

Numérateur/dénominateur Fenêtre temporelle courbes différentes

Mais… (maths) Auto-citations Variations disciplines Langue Variation d’une année sur l’autre

En quoi est-ce un indicateur de qualité scientifique ?

revu

es

Page 65: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 74

Variantes du Facteur d’Impact Influence weight (Pinski, Narin 1976) : les

citations d’un journal plus influent ont plus de poids

Median Impact Factor ( Rousseau, 2004) : fenêtre temporelle est la cited half-life

H-type index (Braun, 2005) Article-count impact factor (2008) Eigen factor score and Article influence score

(2007) SJR Scimago journal ranking (2008)

revu

es

Page 66: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 75

Essential Science Indicators

Sur 10 ans du web of science (+ 6 mois) Articles scientifiques, articles de synthèse,

proceedings papers, research notes MAJ : 2 à 4 mois 22 domaines de recherche Lien vers Web of Science

revu

es

cherc

heu

rs

Page 67: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 76

ESI - indicateurs Tri des auteurs, organismes, revues, ou pays

les plus importants (“citation rankings“)

"most cited papers" Highly cited papers Hot papers 

Analyse de citations Baselines Research fronts

revu

es

cherc

heu

rs

Page 68: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 77

Seuil d’acceptabilité Le nombre de citations/article suit une

loi de distribution : Beaucoup d’articles sont peu cités Peu d’articles sont beaucoup cités

Méthode de sélection : Tri décroissant Sélection du « top » : 1% pour les auteurs et

les organismes, 50% pour les revues et les pays

Page 69: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 79

SCImago et le SJR Open source, CSIC (Espagne) Indicateurs pour pays et revues Source : Scopus depuis 1996 Indicateurs

SJR = Nombre de citations reçues par les articles d’une revue/nb total d’articles publiés dans l’année + pondération itérative

h-index (revue) Documents, cites, references, citable documents,

self cites, cited documents, cites per doct (2, 3, 4 ans)

Couverture géographique et linguistique plus large Auto-citations restreintes Forte corrélation entre SJR et FI

revu

es

Page 70: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 80

Page 71: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 81

Page 72: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 82

Page 73: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 83

Eigen metrics Eigen factor

Prend en compte le poids des revues qui citent Autocitations éliminées Sur 5 ans Sciences + sciences sociales

Eigen Factor Score Nombre de fois où un article des 5 dernières années

de la revue a été cité dans l’ "année JCR" Article Influence Score

Importance relative d’une revue sur la base des articles (EFS divisé par les articles publiés dans la revue)

revu

es

Page 74: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 84

Page 75: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 85

Page 76: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 86

Comptages normalisés

SNIP = source normalized impact per paper Raw impact per paper (RIP) ÷ Relative Database Citation Potential (RDCP) RIP se calcule comme FI

Sur 3 ans Corrige les inégalités dans la couverture de la

base Exclut les auto-cit. aux éditoriaux et non-citable

docts RDCP

Citation potential : moyenne du nb des références citées (1-3ans) par article citant

revu

es

Page 77: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 87

SNIP Corrige différence en termes de potentiel

de citations entre 2 revues de catégories différentes

Prend en compte la couverture de la base de données

Les revues dans les domaines peu couverts ne sont pas défavorisées (SHS, Sc appliquées)

revu

es

Page 78: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 88

Page 79: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 89

Page 80: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 90

Comptages normalisés

Facteur d’audience FI pondéré En proportion inverse du nb moyen de

références appartenant à la fenêtre de citation choisiere

vu

es

Page 81: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 91

L’OST, producteur d’indicateurs Observatoire des sciences et techniques Conception et production d’indicateurs

sur la recherche et le développement Base de données sur la recherche

internationale Permettre aux acteurs de la recherche de

caractériser leur activité scientifique

Page 82: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 92

Indicateurs OST Pour une institution, un pays

Part de publications, de citations Indice de spécialisation scientifique Indice d’impact relatif Indice d’impact espéré Ratio de citations relatif Indice d’activité par classe de citations Part d’articles en co-publication

Indicateurs à la demande LOLF IPERU

Page 83: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 93

Part de publications scientifiques

Source : http://www.obs-ost.fr

Page 84: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 94

Source : http://www.obs-ost.fr

Page 85: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 95

Source : http://www.obs-ost.fr

Page 86: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 96

Indice de spécialisation scque

Page 87: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 97

Page 88: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 98

Part de citations

Page 89: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 99

Indice d’impact relatif

Page 90: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 100

Indice d’impact espéré

Page 91: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 101

Ration de citations relatif

Page 92: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 102

Indice d’activité par classe de citations

Page 93: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 103

Part d’articles en co-publication

Page 94: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 104

Facteur d’usage des articles

Prestige vs. Popularité

Les + Disponible rapidement, avant les

citations Pas uniquement articles Différents aspects de l’impact Recouvrement usage factor/impact

factor

art

icle

s

Page 95: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 105

Facteur d’usage des articles Les –

Pas beaucoup de recul Pas beaucoup de données Bruit

Activité humaine Robots

Précautions dans l’interprétation

Page 96: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 108

COUNTER UKSG (2002) = Counting Online User NeTworked

Electronic Resources SUSHI (Standardized Usage Statistics

Harvesting Initiative) usage reports Indicateurs

Comptages Usage impact factor

Utilisé par Thomson : Journal Use Reports

Page 97: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 109

MESUR Los Alamos Laboratory MEtrics from Scholarly Usage of

Resources Modélisation des relations agent-

document-contexte Nombreux indicateurs

Page 98: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 110

Indicateurs qualitatifs Evaluation par comité de lecture, a priori = peer

reviewing… condition sine qua non Choix des experts Sur dossier ou par entretien

Mais … Anonymat favorise désengagement Expertise, efficacité qualitative Logiques de carrière Longueur et coût du processus Rôle de filtre ?

Page 99: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 111

Indicateurs qualitatifsModèles alternatifs Open peer-review : anonymat des experts levé

Critiques argumentées Evaluation par les lecteurs a posteriori = peer

commenting Co-existence de deux modèles

Autocensure (crédibilité) dans les archives ouvertes

Prix

Art

icle

s/ch

erc

heu

rs

Page 100: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 112

Faculty of 1000

Faculty of 1000 Evalue les articles Biologie et médecine Experts 2 à 4 articles /mois Commentaire + classement

typologique + note Controverse (dissent)

art

icle

s

Page 101: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 113

Page 102: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 149

Processus d’évaluation

Classement des universités

Bibliométrie Indicateurs

Quantitatifs Qualitatifs

Normalisation des adresses

Page 103: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 150

Prévenir les chercheurs/auteurs !

Qu’advient-il de leur « manuscrit » ?

Editeur

Producteur base de données

Producteur indicateurs

Page 104: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 151

Traitement par Thomson Hiérarchie descendante Inversion de l’ordre « And » deux lignes Normalisation Lien auteur-affiliation Une seule main organization par ligne

Recherche information dans toute la ligne … mais uniquement OG dans ESI

Multi affiliations mono-ligne ou multi lignes

Page 105: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 152

Exemple hiérarchieAffiliation d’un auteur Unité de physiologie animale, INRA, F-35000 Rennes

OUINRA, Unité de physiologie animale, F-35000 Rennes

Sera retranscrite dans le WOS, selon un modèle hiérarchique descendant : [main organization]=INRA [sub organization]=unité de physiologie

animale

Page 106: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 153

Problème de repérage de main organizationAuthor(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F.

Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey-Marinier, D.

Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France

CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France

CREATIS, INSERM, U630, F-69621 Villeurbanne, France Inst Natl Sci Appl, CREATIS, F-69621 Villeurbanne,

France Univ Lyon 1, CREATIS, F-69677 Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3,

UMR 6550, F-13288 Marseille, France

Page 107: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 154

Page 108: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 155

Problème de repérageAuthor(s): Valton, S. Peyrin, F. Delpierre, P. Debarbieux, F.

Bonissent, A. Khoury, R. Meessen, C. Morel, C., Sappey-Marinier, D.

Addresses: Sappey-Marinier D (reprint author), CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France

CREATIS, CNRS, UMR 5515, F-69621 Villeurbanne, France CREATIS, INSERM, U630, F-69621 Villeurbanne, France Inst Natl Sci Appl, CREATIS, F-69621 Villeurbanne, France Univ Lyon 1, CREATIS, F-69677 Bron, France Univ Mediterranee Aix Marseille 2, CPPM, CNRS, INP3, UMR

6550, F-13288 Marseille, France

Page 109: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 156

Multi-affiliations

Laboratoires mixtes Tutelles sur la même ligne = monoligne Adresse scindée en plusieurs lignes =

multiligne

Page 110: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 157

Multi-affiliations Conséquences

Avantages multi ligne : rétablit mauvaise prise en compte multi

affiliations dans WoS toutes les tutelles d’une UMR sont identifiées

Inconvénients multi ligne : modifie calcul de certains indicateurs empêche d’identifier tutelles d’une unité et

collaboration

Page 111: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 158

Modèle multi ligne …

Page 112: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 159

… dans le WoS

Page 113: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 160

Modèle mono ligne…

Page 114: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 161

… dans le WoS

Page 115: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 162

Conséquences Perte de visibilité des

organismes français

Pertinence du calcul des indicateurs Exhaustivité d’identification Choix du type de comptage

Page 116: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 163

Recommandations /propositions? Appellation unique Hiérarchie ascendante/descendante Monoligne/multiligne

Monoligne : univ Marne la Vallée Multiligne : INSERM, CNRS

Adresse Détaillée pour auteur référent (IRD, université, INSERM) Sans cedex

Unicité acronyme unité (IRD) Unités mixtes Structures pérennes et stables Ponctuation

Sans trait d’union : « Université Paris Descartes »

Page 117: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 164

Normadresses OST, fin 2006 Améliorer libellé des adresses françaises

dans WoS Normalisation des adresses Information sur les modes de calcul des

producteurs

Trois propositions Normalisation adresses, forme descendante Listes d’autorité Laboratoires multi-affiliés

Page 118: Outils pour lévaluation de la recherche scientifique Brigitte Bénichoux INIST-CNRS 25 juin 2010

B. Bénichoux - 25 juin 2010 165

Merci ….

[email protected]