275

J Chir 2006,143, N°5 • © 2006. Elsevier Masson SAS. Tous droits réservés.

Éditorial

Quel est l’impact du facteur d’impact ?

C. Mariette 1, K. Slim 2

1. Service de chirurgie digestive et générale, CHRU – Lille.2. Service de chirurgie digestive et générale, CHU – Clermont-Ferrand.

Correspondance : C. Mariette, Service de chirurgie digestive et générale, Hôpital Claude Huriez,1 place Verdun, CHRU, F 59037 Lille cedex. e-mail : c-mariette@chru-lille.fr

Chaque année une société privée, l’Institute of ScientificInformation (ISI, Philadephie, États-Unis), publie le JournalCitation Reports (JCR) qui comporte une classification desjournaux mondiaux, fondés sur le calcul du facteur d’impact(impact factor ou IF), dans les domaines des sciences, de lamédecine et des technologies.

Définition, historique

L’IF représente pour une année donnée, le rapport entrele nombre de citations (nominateur) sur le nombre d’articlespubliés (dénominateur) par un journal, pendant les deuxannées précédentes. Il mesure donc la fréquence moyenneavec laquelle l’ensemble des articles de ce journal est cité(à court terme) pendant une durée définie. L’utilisation del’IF a été proposée par Eugène Garfield il y a déjà 50 anscomme un indicateur mesurant la consommation des ar-ticles scientifiques [1] (figure 1). L’utilité de l’IF obéit à unprincipe simple et intuitif : plus un article est cité (consommé),plus il (ou le Journal dans lequel il est publié) risque d’influersur les pratiques.

Calculons l’IF du Journal de Chirurgie [J Chir (Paris)] :31 articles publiés par le J Chir (Paris) ont été cités en 2004alors que 77 articles ont été publiés en 2002-2003. L’IFdu J Chir (Paris) en 2004 est donc de 31/77 = 0,403 (figure 2).

L’IF est largement utilisé par une multitude d’intervenantsdans la recherche scientifique : par les éditeurs pour évaluerleurs journaux, par les firmes pharmaceutiques pour choisirles journaux où insérer leurs messages publicitaires, par leslibraires pour sélectionner leurs abonnements, par les auteursqui cherchent une bonne visibilité à leurs travaux, par les uni-versités ou les hôpitaux pour évaluer les centres ou les équipesde recherche, ou par les jurys pour évaluer les candidats à unconcours. Rapidement l’IF était interprété comme un critèrede qualité du Journal, voire des articles selon le journal où ils

sont publiés, voire même des auteurs. En fait, il faut être pru-dent et « ne pas faire dire à l’IF ce qu’il ne dit pas ». L’IF ases propres limites et doit de toute manière être interprété entenant compte d’autres index disponibles dans le JCR.

Les limites du facteur d’impact

L’IF est un indice très sensible, qui peut varier en fonction dela nature, du format, de la taille ou du nombre d’articles pu-bliés dans un journal. Ainsi les éditeurs peuvent augmenterartificiellement l’IF en réduisant la publication de cas cliniques(peu cités) et en favorisant celle des revues de la littérature(ou mises au point) souvent cités par les auteurs (pour gagnerdu temps et de la place, ils ont tendance à citer des revues desynthèse plutôt que des mémoires originaux). D’autre part,il a été aussi démontré que les articles accessibles gratuite-ment sur internet à partir de Pubmed® (full text on the net– FUTON-) étaient plus souvent cités que les articles payants[2]. Enfin, l’inclusion des items « non-citables » (éditoriaux,lettre à l’éditeur, commentaires en fin d’article…) dans le nu-mérateur est erronée et introduit un biais dans l’interprétationde l’IF qui est artificiellement augmenté.

Les auteurs, surtout anglophones, méconnaissent souventla littérature non anglophone. Les articles publiés dans unelangue autre que l’anglais sont peu cités car peu lus [3].

Si les spécialités cliniques tendent à citer des articles derecherche fondamentale, l’inverse n’est pas vrai. Ainsi lesarticles de recherche sont cités 3 à 5 fois plus souvent que lesarticles cliniques.

Pour illustrer ces limites, l’exemple des revues françaiseschirurgicales est édifiant : elles cumulent les handicapsen termes d’IF : elles sont des revues de sciences cliniques,

Figure 1 : Eugène Garfield.Figure 2 : Facteur d’impact du Journal de Chirurgie (J Chir) et des Annales de Chirurgie (Ann Chir) (1998-2005).

0,8

0,6

0,4

0,2

01998 1999 2000 2001 2002 2003 2004 2005

fact

eur

d’im

pac

t

année

J Chir Ann Chir

0,606

0,462 J Chir0,455 Ann Chir

0,56 0,5450,802 0,578

0,4870,519

0,4030,34

0,309

0,213

0,326

0,1930,234

Quel est l’impact du facteur d’impact ? C. Mariette, K. Slim

276

sont publiées en langue française, et concernent une spécialitépeu représentée dans le monde scientifique [4].

Seules les revues systématiques sans restriction de languesont exhaustives. Dans les autres cas, une sélection est faited’une manière ou d’une autre par les auteurs. Il existe plusieursmotivations, de poids très variables, pour citer un article, et lapratique de la citation varie beaucoup selon les disciplines etles pays. Le fait que l’ISI inclut surtout des journaux américainsfavorise ces revues.

Tel qu’il est conçu, le calcul de l’IF (articles publiés enl’an X et cités en X + 2) peut être pénalisant pour certainsarticles même excellents : soit parce que ces articles comportentdes résultats à long terme, et même cités dans un travail ulté-rieur (pour confirmer ou infirmer leurs conclusions) ces articlesne sont pas comptabilisés dans l’IF car leur citation aurait étéfaite au-delà des 2 ans [5] ; soit du fait de longs délais de pu-blication des travaux citant ces articles [6].

À l’inverse, les revues publiant des articles cités la mêmeannée de leur publication (grâce notamment à leur prépubli-cation sur internet) et moins cités ultérieurement, sont aussipénalisées.

L’IF est d’abord un indice de visibilité d’un journal. Maisil ne renseigne pas obligatoirement sur la situation de tous lesarticles publiés dans ce journal : en effet, seul un petit nombred’articles est fréquemment cité. Il a été démontré que 80 %des citations concernent en fait 20 % des articles publiés dansun journal (règle 80/20) [7]. Il n’y a donc pas de corrélationobligatoire entre la fréquence de citation d’un article et l’IFdu journal dans lequel il est publié.

Du fait de son délai de publication dans le JCR, l’IF nerend pas compte des changements récents intervenus dans lapolitique éditoriale d’un journal puisqu’il reflète la situationdes journaux avec un retard de 4 ans.

Enfin, des problèmes techniques ont été rencontrés avecla base de données de l’ISI : le nombre de journaux inclus estinsuffisant, seuls 5 900 titres sur les 16 000 journaux disponi-bles sont référencés, le nombre de journaux varie d’une annéeà l’autre, il existerait jusqu’à 25 % d’erreurs de saisie, ainsi quedes problèmes liés aux homonymes et aux synonymes [8].

En fait, le JCR ne comporte pas uniquement l’IF, plusieursindices complémentaires sont disponibles et doivent être prisen compte dans l’évaluation d’un journal.

Indices complémentaires

L’indice d’immédiateté (immediacy index)Il représente le rapport entre le nombre de citations des articlespubliés dans l’année à ce nombre d’articles. Lorsque cet indicevaut 2, un article publié dans la revue est en moyenne cité 2 foisdans l’année suivant sa publication. C’est donc une mesurede la rapidité de citation des articles. Seules les très grandesrevues généralistes ont un facteur d’immédiateté élevé (> 2).Pour le Journal, cet indice était de 0,382 en 2004 (13 citationsen 2004 pour 34 articles publiés cette même année).

La demi-vie des citations (cited half-life)Elle est définie comme le temps au bout duquel celles-citombent en deçà du seuil de 50 %. C’est donc une mesurede la longévité des citations d’un journal. La demi-vie desarticles dépend de leur nature : en fonction du temps, le taux

de citation suit une courbe en cloche, qui passe par un maxi-mum entre 2 et 3 ans ; les articles atypiques ne commençantà être cités que beaucoup plus tard. A l’inverse, lorsque la demi-vie est inférieure à une année, le journal est considéré d’une« actualité brûlante ». Pour le Journal cet indice était de 6,9 ansen 2004.

Le rang de classementLe rang de classement d’une revue (journal ranking) en fonctionde son IF, au sein de la spécialité, est un bon élément pourdépartager la pénétration des revues. Le rang de classementdu Journal était 118 en 2004.

L’indice d’autocitation (self citing index)Il permet de quantifier le degré d’autocitation d’une revue etde produire ainsi un IF corrigé.

Le nombre de pages électroniques consulté (hit rates)Il devient un indice de plus en plus important et peut constituerdans l’avenir une alternative à l’IF.

La comparaison du pourcentage de revues ayant un IF supérieur à 1Par spécialité, elle permet de pallier à la disparité élevée de l’IFselon les spécialités [9].

Le nombre total de citations (total number of citations) d’un articleIl est probablement le seul indice permettant d’évaluerdirectement l’impact du travail de recherche au sein dela communauté scientifique.

L’IF est-il un critère de qualité ?

Qualité d’un journalL’IF permet de classer les journaux selon leur visibilité. Maisvisibilité n’est pas obligatoirement synonyme de qualité [5].L’IF renseignent surtout sur le nombre et le type de publi-cations d’un journal pas nécessairement sur la qualité de celui-ci. Une récente étude a montré une grande discordance entreun classement des meilleurs journaux fait par des scientifiqueset un classement fondé sur l’IF. Les meilleurs journaux selonles scientifiques : #1 N Engl J Med, #2 J Clin Invest, #3 Lan-cet, #4 JAMA, #5 Ann Intern Med, et #7 BMJ, étaient classéspar l’ISI selon leur IF respectivement en #5, #49, #16, #97,#38, et #160 [10]. Les scientifiques ont pris en compte les pu-blications liées à la production scientifique, tandis que les ci-tations reflètent plutôt leur visibilité.

Qualité d’un article ou d’un auteurSi l’on considère que la médecine factuelle est fondée sur lesmeilleures preuves scientifiques (articles d’excellente qualité),on peut supposer une corrélation entre l’IF d’un journal et leniveau de preuves des études qu’il publie. Mais cette hypothèseest contredite par la majorité des études [11, 12].

277

ÉditorialJ Chir 2006,143, N°5 • © 2006. Elsevier Masson SAS. Tous droits réservés.

D’autre part au delà du paradigme de la médecine factuelle,nous avons tous été confrontés au refus de nos manuscritssoumis pour publication dans les journaux à haut IF (figure 3)alors que la publication souvent très laborieuse dans ces jour-naux est considérée par les jurys universitaires comme un gagede qualité. Mais cette théorie a aussi été contredite par uneétude récente qui a montré l’absence de corrélation entre letaux de rejet des manuscrits et l’IF des journaux [13]. De plus,la règle 80/20 (voir plus haut) ne permet pas de prédire la qua-lité d’un travail sur le simple fait de la publication dans unjournal à haut IF. A contrario, on peut observer que l’IFmoyen spécifique d’un auteur sur une période donnée (tauxde citations propres) peut être supérieur à l’IF moyen des jour-naux où ses articles ont été publiés [14].

L’IF est un critère numérique de citation et non ducontexte de cette citation. Par exemple, lorsqu’un auteur citecet éditorial (ce qui comptera pour le calcul de l’IF de du Jour-nal) : il pourrait écrire « je confirme les données de C. Ma-riette et K. Slim », ou bien « les calculs erronés de C. Marietteet K. Slim laissent croire que… », ou bien « le travail fraudu-leux de C. Mariette et K. Slim… », la citation sera considéréede la même manière dans le calcul de l’IF alors qu’il s’agitd’évaluations diamétralement opposées du travail cité [15] !

Enfin, l’exemple extrême vient de Corée : l’une des fraudesscientifiques les plus retentissante de ces dernières années aconcerné le clonage humain. L’étude frauduleuse (Hwang,WS et al. Science 2004;303:1669-1674) a, durant sa courte vie,été référencée 178 fois ; or l’analyse de l’IF n’aurait jamais per-mis de reconnaître la nature peu éthique de l’étude.

Nous voyons donc que l’IF ne peut être considéré commeun critère de qualité d’un article ou d’un auteur. Il est un simplecritère de visibilité d’un journal.

Conclusion

Tous les indicateurs fournis par le JCR (pas seulement le fac-teur d’impact) devraient être pris en compte si l’on veut obtenirune évaluation globale des performances d’un journal. Ils doi-vent être considérés d’abord comme des outils de bibliométrie,utiles aux professionnels de la documentation pour orienterleur politique d’acquisition, et aux éditeurs scientifiquespour suivre la performance et l’évolution de leurs titres. Ils neconstituent pas des indicateurs fiables de la production scien-tifique individuelle. Ceux qui utilisent ainsi le facteur d’impactle font souvent à mauvais escient, sans s’interroger suffisam-ment sur les modes de calcul et leurs limites.

Le facteur d’impact est utile mais ne constitue pas la pa-nacée dans l’évaluation d’un travail scientifique individuel oucollectif.

Références

1. Garfield E. Citation indexes to science: a new dimension in docu-mentation through association of ideas. Science 1955;122:108-111.http://garfield.library.upenn.edu/reversepub.html.

2. Dong P, Loh M, Mondry A. The "impact factor" revisited. BiomedDigit Libr 2005;2:7.

3. Ugolini D, Garrucciu R. Low impact factor of Italian journals: ano-ther aspect of the poor research funding? Eur J Cancer 2005;41:485-488.

4. Comité de rédaction. Les Annales de Chirurgie à la croisée des che-mins. Ann Chir 2005;130:1-2.

5. Hansson S. Impact factor as a misleading tool in evaluation of me-dical journals. Lancet 1995;346:906.

6. Yu G, Wang XY, Yu DR. The influence of publication delays onimpact factors. Scientometrics 2005;64:235-246.

7. Garfield E. The history and meaning of the journal impact factor.JAMA 2006;295:90-93.

8. Seglen PO. Citation rates and journal impact factors are not suitablefor evaluation of research. Acta Orthop Scand 1998;69:224-229.

9. Pocard M. Le facteur d’impact des journaux médicaux : le jugementde Salomon ou la danse des 7 voiles. Ann Chir 1998;52:595-597.

10. http://users.fmg.uva.nl/lleydesdorff/classif03/classif03.pdf11. Berghmans T, Meert AP, Mascaux C, Paesmans M, Lafitte JJ, Scu-

lier JP. Citation indexes do not reflect methodological quality inlung cancer randomised trials. Ann Oncol 2003;14:715-721.

12. Bain CR, Myles PS. Relationship between journal impact factor andlevels of evidence in anaesthesia. Anaesth Intensive Care2005;33:567-570.

13. Kurmis AP, Kurmis TP. Exploring the relationship between impactfactor and manuscript rejection rates in radiologic journals. AcadRadiol 2006;13:77-83.

14. Seglen PO. Why the impact factor of journals should not be usedfor evaluating research. BMJ 1997;314:498-502.

15. Opthof T. Sense and nonsense about impact factor. Cardiovasc Res1997;33:1-7.

Figure 3 : Sort possible d’un manuscrit soumis à un journal à haut impact factor. « Cher auteur » « Nous vous remercions d’avoir soumis votre manuscrit à notre journal » « pour gagner du temps, nous vous joignons deux formulaires de refus » « … un formulaire pour le présent manuscrit et un autre pour le prochain manuscrit que vous nous enverrez. »