SECTION 05 du Comité National
Centre National de la Recherche Scientifique
Accueil | Contact | Plan du site | Admin | Rechercher
Accueil >> Actualités >> Evaluation qualitative et indicateurs, Archives ouvertes (F. Laloé)



Dans la même rubrique
Evaluation des chercheurs 2012
Élections pour le renouvellement du mandat des membres élus des sections du Comité national
Compte rendu annuel d’activité des chercheurs du CNRS
Appel à candidature pour la fonction de directeur de l’Institut de physique
Appel à candidature pour la fonction de directeur du CRMD
Journal officiel du 17 juin 2011
Rapport de conjoncture
Prime d’excellence scientifique 2011
Lauréat(e)s de la PES 2010
Rapport d’activité
Session d’automne 2010 : compte-rendu des élus
Concours 2011
Nomination siège A1 vacant
Nomination de Anne Renault à l’AERES
Compte rendu annuel d’activité des chercheurs du CNRS

Les autres rubriques
Présentation
Sessions
Agenda
Rapports
Concours
Sessions d’automne
Sessions de printemps

liens vers le CNRS

Comité de liaison
Photographie de la Section (printemps 2005)


Evaluation qualitative et indicateurs, Archives ouvertes (F. Laloé)


F. Laloé (LKB, Dép. physique de l’ENS) fut invité au cours de la session de printemps 2008, et nous transmet les éléments de réflexion suivants.

Il est probable que beaucoup de chercheurs sont conscients de ces éléments, mais il n’en reste pas moins que les facteurs d’évaluation quantitative ont pris une place croissante, auprès de nos décideurs, dans les Comités de Visite, dans les rapports des unités et des chercheurs eux-mêmes, et ils ont pesé sur le fonctionnement de notre section. Nous avons été témoins de la forte évolution de cette situation en 4 ans !

Bibliométrie
L’évaluation quantitative a commencé il y a plus de 30 ans (Current Contents). E. Garfield invente le référencement inverse, en créant une base d’articles et en lui adjoignant les articles cités. Son idée était de détecter des domaines émergents (alerte ou veille scientifique), les courants de pensée majeurs, l’évolution de la science, voire les futurs prix Nobel. Ce travail a été détourné vers la bibliométrie, et il en reste une idée perverse dont on connaît le « succès » aujourd’hui : faire de ces bases un outil d’évaluation.
Il existe un certain nombre de bases de données avec référencement inverse :
-  Citebase
-  ADS, Simbad (NASA, CDS)
-  SPIRES
-  ISI Thomson, WOS, JCR
-  Scopus (Elsevier)
-  Citeseer, Google Scholar

L’évaluation peut être réalisée du plus grand au plus petit : pays -> institutions de recherche -> laboratoires -> chercheurs individuels. Plus l’échelle est petite, moins l’évaluation est crédible, et il n’est pas raisonnable de faire d’un facteur bibliométrique le seul indicateur.

Les facteurs d’impact (FI) des revues sont d’autant plus utilisés que ... ils ne traduisent pas réellement l’impact scientifique des articles qu’elles contiennent. Il s’agit en effet d’un indicateur sur une courte échelle de temps (2 ans), conçu essentiellement comme un indicateur, voire un subterfuge et un élément de publicité, par et pour les éditeurs. Il n’est donc en aucun cas pertinent de le transposer aux individus, d’autant que cet indice unique cache des répartitions des citations entre articles très différentes d’une revue à une autre (une minorité d’articles interviennent dans le facteur) et sur-pondère donc les articles très cités. Il est alors doublement injustifié de compter le nombre de papiers dont le FI est supérieur à 5 par exemple, même à l’échelle d’un laboratoire ! En particulier, il pénalise lourdement des chercheurs très publiants dans des revues spécialisées à faible FI soi-disant. Les petits domaines de recherche, même excellents, sont également défavorisés. Parmi les revues à grand FI , Nature par exemple fait étrangement référence dans notre domaine, alors qu’elle est loin d’être un « débouché » naturel pour nombre de thématiques de la 05. Par ailleurs, le FI est visiblement mieux adapté aux disciplines ayant des courtes constantes de temps (e.g. SDV, informatique). Ce FI est mal nommé, et qualifie mal l’impact des travaux à long terme.

Pour caractériser un ensemble de publications, par exemple celles d’un chercheur, d’un groupe, d’un laboratoire, etc... 2 indices ont les faveurs du temps : H (J. Hirsch, 2005) et G (L. Egghe, 2006). H et G sont construits sur de petits nombres et un petit échantillonnage (les publis d’un chercheur) par une fonction aléatoire de nature complexe, qui n’a forcément ni de moyenne ni de moments. Pour analogie, c’est la même incertitude qui couronne les indicateurs quantitatifs des marchés boursiers ! H et G sont donc sensibles à beaucoup d’impondérables, dont la stratégie de publication de chaque auteur, et peu ou prou reliés au principe de qualité. H et G sont très sensibles au regroupement des expériences et des équipes, des sujets à la mode,... Il serait probablement plus efficace de prendre en compte le contenu des ouvrages scientifiques, bons indicateurs de l’influence à long terme d’un chercheur... mais comme cela demande du travail et de la compréhension, qui le fait ?

A ce stade de sa présentation, F. Laloé constate qu’on ne peut pas lutter contre des chiffres avec des idées, il faut fournir d’autres chiffres. Il propose donc de lutter contre ces indices chiffrés avec ... d’autres indices chiffrés, et donne trois exemples de propositions :

  1. toute citation d’un article de n auteurs donnerait 1/n point de citation à chacun, au lieu de donner 1 point.
  2. privilégier les citations durables, qui laissent une “mémoire” sur des temps longs (par exemple, les citations 5 ans après la parution du papier, pour donner du poids à l’impact durable et moins aux effets de mode). Malheureusement, les jeunes chercheurs pâtiraient d’un tel critère.
  3. favoriser la combinaison d’indices construits sur des hypothèses différentes, de façon à moins retrouver dans le classement final les hypothèses initiales !

A côté des FI, H et autres G, s’est imposé récemment le classement de Shangaï. Lui aussi a dépassé l’intention de ses auteurs, qui était de calculer la place des universités chinoises dans le monde. Par définition, il n’est donc pas adapté pour classer les EPST, et se construit sur 5 critères (nombre de prix Nobel et médailles Fields, nombre de chercheurs les plus cités, nombre d’articles dans Nature et Science, taux de citation,...) et donc donne le classement sur ces 5 critères et pas autre chose. Il est en faveur des grandes structures, puisque les indices chiffrés sont additifs. Le classement des Mines est un autre exemple, basé sur le seul critère des formations suivies par les PDG des 500 plus grandes entreprises mondiales en 2006. Bien vu : il place le consortium des écoles de ParisTech devant ... Harvard.

En conclusion, nous retenons que chaque auteur (équipe, unité, institution) préférera l’indice ... qui le(la) favorise. Le résultat de ces indices dépend des présupposés qui sont à la base de leurs calculs. Rien ne remplacera l’évaluation scientifique multi-critères par des personnes compétentes ; les classements automatiques cèdent à la facilité et la rapidité ... mais pas à la justesse ! Mais le ver est dans le fruit : force est de constater que d’ores et déjà, ces indices ont un effet sur les pratiques de la recherche scientifique. La publication scientifique est un ingrédient vital du fonctionnement de la recherche, et cela doit rester son rôle principal ; il est dommage que des utilisations dérivées comme l’évaluation automatique des personnes tendent à affecter la façon dont les scientifiques communiquent entre eux, par un effet pervers. La publication est bien l’élément de base de la recherche, et il est parfaitement normal qu’elle soit également cruciale dans son évaluation, mais l’indice bibliométrique qui en dérive en constitue un usage détourné.

Archives Ouvertes (AO)
Ce sont des outils de communication au service des communautés scientifiques. Un de leurs avantages réside dans la capacité à y déposer plusieurs versions ; ceci est très adapté pour un article de revue, dont l’auteur veut assurer régulièrement la mise à jour au gré des dernières avancées. Les AO sont rapides, gratuites, et doivent être considérées pour le bénéfice rendu aux pays les moins favorisés et aux journaux.
Attention, ISI prévoit de bientôt prendre en compte ArXiv !
Une discussion s’ensuit sur la différence entre les OA et les Open Access Publishing, les droits patrimoniaux des auteurs et éditeurs, la place de HAL.

La section 05 remercie M. F. Laloé pour sa contribution aux réflexions de la section et ses avis éclairés sur une question très ... citée.

PS :
le bureau de la CPCN a adressé à Monsieur A. Migus (le 19 mai 2008) un courrier pointant l’existence nouvelle de fiches individuelles CNRS sur le site web du CNRS. Bien que facultatives, elles complètent le dossier de demande de reconnaissance d’unité(s) de recherche par le Ministère de tutelle et d’association au CNRS (vague D 2010-2013). Il est demandé aux chercheurs de l’unité concernée de fournir le nombre total de citations par article, le facteur H, le facteur G, le facteur HL, les facteurs d’impact max/moyen du chercheur et de sa discipline,... (données ISI, Harzing Publish et Perish) . Le bureau de la CPCN estime que cette démarche suppose que : « d’une part l’évaluation serait désormais de la compétence de l’AERES - ce qui est faux s’agissant de l’évaluation des chercheurs - et d’autre part elle méconnaît tous les biais - vers une évaluation bâclée - qu’induit forcément la mise en avant des indicateurs bibliométriques (que ce soit le H ou d’autres). Même pour une "caractérisation" des unités de recherche, l’utilisation de la bibliométrie brute paraît totalement inadaptée. » En conséquence, le bureau de la CPCN demande le retrait de ces fiches individuelles CNRS (qui ne figurent pas sur le site web du ministère), et rappelle la motion de la CPCN du 02 octobre 2007.

Voir aussi le rapport de IMU, ICIAM, IMS