Pour une bibliométrie ouverte et responsable

DOI : 10.35562/arabesques.2719

p. 12-15

Outline

Text

Controversée dans son utilisation pour l’évaluation des chercheurs, la bibliométrie contribue néanmoins, grâce à ses indicateurs quantitatifs, au suivi et au pilotage de la recherche scientifique.

La bibliométrie n’a jamais tant fait parler d’elle. Il est reconnu que son mésusage dans les pratiques d’évaluation scientifique, en particulier celles concernant les évaluations individuelles de chercheurs, entraîne des dérives du système de communication scientifique1. Cependant, la bibliométrie ne se limite pas à l’évaluation. Cette pratique basée sur des analyses statistiques de corpus de publications importants, en fournissant des indicateurs quantitatifs, peut permettre d’analyser un positionnement scientifique, d’appréhender et de cartographier les thématiques de recherche et leurs évolutions, d’identifier les réseaux de chercheurs en fonctions de leurs travaux, de choisir des partenariats pertinents, d’observer le déploiement du libre accès, en bref de contribuer au suivi et au pilotage de la recherche scientifique. Dans cet article, nous allons analyser brièvement les usages de la bibliométrie, ses limites, ses biais ainsi que ses bonnes pratiques en nous appuyant notamment sur le très bon ouvrage d’Yves Gingras, Les dérives de l’évaluation de la recherche. Du bon usage de la bibliométrie. Paris : Éditions Raisons d’agir ; 2014. Nous utiliserons également les résultats de l’enquête Couperin2 effectuée auprès des chercheurs (plus de 5500 répondants) sur leurs pratiques de recherche documentaire intégrant l’usage des bases bibliométriques. Cette enquête a été effectuée dans le cadre de la renégociation des produits proposés par les éditeurs Elsevier et Clarivate Analytics. Nous conclurons sur l’observation de nouvelles initiatives qui se mettent en place pour améliorer le système.

Les chercheurs, la bibliométrie et l’évaluation

Le suivi des citations a longtemps été l’apanage du seul « Web of Science » (WoS) qui s’est alors imposé comme une référence pour la bibliométrie, surtout dans le cadre d’évaluations scientifiques. Cette fonctionnalité a été utilisée pour construire des indicateurs de mesure d’impact de la notoriété scientifique d’un article, d’une revue (Facteur d’impact), d’un auteur (H-index) ou d’un laboratoire. Depuis 2004, les bases bibliographiques Scopus, produite par Elsevier, et Google Scholar, outil libre, sont venues concurrencer le leader du marché. L’arrivée des deux « challengers » a été bénéfique à l’amélioration de la qualité des bases et à l’élargissement thématique et géographique des revues scientifiques couvertes. Depuis peu, d’autres ressources comme les livres et les comptes rendus de conférences sont de plus en plus signalées dans ces bases. Les bases commerciales WoS et Scopus restent encore une référence dans le domaine de la bibliométrie, surtout pour les STM. La qualité de ces bases est reconnue par ceux qui les utilisent, notamment pour la robustesse des critères de sélection des revues retenues. Cependant, leurs fonctionnalités avancées ne sont accessibles qu’à des initiés. Les outils dédiés à l’analyse bibliométrique, InCites pour Clarivate et Scival pour Elsevier sont trop complexes à utiliser pour des usages occasionnels. De plus, ces outils peuvent quelquefois montrer un « effet boîte noire », très ennuyeux pour s’assurer de la fiabilité des résultats. Selon les résultats de l’enquête Couperin, Google Scholar devient un concurrent très sérieux. Malgré la qualité hétérogène de ses données et l’absence de fonctionnalités avancées, la facilité d’usage et d’accès, l’exhaustivité de la base et la rapidité de sa mise à jour en font une alternative crédible aux yeux de certains utilisateurs. Il ressort même que Google Scholar commence à très bien se positionner sur le segment « mesure des citations », avec plus de 60 % d’usage fréquent ou occasionnel. Ceci peut poser un problème pour un usage bibliométrique où la stabilité et la qualité des données sont nécessaires pour donner une mesure utilisable et réutilisable. Le calcul de certains indicateurs comme l’H-index, qui pose déjà problème avec des bases très normalisées, devient assez fantaisiste sur une base où les signalements des publications ne sont par exemple pas dédoublonnés. Un conseil donc pour les chercheurs : calculez votre H-index avec les trois outils et prenez le meilleur !

 

Image

© Unsplash - Forest Simon

Défendre un usage raisonné de la bibliométrie

La bibliométrie reste un outil très utile pour l’analyse de grandes quantités de publications. Cependant, il est important de prôner un usage averti qui prenne en compte la validité des indicateurs utilisés. Il est difficile de définir précisément un bon indicateur. Pourtant, quelques règles de bon sens peuvent être énoncées :
• Choisir des indicateurs simples à interpréter. Il faut pouvoir revenir aux données primaires avant d’affirmer un évènement (augmentation inattendue d’un nombre de publications par exemple) pour vérifier que ce n’est pas l’observation d’un artefact ou d’un biais. Cette règle est vraie dans toutes les études statistiques, pourquoi pas en bibliométrie ? Les outils « boîtes noires » sont donc à éviter.
• Prendre en compte la pertinence du corpus rapportée au champ disciplinaire. En effet, il est reconnu que les pratiques disciplinaires sont très différentes. Sans viser l’exhaustivité du corpus, il est nécessaire de viser une certaine représentativité de la production scientifique du système à évaluer.
• Rapporter les citations à la taille de la communauté en mesure de citer les résultats publiés.
• Ne pas inférer la qualité d’un article de la notoriété d’une revue. Par exemple, l’application du facteur d’impact d’une revue (moyenne des citations des articles) à chacun de ses articles n’aurait pas de sens.
• Proscrire les indicateurs complexes qui combinent de manière arbitraire des indicateurs plus simples. Leurs variations deviennent ininterprétables. Par exemple les indicateurs utilisés dans de nombreux classements internationaux ou le cas du H-index dépendant à la fois du corpus analysé, de la volumétrie des publications et de la longévité de la carrière du publiant.
• Privilégier la multiplicité des indicateurs, ce qui permet de consolider un avis, de corriger certaines imprécisions et d’aborder différents points de vue pour la prise de décision. Il faut préciser que les indicateurs bibliométriques ne sont pas les plus adaptés pour détecter les savoirs et les approches en rupture, qui sont généralement minoritaires avant de devenir, parfois, un nouveau paradigme. D’autres analyses telles que celles issues de la fouille de textes pourraient s’avérer plus adaptées dans ce cas.

L’usage abusif de la bibliométrie modifie les stratégies de communication scientifique

L’utilisation systématique et continue des facteurs d’impact dans les processus d’évaluation a entrainé une modification progressive des stratégies de publication. Ce mécanisme d’interaction entre un phénomène et son observation est bien connu en psychologie. Dans le cas de l’activité de publication, les chercheurs adoptent naturellement des stratégies de publication en adéquation avec les règles de valorisation de leur activité au sein d’une communauté donnée. Si la communauté n’a pas adopté de fait ces critères ou si elle ne valorise pas ou si elle rejette le paramètre bibliométrique, alors les pratiques de publication restent guidées par d’autres choix. Il convient néanmoins de nuancer le propos et de rappeler le truisme suivant : beaucoup de chercheurs publient pour être lus, et de fait soumettent leurs articles aux revues qui font référence dans leur discipline, au sens de l’audience plus que de la notoriété, bien que les deux soient fortement corrélées. Être lu constituant une condition nécessaire mais pas suffisante pour être cité, du moins peut-on l’espérer.

 

Image

© Unsplash - Alex Beaz

Une dépendance des bases commerciales pour l’évaluation institutionnelle ?

Pour la bibliométrie institutionnelle, les bases WoS et Scopus restent dans le paysage surtout pour les STM malgré certaines limites. Elles fournissent un instrument de mesure « relativement » stable dans le temps, condition indispensable pour des études diachroniques. C’est comme utiliser un thermomètre faux, mais toujours le même, ce qui permet de pouvoir observer quelques variations. En effet, les indicateurs bibliométriques sont relativement stables dans le temps et l’observation de variations peut vite être le fait d’artefacts : indexation d’une nouvelle revue, meilleure reconnaissance des adresses d’une institution. De plus, les deux producteurs de ces bases bibliométriques ont beaucoup investi, souvent avec l’appui des institutions, sur la qualité des données (dédoublonnage, suivi des citations) et sur l’homogénéisation des index : auteurs, adresses des institutions, ou sur les thématiques, même si on peut regretter que souvent la thématique appliquée soit celle du journal. Ainsi, les analyses de positionnement international sont facilitées : il est possible de retrouver toutes les publications de l’université X, sans connaître toutes les diverses graphies de l’appartenance générées par la créativité des chercheurs ou des règles d’affiliation quelquefois mal suivies. Ce travail de curation est indispensable pour des analyses statistiques représentatives des contenus. Par contre, l’usage bibliométrique concentré sur ces deux bases commerciales rencontre quelques limites liées aux contenus recensés :
• Un contenu avec une surreprésentation des écrits en langue anglaise, défavorisant les disciplines ou les pays dont l’activité de publication dans la langue native reste significative.
• Un poids prépondérant des revues publiées par les grands éditeurs commerciaux et les sociétés savantes à rayonnement international.
• Une forte valorisation des articles et dans une moindre mesure des conférences au détriment des ouvrages ou d’autres formes de divulgation et de diffusion des résultats scientifiques. La conjonction de ces trois paramètres rend ces outils bibliométriques inopérants dans certains secteurs disciplinaires, essentiellement pour les études littéraires et les sciences humaines et sociales. Les outils existants apportent une couverture significative dès lors que la communication savante d’une discipline repose essentiellement sur des articles, qu’elle est fortement internationalisée et, de fait, d’expression anglaise.

Une autre grande limite pour l’usage de ces bases est leur usage sous copyright, soumis à abonnement. En effet, il est possible de partager les résultats des études, mais les données de base enrichies ne sont pas partageables librement en dehors des abonnés. Dans un monde ouvert où les données bibliographiques pourraient être libres de droits, cela ne facilite pas les partenariats sur ces sujets. Ainsi en France, où les établissements effectuent pour l’OST/HCERES, un travail de reconnaissance de l’ensemble de leurs publications présentes dans la base WoS, le résultat n’est pas partageable. Et plus aberrant, les établissements non abonnés ne peuvent pas avoir accès aux notices françaises complètes pour faire leur reconnaissance.

Évaluer autrement : introduire du qualitatif auprès du quantitatif

Conscient de l’usage abusif de la bibliométrie, les chercheurs ont formulé dès 2012 avec la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), un plaidoyer pour un retour à une évaluation qualitative, reposant en premier lieu sur une lecture des contenus publiés les plus pertinents. De même, le manifeste de Leiden de 2015 s’inscrit dans cette lignée avec dix principes promouvant des bonnes pratiques. Bien que les esprits semblent aujourd’hui mûrs pour adopter de nouvelles pratiques d’évaluation, les avancées se font d’un pas chancelant : de nombreux établissements signent DORA et entament une réflexion pour réviser leurs critères d’évaluation individuelle et collective tout en portant un regard concupiscent sur les divers classements internationaux, fortement alimentés par des indicateurs bibliométriques complexes peu fiables. Il est évident que si les chercheurs sont moins guidés par la recherche de la lumière portée sur une revue et qu’ils décident de publier dans des titres moins cotés, issus d’une édition nouvelle ou alternative, alors ces pratiques se feront ressentir dans les classements internationaux, surtout si les changements de communication scientifique ne sont pas uniformes au niveau mondial.

L’abes porte les marchés des bases bibliométriques 2021-2023

Prenant la suite de l’accord-cadre porté par le CNRS entre 2016 et 2020, l’Abes a participé en 2020 aux négociations des marchés des bases bibliométriques Scopus / SciVal (Elsevier) et WoS / InCites (Clarivate), menées en parallèle par le consortium Couperin.org. Les deux marchés portés par l’Abes pour la durée 2021-2023, dans le cadre du groupement de commandes permanent pour l’abonnement aux ressources documentaires numériques, présentent plusieurs particularités : la facturation est assurée directement par les éditeurs aux membres du groupement ; les établissements peuvent intégrer les marchés en cours d’année.

CHIFFRES CLÉS DES ADHÉSIONS AUX MARCHÉS PORTÉS PAR L’ABES EN SEPTEMBRE 2021 :

Scopus / SciVal : 47 membres, dont 6 regroupements d’établissements

WoS / InCites : 52 membres, dont 5 regroupements d’établissements

LES BASES BIBLIOMÉTRIQUES EN UN CLIN D’ŒIL (CHIFFRES FIN 2020) :

Scopus : plus de 80 millions de notices ; plus de 1,7 milliard de références citées depuis 1970.

WoS : plus de 78,5 millions de notices contenant les références citées depuis 1900 dans la Core Collection ; plus de 1,8 milliard de références citées dans Citation Connection.

Construire une nouvelle bibliométrie, ouverte et responsable

L’amélioration de la bibliométrie nécessite de pouvoir élargir la collecte et l’agrégation des données bibliographiques et des liens de citations pour s’appliquer à davantage de domaines scientifiques. Elle nécessite de pouvoir combiner des données d’origines différentes et de rendre les index interopérables entre eux. L’apparition et la généralisation d’usage de référentiels uniques, internationaux, ouverts de données répond en partie à ce besoin : CrossRef pour les DOIs d’articles, Orcid pour les identifiants chercheurs. Cependant, il est nécessaire d’avoir une adhésion et une adoption large du référentiel pour rendre le système opérant.

L’initiative OpenCitations répond à ce projet en collectant les données de publication et les liens de citation auprès des éditeurs et en les mettant à disposition de tous avec une licence ouverte. Le projet est soutenu par la France dans le cadre des financements du fonds national pour la science ouverte et se développe rapidement. La base Unpaywall permet également le suivi du libre accès des articles, référencés par leur DOI. L’élargissement de la collecte des données ouvertes associé à une transparence des algorithmes dans les outils d’exploitation de ces données peut permettre d’améliorer l’usage de la bibliométrie. Cependant, cet usage devra rester au sein d’une démarche responsable considérant les indicateurs comme des aides à la décision et non pas comme des valeurs immuables, sorties de tout contexte. Il gagnera toujours à s’associer à des analyses qualitatives.

1 Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, Académie des Sciences, 2011. https://www.

2 Les pratiques de recherche documentaire des chercheurs français en 2020 : étude du consortium Couperin https://hal.inrae.fr/

Notes

1 Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, Académie des Sciences, 2011. https://www.academie-sciences.fr/pdf/rapport/avis170111.pdf

2 Les pratiques de recherche documentaire des chercheurs français en 2020 : étude du consortium Couperin https://hal.inrae.fr/hal-03148285/document

Illustrations

 

 

© Unsplash - Forest Simon

 

 

© Unsplash - Alex Beaz

References

Bibliographical reference

Grégory Colcanap and Françoise Rousseau, « Pour une bibliométrie ouverte et responsable », Arabesques, 103 | 2021, 12-15.

Electronic reference

Grégory Colcanap and Françoise Rousseau, « Pour une bibliométrie ouverte et responsable », Arabesques [Online], 103 | 2021, Online since 10 novembre 2021, connection on 28 novembre 2021. URL : https://publications-prairial.fr/arabesques/index.php?id=2719

Authors

Grégory Colcanap

Directeur de la bibliothèque de l’université d’Evry Val d’Essonne, coordonnateur du consortium Couperin

gregory.colcanap@univ-evry.fr

Author resources in other databases

By this author

Françoise Rousseau

Chef du service Valorisation de l’information au Commissariat à l’énergie atomique et aux énergies alternatives, responsable du département Services et prospective du consortium Couperin

francoise.rousseau@cea.fr

Author resources in other databases

Copyright

CC BY-ND 2.0