Le suivi des citations a longtemps été l’apanage du seul « Web of Science » (WoS) qui s’est alors imposé comme une référence pour la bibliométrie, surtout dans le cadre d’évaluations scientifiques. Cette fonctionnalité a été utilisée pour construire des indicateurs de mesure d’impact de la notoriété scientifique d’un article, d’une revue (Facteur d’impact), d’un auteur (H-index) ou d’un laboratoire. Depuis 2004, les bases bibliographiques Scopus, produite par Elsevier, et Google Scholar, outil libre, sont venues concurrencer le leader du marché. L’arrivée des deux « challengers » a été bénéfique à l’amélioration de la qualité des bases et à l’élargissement thématique et géographique des revues scientifiques couvertes. Depuis peu, d’autres ressources comme les livres et les comptes rendus de conférences sont de plus en plus signalées dans ces bases. Les bases commerciales WoS et Scopus restent encore une référence dans le domaine de la bibliométrie, surtout pour les STM. La qualité de ces bases est reconnue par ceux qui les utilisent, notamment pour la robustesse des critères de sélection des revues retenues. Cependant, leurs fonctionnalités avancées ne sont accessibles qu’à des initiés. Les outils dédiés à l’analyse bibliométrique, InCites pour Clarivate et Scival pour Elsevier sont trop complexes à utiliser pour des usages occasionnels. De plus, ces outils peuvent quelquefois montrer un « effet boîte noire », très ennuyeux pour s’assurer de la fiabilité des résultats. Selon les résultats de l’enquête Couperin, Google Scholar devient un concurrent très sérieux. Malgré la qualité hétérogène de ses données et l’absence de fonctionnalités avancées, la facilité d’usage et d’accès, l’exhaustivité de la base et la rapidité de sa mise à jour en font une alternative crédible aux yeux de certains utilisateurs. Il ressort même que Google Scholar commence à très bien se positionner sur le segment « mesure des citations », avec plus de 60 % d’usage fréquent ou occasionnel. Ceci peut poser un problème pour un usage bibliométrique où la stabilité et la qualité des données sont nécessaires pour donner une mesure utilisable et réutilisable. Le calcul de certains indicateurs comme l’H-index, qui pose déjà problème avec des bases très normalisées, devient assez fantaisiste sur une base où les signalements des publications ne sont par exemple pas dédoublonnés. Un conseil donc pour les chercheurs : calculez votre H-index avec les trois outils et prenez le meilleur !

La bibliométrie reste un outil très utile pour l’analyse de grandes quantités de publications. Cependant, il est important de prôner un usage averti qui prenne en compte la validité des indicateurs utilisés. Il est difficile de définir précisément un bon indicateur. Pourtant, quelques règles de bon sens peuvent être énoncées : • Choisir des indicateurs simples à interpréter. Il faut pouvoir revenir aux données primaires avant d’affirmer un évènement (augmentation inattendue d’un nombre de publications par exemple) pour vérifier que ce n’est pas l’observation d’un artefact ou d’un biais. Cette règle est vraie dans toutes les études statistiques, pourquoi pas en bibliométrie ? Les outils « boîtes noires » sont donc à éviter.• Prendre en compte la pertinence du corpus rapportée au champ disciplinaire. En effet, il est reconnu que les pratiques disciplinaires sont très différentes. Sans viser l’exhaustivité du corpus, il est nécessaire de viser une certaine représentativité de la production scientifique du système à évaluer.• Rapporter les citations à la taille de la communauté en mesure de citer les résultats publiés.• Ne pas inférer la qualité d’un article de la notoriété d’une revue. Par exemple, l’application du facteur d’impact d’une revue (moyenne des citations des articles) à chacun de ses articles n’aurait pas de sens.• Proscrire les indicateurs complexes qui combinent de manière arbitraire des indicateurs plus simples. Leurs variations deviennent ininterprétables. Par exemple les indicateurs utilisés dans de nombreux classements internationaux ou le cas du H-index dépendant à la fois du corpus analysé, de la volumétrie des publications et de la longévité de la carrière du publiant.• Privilégier la multiplicité des indicateurs, ce qui permet de consolider un avis, de corriger certaines imprécisions et d’aborder différents points de vue pour la prise de décision. Il faut préciser que les indicateurs bibliométriques ne sont pas les plus adaptés pour détecter les savoirs et les approches en rupture, qui sont généralement minoritaires avant de devenir, parfois, un nouveau paradigme. D’autres analyses telles que celles issues de la fouille de textes pourraient s’avérer plus adaptées dans ce cas.

L’utilisation systématique et continue des facteurs d’impact dans les processus d’évaluation a entrainé une modification progressive des stratégies de publication. Ce mécanisme d’interaction entre un phénomène et son observation est bien connu en psychologie. Dans le cas de l’activité de publication, les chercheurs adoptent naturellement des stratégies de publication en adéquation avec les règles de valorisation de leur activité au sein d’une communauté donnée. Si la communauté n’a pas adopté de fait ces critères ou si elle ne valorise pas ou si elle rejette le paramètre bibliométrique, alors les pratiques de publication restent guidées par d’autres choix. Il convient néanmoins de nuancer le propos et de rappeler le truisme suivant : beaucoup de chercheurs publient pour être lus, et de fait soumettent leurs articles aux revues qui font référence dans leur discipline, au sens de l’audience plus que de la notoriété, bien que les deux soient fortement corrélées. Être lu constituant une condition nécessaire mais pas suffisante pour être cité, du moins peut-on l’espérer.

Pour la bibliométrie institutionnelle, les bases WoS et Scopus restent dans le paysage surtout pour les STM malgré certaines limites. Elles fournissent un instrument de mesure « relativement » stable dans le temps, condition indispensable pour des études diachroniques. C’est comme utiliser un thermomètre faux, mais toujours le même, ce qui permet de pouvoir observer quelques variations. En effet, les indicateurs bibliométriques sont relativement stables dans le temps et l’observation de variations peut vite être le fait d’artefacts : indexation d’une nouvelle revue, meilleure reconnaissance des adresses d’une institution. De plus, les deux producteurs de ces bases bibliométriques ont beaucoup investi, souvent avec l’appui des institutions, sur la qualité des données (dédoublonnage, suivi des citations) et sur l’homogénéisation des index : auteurs, adresses des institutions, ou sur les thématiques, même si on peut regretter que souvent la thématique appliquée soit celle du journal. Ainsi, les analyses de positionnement international sont facilitées : il est possible de retrouver toutes les publications de l’université X, sans connaître toutes les diverses graphies de l’appartenance générées par la créativité des chercheurs ou des règles d’affiliation quelquefois mal suivies. Ce travail de curation est indispensable pour des analyses statistiques représentatives des contenus. Par contre, l’usage bibliométrique concentré sur ces deux bases commerciales rencontre quelques limites liées aux contenus recensés :• Un contenu avec une surreprésentation des écrits en langue anglaise, défavorisant les disciplines ou les pays dont l’activité de publication dans la langue native reste significative.• Un poids prépondérant des revues publiées par les grands éditeurs commerciaux et les sociétés savantes à rayonnement international.• Une forte valorisation des articles et dans une moindre mesure des conférences au détriment des ouvrages ou d’autres formes de divulgation et de diffusion des résultats scientifiques. La conjonction de ces trois paramètres rend ces outils bibliométriques inopérants dans certains secteurs disciplinaires, essentiellement pour les études littéraires et les sciences humaines et sociales. Les outils existants apportent une couverture significative dès lors que la communication savante d’une discipline repose essentiellement sur des articles, qu’elle est fortement internationalisée et, de fait, d’expression anglaise.

Une autre grande limite pour l’usage de ces bases est leur usage sous copyright, soumis à abonnement. En effet, il est possible de partager les résultats des études, mais les données de base enrichies ne sont pas partageables librement en dehors des abonnés. Dans un monde ouvert où les données bibliographiques pourraient être libres de droits, cela ne facilite pas les partenariats sur ces sujets. Ainsi en France, où les établissements effectuent pour l’OST/HCERES, un travail de reconnaissance de l’ensemble de leurs publications présentes dans la base WoS, le résultat n’est pas partageable. Et plus aberrant, les établissements non abonnés ne peuvent pas avoir accès aux notices françaises complètes pour faire leur reconnaissance.

Conscient de l’usage abusif de la bibliométrie, les chercheurs ont formulé dès 2012 avec la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), un plaidoyer pour un retour à une évaluation qualitative, reposant en premier lieu sur une lecture des contenus publiés les plus pertinents. De même, le manifeste de Leiden de 2015 s’inscrit dans cette lignée avec dix principes promouvant des bonnes pratiques. Bien que les esprits semblent aujourd’hui mûrs pour adopter de nouvelles pratiques d’évaluation, les avancées se font d’un pas chancelant : de nombreux établissements signent DORA et entament une réflexion pour réviser leurs critères d’évaluation individuelle et collective tout en portant un regard concupiscent sur les divers classements internationaux, fortement alimentés par des indicateurs bibliométriques complexes peu fiables. Il est évident que si les chercheurs sont moins guidés par la recherche de la lumière portée sur une revue et qu’ils décident de publier dans des titres moins cotés, issus d’une édition nouvelle ou alternative, alors ces pratiques se feront ressentir dans les classements internationaux, surtout si les changements de communication scientifique ne sont pas uniformes au niveau mondial.

L’amélioration de la bibliométrie nécessite de pouvoir élargir la collecte et l’agrégation des données bibliographiques et des liens de citations pour s’appliquer à davantage de domaines scientifiques. Elle nécessite de pouvoir combiner des données d’origines différentes et de rendre les index interopérables entre eux. L’apparition et la généralisation d’usage de référentiels uniques, internationaux, ouverts de données répond en partie à ce besoin : CrossRef pour les DOIs d’articles, Orcid pour les identifiants chercheurs. Cependant, il est nécessaire d’avoir une adhésion et une adoption large du référentiel pour rendre le système opérant.

L’initiative OpenCitations répond à ce projet en collectant les données de publication et les liens de citation auprès des éditeurs et en les mettant à disposition de tous avec une licence ouverte. Le projet est soutenu par la France dans le cadre des financements du fonds national pour la science ouverte et se développe rapidement. La base Unpaywall permet également le suivi du libre accès des articles, référencés par leur DOI. L’élargissement de la collecte des données ouvertes associé à une transparence des algorithmes dans les outils d’exploitation de ces données peut permettre d’améliorer l’usage de la bibliométrie. Cependant, cet usage devra rester au sein d’une démarche responsable considérant les indicateurs comme des aides à la décision et non pas comme des valeurs immuables, sorties de tout contexte. Il gagnera toujours à s’associer à des analyses qualitatives.