L’évaluation de l’usage des ressources en ligne : une évolution en continu des outils consortiaux

DOI : 10.35562/arabesques.1471

p. 10-11

Outline

Text

Le consortium Couperin.org collecte, réutilise, met en forme et restitue à ses membres des données sur les ressources en ligne, en proposant des outils et des pistes d'action pour l'avenir.

Évaluation de l’usage, un état de l’art

COUNTER, une base de travail primordiale

Si les statistiques d’usage1 étaient un continent, le guide de recommandations2 COUNTER y constituerait un empire. Adopté par presque tous les éditeurs académiques ou commerciaux, notamment dans les domaines scientifiques, COUNTER a récemment progressé dans d’autres domaines (par exemple juridiques) jusque-là plus réticents. Bien que très imparfait, il constitue une base de travail pour l’instant sans concurrence. Les premières interactions de Couperin.org avec COUNTER remontent à 2012. Elles se sont renforcées en 2016, avec la participation des deux auteurs de cet article au comité exécutif et au groupe consultatif technique du consortium.

La participation de Couperin.org aux instances COUNTER a favorisé une collaboration accrue sur la version 5 du Code of Practice, parue en juillet 2017. Cette version change en profondeur la présentation et même certains modes de comptage jusque-là intangibles. La nouvelle présentation par “attributs” des rapports rend beaucoup plus aisée l’intégration dans des outils de data visualisation ou des systèmes d’information. Elle règle au passage (même encore très imparfaitement) un certain nombre de reproches récurrents, comme la difficulté à croiser les rapports ou le comptage de l’usage des ebooks. Le passage à un mode de révision continue (“rolling release”) permet d’envisager des évolutions sans attendre le passage à une version majeure.

Le rapport statistique et le portail MESURE pour les données d’utilisation des ressources

Le rapport statistique, publié chaque année depuis 2001 dans la zone authentifiée du site consortial, fournit un état des statistiques d'utilisation des ressources négociées et de leur coût pour un nombre croissant d’éditeurs. Ce rapport est élaboré au prix d’un important travail de collecte et de fiabilisation des données : récupération des données, prise en compte des contenus autres que les ebooks ou périodiques,... Pour les deux années les plus récentes, dont les résultats ne sont pas encore publiés, un travail mené avec le groupe de travail indicateurs (GTI) a permis d’entamer une réflexion pour une présentation du document plus synthétique et plus immédiatement informative, ce qui a conduit à envisager la création ou l’adoption d’un outil dédié pour un “portail statistiques”.

C’est déjà pour faciliter la collecte des données d’usage que le consortium avait mis en place en 2013 le portail MESURE3, développé en grande partie à partir du code source du portail anglais du JUSP4. MESURE moissonne et met en ligne les rapports COUNTER dédiés aux périodiques pour 13 éditeurs. La présentation web dynamique par ressource et par établissement optimise leur exploitation directement sur le site par les utilisateurs authentifiés. Ses jours sont malheureusement comptés : le passage à la version 5 de COUNTER, avec son lot de changements radicaux en termes de présentation et de comptage, rend en effet nécessaire une réécriture complète.

Le rapport ERE et les dépenses des établissements

Depuis 2014, l’Enquête sur les ressources électroniques (ERE), auparavant gérée directement par le MESRI, est déléguée à Couperin.org, qui a construit un nouvel outil plus ergonomique et ouvert en permanence5, ce qui a simplifié la saisie des réponses et contribué à en augmenter le taux. L’enquête tente de répondre à la question “qui achète quoi, à quel prix ?” en recensant les abonnements payants et les achats de ressources électroniques, négociés ou pas par le consortium. Grâce à une plateforme dédiée, le suivi du recueil des réponses est facilité, un rapport annuel fournissant le bilan des données récoltées. Depuis la prise en charge de l’enquête par Couperin.org, ce rapport a été revu en profondeur, et sa présentation modifiée, pour inclure les ressources non négociées par le consortium dans le calcul des différents indicateurs. Le récapitulatif pour les années 2015‑2018 donne la mesure des évolutions par ressource ou ensemble de ressources, par établissement ou plus globalement. Trois limites très nettes de ces données peuvent être mentionnées : le taux de réponses ; la complétude des ressources renseignées ; la lourdeur du travail de consolidation des données (vérification, validation).

D’autres rapports

Le “rapport indicateurs”, élaboré pour les années 2014‑16 puis 2017 et mis à disposition dans la “boîte à outils du négociateur”, offre une comparaison entre les différents éditeurs par discipline et selon trois sources de données (ERE, le Journal of Citation Reports® et données COUNTER). L’accès restreint aux bases bibliométriques, auxquelles le consortium n’est pas abonné, représente cependant une difficulté d’usage de l’outil.

Le rapport sur les données d’effectifs, réalisé à partir des données mises en ligne par le MESRI6, constitue un travail de mise en forme des données pour en fournir des vues triées, plus spécifiques et utiles aux négociateurs du consortium7. Il n’existe hélas pas à ce jour de lieu unique pour traiter ces données, ce qui en freine l’exploitation et le partage sous la forme d’indicateurs.

 

Image

Le rôle de Couperin dans le développement d’outils

EzPAARSE / ezMESURE

EzPAARSE est le descendant d’un outil interne de l’Inist-CNRS (NumStats) pour la création de statistiques locales basées sur l’analyse des logs de connexion aux ressources. Proposé à partir de 2013 dans le cadre d’un partenariat entre l’Inist-CNRS, Couperin.org et l’université de Lorraine, le logiciel ezPAARSE possède aujourd’hui une base utilisateur conséquente, et a débouché sur la création d’un portail commun, ezMESURE. Outre la mise à disposition auprès des établissements d’un outil de visualisation des données, le portail ezMESURE ouvre des perspectives8 sur le rapprochement des données et la construction de tableaux communs.

L’enquête sur les dépenses des chercheurs français en APC

Coordonnée par le consortium Couperin, l'enquête sur les dépenses des chercheurs français en APC9 s'inscrit dans le cadre de la dynamique européenne en faveur du développement de la science ouverte et de la transparence des coûts de l'édition scientifique. Seul exemple à ce jour d'enquête nationale menée sur ce thème, elle a pour objectif de disposer de données sur les dépenses en APC et de les publier, par exemple sur des sites ouverts comme OpenAPC10.

Menée à deux reprises (2015 et 2017), l’enquête a été effectuée à partir d'extractions comptables fournies par les établissements aptes à identifier ces dépenses spécifiques. Après un important travail de consolidation et de fiabilisation, les résultats ont été présentés lors des assemblées générales de Couperin.org et seront bientôt mis en ligne avec des présentations graphiques.

En accord avec les impulsions françaises et européennes en faveur de l’open access, et dans le cadre du projet Intact11, le consortium a pris en charge la publication des données APC françaises sur la plateforme OpenAPC, après avoir obtenu les autorisations des établissements concernés12.

CC-Plus et Consortia Manager

C’est le “groupe statistiques” informel de l’ICOLC qui a conduit à la construction du projet CC-Plus13. L’idée consiste à mettre à disposition en open source un outil de rapatriement de rapports COUNTER 5, principalement à l’usage de consortiums ou de regroupements d’établissements.

CC-Plus devrait rendre possible l’installation d’un portail intégré, du rapatriement des rapports à la visualisation des données, sans développement local ni acquittement de licences. Il est actuellement envisagé d’intégrer ce portail comme une “brique” de l’outil commercial Consortia Manager, outil de gestion de consortium dont Couperin.org commence la mise en place et qui offre des perspectives de rassemblement et de croisement de données.

Vers une plateforme unique

La relative dispersion des données compilées disponibles, la fin inéluctable de MESURE et la diversité de l’outillage consortial rendent indispensable la mise en œuvre d’un outil capable d’exploiter les jeux de données de façon unifiée et intégrée.

Pour matérialiser ce souhait de rassemblement et d’intégration par une solution technique, la réflexion actuelle s’oriente vers une plateforme statistique consortiale, sur le modèle d’ezMESURE mais qui s’enrichirait de données supplémentaires de type bouquets, coûts, APC, effectifs, etc.

L’enjeu principal de cette plateforme sera sa capacité à mettre en commun des données, enrichies grâce à une meilleure intégration des données produites par d’autres outils. Bien que sa conception soit un peu retardée (pour la bonne cause) par le déploiement de Consortia Manager, cette plateforme occupera une place de choix dans les objectifs consortiaux à court et à moyen terme.

1 Comme toujours,dans le domaine dit des “statistiques d’usage” pour les ressources électroniques, on travaille sur une approximation, ayant

2 Au fil du temps, ces recommandations ont acquis valeur de norme auprès des acteurs concernés, bien que les documents ne soient pas produits par une

3 Mutualisation et Evaluation des Statistiques d'Utilisation des Ressources Electroniques : http://mesure.couperin.org

4 Journal Usage Statistics Portal.

5 Voir http://ere.couperin.org

6 https://data.enseignementsup-recherche.gouv.fr/pages/home

7 https://www.couperin.org/negociations/boite-a-outil/item/801-effectifs

8 Pour une synthèse complète de l’articulation entre les deux outils, voir http://library.ifla.org/2722

9 APC pour Article Processing Charges, frais de publication pour publier en accès ouvert des articles dans les revues full open access ou hybrides.

10 https://treemaps.intact-project.org

11 Voir https://intact-project.org et, pour la plate-forme APC, https://intact-project.org/openapc

12 https://treemaps.intact-project.org/apcdata/openapc/#institution/country=FRA

13 http://www.palci.org/cc-plus-news pour un descriptif en anglais.

Notes

1 Comme toujours, dans le domaine dit des “statistiques d’usage” pour les ressources électroniques, on travaille sur une approximation, ayant assimilé à de l’usage ce qui constitue des téléchargements ou, selon le vocabulaire COUNTER, des “requêtes réussies”.

2 Au fil du temps, ces recommandations ont acquis valeur de norme auprès des acteurs concernés, bien que les documents ne soient pas produits par une agence de normalisation. Pour la dernière version : https://www.projectcounter.org/code-of-practice-five-sections/abstract

3 Mutualisation et Evaluation des Statistiques d'Utilisation des Ressources Electroniques : http://mesure.couperin.org

4 Journal Usage Statistics Portal.

5 Voir http://ere.couperin.org

6 https://data.enseignementsup-recherche.gouv.fr/pages/home

7 https://www.couperin.org/negociations/boite-a-outil/item/801-effectifs

8 Pour une synthèse complète de l’articulation entre les deux outils, voir http://library.ifla.org/2722

9 APC pour Article Processing Charges, frais de publication pour publier en accès ouvert des articles dans les revues full open access ou hybrides.

10 https://treemaps.intact-project.org

11 Voir https://intact-project.org et, pour la plate-forme APC, https://intact-project.org/openapc

12 https://treemaps.intact-project.org/apcdata/openapc/#institution/country=FRA

13 http://www.palci.org/cc-plus-news pour un descriptif en anglais.

Illustrations

 

References

Bibliographical reference

Thomas Jouneau and Thomas Porquet, « L’évaluation de l’usage des ressources en ligne : une évolution en continu des outils consortiaux », Arabesques, 96 | 2020, 10-11.

Electronic reference

Thomas Jouneau and Thomas Porquet, « L’évaluation de l’usage des ressources en ligne : une évolution en continu des outils consortiaux », Arabesques [Online], 96 | 2020, Online since 29 janvier 2020, connection on 30 novembre 2021. URL : https://publications-prairial.fr/arabesques/index.php?id=1471

Authors

Thomas Jouneau

Université de Lorraine - Direction de la Documentation et de l'Édition

thomas.jouneau@univ-lorraine.fr

Author resources in other databases

Thomas Porquet

Consortium Couperin - Département Services et Prospective

thomas.porquet@couperin.org

Author resources in other databases

By this author

Copyright

CC BY-ND 2.0