4 3 2 1 : quand évaluation rime avec construction

DOI : 10.35562/arabesques.1466

p. 6-7

Outline

Text

Commandée au cabinet Six & Dix, l’étude comparative sur les activités des bibliothèques européennes permet d’appuyer les actions stratégiques en faveur des bibliothèques universitaires.

Dans son dernier roman, 4 3 2 1, Paul Auster nous dévoile les quatre trajectoires possibles d’une vie humaine à travers le personnage d’Archie Ferguson1. En fonction de ses rencontres, de ses décisions, ou tout simplement du hasard, le lecteur assiste à des variations biographiques tragiques, cocasses et riches en rebondissements. Le protagoniste semble subir son destin. La sobriété du titre nous rappelle à quel point notre vie semble dominée par des chiffres. Le bibliothécaire se sent souvent démuni, à l’image de Ferguson, face aux données d’activité de sa bibliothèque. Il évalue avec amertume tel ou tel chiffre en diminution, échange avec ses homologues en France qui avancent des données souvent similaires et bien peu reluisantes.

Mais voilà que les chiffres se transforment en indicateurs... Ces derniers sont avant tout une construction, c’est-à-dire une mise en relation de données brutes pour les faire parler, en extraire une autre vérité. Le bibliothécaire, à l’image de Paul Auster et non plus d’Archie Ferguson, choisit lui-même ce qu’il va raconter sur sa bibliothèque, en sélectionnant certaines données plutôt que d’autres, en construisant certains indicateurs pour une évaluation plus juste d’un établissement. Il devient un acteur à part entière.

Consolider et choisir des données communes

Jusqu’en 2018, il n’existait pas d’étude comparative de l’activité des bibliothèques de l’enseignement supérieur à l’échelle européenne, même si des réflexions étaient déjà en cours depuis plusieurs années entre l’association des Directeurs et personnels de direction des bibliothèques universitaires et de la documentation (ADBU) et le ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation (MESRI). L’objectif consistait à mettre en perspective l’activité de ces bibliothèques avec leurs homologues européennes. La mission confiée au cabinet Six & Dix par l’ADBU ne pouvait donc que susciter de fortes attentes.

 

Image

Le cabinet avait l’embarras du choix quant aux chiffres à exploiter, mais avec plusieurs difficultés de taille. Tout d’abord, la majorité des données renseignées par les collègues européens n’étaient pas disponibles en accès libre. Il a donc fallu récupérer ces fameux chiffres, avec plus ou moins de succès. Ensuite, il y avait la barrière de la langue. S’il est aisé de récupérer des données bibliothéconomiques en anglais, la tâche est bien plus ardue en suédois... Last but not least, des chiffres qui semblent particulièrement similaires d’un pays à l’autre présentent en réalité de grandes différences lorsque l’on définit les données qui ont servi à construire le fameux indicateur. Par exemple, le fichier GESUP2 français ne comptabilise que les enseignants-chercheurs titulaires, alors que d’autres pays incluent les contractuels dans leurs effectifs. Le cabinet Six & Dix, en lien avec les membres de l’ADBU et le MESRI, a fiabilisé les données choisies à partir de la norme ISO 2789 afin de construire ensuite les indicateurs fondés sur la norme ISO 11 6203. Par ailleurs, la comparaison entre pays européens supposait de sélectionner des données complètes pour les années choisies (de 2013 à 2016), ce qui n’était pas toujours possible. La synthèse de l’étude, disponible sur le site de l’ADBU4, fait donc état de quelques pays seulement, avec un net déséquilibre au détriment des pays du sud de l’Europe.

Le type de renseignements disponibles concernant les autres pays européens a suscité parfois des surprises. Si le nombre d’heures d’ouverture des bibliothèques universitaires fait partie des données les plus sollicitées en France pour construire un indicateur, elle n’a aucun intérêt au Royaume-Uni où les bibliothèques sont ouvertes 24h/24 et 7j/7. On retrouve néanmoins des préoccupations communes à l’échelle de l’Europe, qu’elles concernent les moyens financiers, humains, les espaces et ressources, ou les usages qui en sont faits.

La sélection d’indicateurs pertinents n’a pas été sans frustrations. Ces chiffres, renseignés depuis des années, sont encore bien souvent le reflet d’une activité bibliothéconomique traditionnelle, centrée sur les collections physiques. Si l’activité pédagogique est présente et comparable entre pays européens, aucun indicateur n’a pu être retenu concernant l’appui des bibliothèques à la recherche, ou les efforts pour promouvoir l’open access. De même, les activités autour de la communication ou de l’activité culturelle en bibliothèque font cruellement défaut.

Illustration de déclaration de l’usage du grafonomètre par la pratique duquel l’on peut mesurer toutes distances et un trigonomètre

Image

Source Gallica - Bibliothèque nationale de France

Des indicateurs pour se raconter

La comparaison a permis de pointer les particularités, les forces ou les manques des bibliothèques françaises, et l’étude donne aux bibliothèques des armes pour argumenter face à des pressions de plus en plus nombreuses pour faire mieux avec moins.

Elle révèle par exemple à quel point les bibliothèques françaises sont sous-dotées en termes de budget et ressources humaines, et ce malgré une hausse significative des effectifs étudiants. Ainsi, en 2016, on ne compte que 3,8 ETP en bibliothèque pour 1000 étudiants, alors que les autres pays affichent globalement des ETP plus importants, à l’exception de l’Autriche et de l’Espagne. Pour ce qui est de l’indicateur sur les dépenses totales de la bibliothèque par étudiant, le chiffre français fait vraiment pâle figure en regard du chiffre allemand. Il faut néanmoins nuancer cette analyse avec des éléments de contexte – le livre électronique est par exemple plus cher en Allemagne qu’en France.

L’étude a également confirmé la nécessité du Plan Bibliothèques Ouvertes+ impulsé par le MESRI deux ans plus tôt. Les horaires d’ouverture hebdomadaires faisaient partie des leviers d’amélioration prioritaires à partir de 2016.

Quant aux fameux usages numériques, dont on ne cesse de vanter la progression, les chiffres sont décevants concernant la situation française, même s’il serait nécessaire de les affiner pour une meilleure comparaison. Tout d’abord, l’offre documentaire électronique, essentiellement en anglais, ne convient pas à des étudiants ne maîtrisant pas suffisamment cette langue. La différence avec le Royaume-Uni concernant l’indicateur sur la consultation des ressources électroniques en est la preuve. Dès lors, pourquoi consacrer autant d’argent à ces ressources sur le budget documentaire de chaque établissement ? Ne serait-il pas préférable de privilégier les ressources en open access dans ce domaine ?

La mise à jour de cette étude avec les données de 2017 a permis de confirmer les tendances analysées pour les années antérieures. Les ETP pour 1000 étudiants en France poursuivent leur diminution (3,6 au lieu de 3,8 en 2016). Une tendance similaire à la baisse est encore plus frappante aux Pays-Bas, tandis que d’autres pays comme l’Espagne ou l’Autriche voient leurs ETP augmenter, preuve que les restrictions budgétaires ne sont pas une fatalité dans toute l’Europe.

Leçons de l’étude

Parmi les actions stratégiques à déployer, on peut noter que la contribution à l’échelle européenne serait facilitée par la création d’une base de données ouvertes collaborative, que chaque membre du réseau européen constitué pourrait renseigner, exploiter en toute autonomie, en proposant une analyse contextualisée, donnée par chaque correspondant, afin d’expliquer telle ou telle tendance. Les données d’autres pays tels que la Belgique ou l’Italie pourraient ainsi facilement s’ajouter au vivier initial et même dépasser le périmètre européen.

Ensuite, les concepts qui se cachent derrière une donnée brute et qui dépendent du contexte de chaque pays doivent être clarifiés, pour permettre d’affiner les résultats. Même à l’échelle nationale, la cohérence entre les données sur les étudiants et celles sur les bibliothèques n’est pas toujours assurée. Il faudrait par ailleurs repenser le calcul des moyennes proposées, puisqu’elles ne prennent pas en compte la taille des échantillons considérés.

Il est par ailleurs impératif de réfléchir à de nouveaux indicateurs communs, reflétant davantage la contribution des bibliothèques à la réussite étudiante et à la performance de la recherche au sein de chaque établissement. Cette perspective suppose d’abord un travail commun avec l’ensemble des services, composantes et laboratoires, pour obtenir des données avant, pendant et après l’utilisation des bibliothèques ou des ressources documentaires, afin d’évaluer leur impact. D’autres outils sont mobilisables, tels que la masse des données normées obtenues au moyen du dispositif LibQUAL+5. Les espaces, ressources et services proposés aux usagers dépassent bien souvent le périmètre de la bibliothèque. À titre d’exemple, la bibliothèque est-elle toujours le seul intermédiaire pour la consultation de ressources numériques ? Quid de l’articulation entre les ressources documentaires payantes et l’open access ? L’aventure des indicateurs européens ne fait que commencer.

1 Actes Sud, 2018.

2 Gestion des emplois et des personnels de l’enseignement supérieur.

3 L’importance et les enjeux de ces différentes normes sont détaillés dans l’article de Cécile Touitou, p. 4-5.

4  https://adbu.fr/ladbu-publie-une-etude-sur-les-indicateurs-cles-des-bu-en-europe

5 https://www.libqual.org/home

Notes

1 Actes Sud, 2018.

2 Gestion des emplois et des personnels de l’enseignement supérieur.

3 L’importance et les enjeux de ces différentes normes sont détaillés dans l’article de Cécile Touitou, p. 4-5.

4  https://adbu.fr/ladbu-publie-une-etude-sur-les-indicateurs-cles-des-bu-en-europe

5 https://www.libqual.org/home

Illustrations

 
Illustration de déclaration de l’usage du grafonomètre par la pratique duquel l’on peut mesurer toutes distances et un trigonomètre

Illustration de déclaration de l’usage du grafonomètre par la pratique duquel l’on peut mesurer toutes distances et un trigonomètre

Source Gallica - Bibliothèque nationale de France

References

Bibliographical reference

Nelly Sciardis, « 4 3 2 1 : quand évaluation rime avec construction », Arabesques, 96 | 2020, 6-7.

Electronic reference

Nelly Sciardis, « 4 3 2 1 : quand évaluation rime avec construction », Arabesques [Online], 96 | 2020, Online since 29 janvier 2020, connection on 19 janvier 2022. URL : https://publications-prairial.fr/arabesques/index.php?id=1466

Author

Nelly Sciardis

Directrice adjointe - SCD de l’Université Polytechnique Hauts-de-France
Membre de la Commission Pilotage et Evaluation de l’ADBU

nelly.sciardis@uphf.fr

Author resources in other databases

Copyright

CC BY-ND 2.0