Grâce aux harmonisations statistiques qu’il autorise, le SGBm peut devenir une opportunité pour l’évaluation interétablissements.

Dans les services documentaires de l’enseignement supérieur, la question de l’évaluation est ancienne. En témoigne le rituel annuel de l’ESGBU1, dont les objectifs ont été définis dans une circulaire du 29 juin 1976 : il s’agit « d’améliorer l'analyse et l'évaluation pour chaque bibliothèque universitaire de son activité et de sa gestion ». Malheureusement, pour beaucoup d’établissements, l’exercice de la réponse à cette enquête reste bien souvent un passage obligé fastidieux dont on s’acquitte de la manière la plus rapide et la plus indolore possible. Pourtant deux mots-clés, présents dès la circulaire d’origine (« analyse » et « évaluation »), rappellent que la question essentielle n’est pas de fournir des données de volumétrie, avec plus ou moins de fiabilité, mais d’analyser le fonctionnement des services, de mesurer les évolutions et de les comprendre, de mettre les chiffres en relation avec les moyens et les objectifs, i.e. de mesurer l’efficience et la pertinence du dispositif.

Des enjeux décuplés par les reconfigurations universitaires

En 2020, les services sont devenus workflows et les données des indicateurs, mais la nécessité demeure, plus cruciale que jamais. La fin des subventions fléchées, l’autonomie des universités, un contexte global de restriction de la ressource publique, viennent complexifier un environnement universitaire devenu concurrentiel. On peut y ajouter une autre tendance de fond, l’érosion des fonctions documentaires classiques, qui amène les bibliothèques à se positionner sur de multiples voies : opératrice dans la science ouverte, conceptrice de tiers-lieu ou de learning centre, autant de belles opportunités mais qui doivent aussi faire leurs preuves, chiffres à l’appui. Pour les bibliothèques comme pour leur tutelle, il s’agit donc de se confronter à l’évaluation de manière résolue, professionnelle, globale, d’en faire un outil de pilotage, et une valeur-ajoutée concourant à la stratégie de l’université.

En matière d’évaluation, le projet SGBm permet, d’intéressantes et importantes avancées. Pour la première fois sans doute, différents établissements, impliqués de façon étroite, par le souhait de l’Abes, dans un projet commun, ont la possibilité d’établir, en matière de collecte de données, de construction d’indicateurs, un projet mutualisé.

Quelle mutualisation avec les autres sites déployés ?

Mutualiser est avant tout une question de choix techniques et organisationnels visant des objectifs collectifs et donc portés par une politique, une charte ou un accord. Mais est-ce qu’une mutualisation en matière d'évaluation apparaît dans le SGBm et, si oui, comment ?

La lecture de l'accord-cadre et les spécificités techniques des outils demandés peuvent apporter des éléments de réponse. L'évaluation y apparaît sous deux volets : un « outil de reporting » pour manipuler et exploiter ces données et une « liste des rapports attendus ». La demande est précisée avec l’existence d’« un entrepôt de données » permettant de récolter « toutes les données », sans plus de précision quant au niveau de détail et de journalisation,

Un axe de mutualisation est également envisagé au travers de l'expression de la nécessité de prendre en compte les rapports COUNTER2, dont les mesures utilisent des outils mutualisés comme EzPAARSE, et la « liste des rapports attendus » dont la rédaction, mais pas la définition des données concernées, renvoie aux attentes actuelles de l’ESGBU.

L’accord-cadre répond à la logique de mutualisation d’un marché public avec l’objectif de faire baisser les coûts. Le vocabulaire de l'informatique décisionnelle y est bien présent, mais les spécifications demandées restent techniques. En effet, un entrepôt de données ne constitue pas une base exhaustive des données du système mais plutôt une construction réfléchie pour archiver des données chiffrées informatiques, sélectionnées à une étape d'un workflow, compilées avec d'autres ou non, et rendues intelligibles – c'est à dire nommées avec le vocabulaire métier. À partir de ces mesures, on choisit les axes, les « dimensions », comme l'échelle du temps, ou les caractéristiques des documents, pour suivre ces mesures... Un axe pas assez détaillé, une mesure pas faite au bon moment du processus et l'exploitation de l'entrepôt ne coïncide ni avec les besoins, ni avec les définitions nationales ou locales

De ce fait, on peut se demander qui donne les caractéristiques de cet entrepôt. Sur la base de quelle analyse ? Comment collabore-t-on ? Ces éléments constitutifs ne pourraient-ils pas être plus « normés » ? Et quid de l’évolution de cet entrepôt ? Seule la manière dont les sites s’approprieront ces outils, par l’utilisation et l’interfaçage avec d’autres applications des SI le cas échéant, et la volonté de mutualiser feront de ces SGBm des outils produisant des données cohérentes et comparables.

Traceur de graphe

© Dan-Meyers-unsplash

Quelle comparabilité ?

La comparabilité des établissements entre eux découle assez naturellement de la logique de la mutualisation, et s’en trouve en tout cas facilitée. Partager un même SIGB, surtout s’il est doté d’un outil de report statistiques permettant aux administrateurs locaux de générer des rapports, comme c’est le cas pour l’outil Alma d’Ex-Libris, offre aux utilisateurs/administrateurs, et à leur direction, la tentation de se lancer dans l’exercice à la fois naturel et redoutable de la comparaison entre sites. Le contexte concurrentiel que connaît désormais l’enseignement supérieur nous y conduit subtilement. Techniquement, l’adoption d’un SIGB commun achève de rendre possible cet objectif auquel prétendait déjà l’ESGBU. L’ADBU a bien perçu l’intérêt de cette comparabilité entre établissements, en le situant à un niveau supplémentaire, excédant les frontières nationales. En témoigne l’étude entreprise sur « la situation des bibliothèques universitaires françaises par rapport aux autres pays européens » pour la période 2013-2016, au travers d’une vingtaine d’indicateurs communs3. Il en a résulté une mise en perspective de la place des bibliothèques universitaires françaises dans le paysage européen, et l’opportunité pour ces établissements de se situer dans ce paysage.

L’exercice connaît toutefois des limites, inhérentes à tout SIGB. La première d’entre elles est celle de la complétude des données. Le fonctionnement d’une bibliothèque ne transite pas en totalité via le SIGB, à commencer par les données financières. C’est la raison pour laquelle, au SID de l’université Grenoble Alpes, le choix a été fait de construire un « SIDEC », un entrepôt de données issues de diverses sources (SIGB, SIFAC, compteurs d’entrées, etc.), permettant d’obtenir une vue globale et complète de l’activité du SID, et de croiser facilement les données entre elles.

 

Une autre limite est d’ordre méthodologique : même dans un système partagé, la définition d’une donnée n’en assure pas pour autant la fiabilité. Il faut pouvoir mentionner la source et le calcul de la donnée, la situer dans un contexte, pour pouvoir l’interpréter correctement. Faute de quoi, en tant que telle, elle ne présente aucune valeur. Troisième limite, cette fois plus « ontologique », tenant à l’objectif de toute démarche d’évaluation. Celle-ci ne devrait pas se contenter de fournir des données, mais devrait faciliter l’analyse des workflows et donc la mesure de l’efficience d’une organisation. Il s’agit là d’une démarche à l’échelle d’un service que ne pourra jamais prendre en charge aucun outil statistique, si performant soit-il. Enfin, le lecteur excusera cette platitude qui livre une « vraie » limite : toutes les bibliothèques ne sont pas équipées du même outil SIGB…

La mise en place d’un SGBm constitue, dans le fonctionnement en réseau des bibliothèques, une opportunité inégalée de poser et de partager, entre sites, avec nos tutelles, de plus grandes ambitions pour l’avenir en matière d’évaluation des structures documentaires. Pour autant, l’outil Ex-Libris, retenu jusque-là dans les suites de l’accord-cadre, n’amène pas d’innovation majeure en ce domaine. Pas plus qu’aucun autre SIGB, il ne dispense d’une démarche englobante d’analyse et de captation des données. C’est le choix qui a été fait à Grenoble. Suite de l’aventure dans un prochain numéro ?

Le projet grenoblois de passage au SGBM : une expertise technique et une approche managériale

C'est parce que le SID de l’Université Grenoble Alpes a depuis 13 ans adopté des outils professionnels Business Intelligence (BI), dédié des moyens humains avec une mission, que sa lecture de l'accord-cadre et son CCTP ont été originaux. Afin d'interfacer son système d’informatique décisionnelle avec le SGBm, des attentes fortes ont été exprimées en matière d'accès aux données du système et d'explicitation de leur organisation. Par ailleurs, la place dans le projet de la Mission d’Aide à la Décision est stratégique : au sein du comité de pilotage, de l'équipe projet, elle sera à même de suivre les éléments cruciaux de paramétrage des flux de travail, de donner ses préconisations en matière de déploiement de l'outil BI, pour fournir les conditions d’une évaluation réellement éclairée et éclairante.