Pauca cupit qui numerare potest : l'évaluation, ce n'est pas que des chiffres

Derrière la notion d’évaluation, les bibliothécaires mettent, un peu en vrac : la mesure de l’activité, l’évaluation de la performance, celle de la satisfaction et depuis peu, viennent s’ajouter dans ce grand fourre-tout de nos armoires mal rangées les mesures d’usage et l’expérience utilisateur. Pour une profession généralement si rigoureuse dans ses classifications et si tatillonne dans la dénomination des objets qu’elle classe, la légèreté avec laquelle elle s’essaye à mesurer ce qu’elle fait pourrait paraître suspecte… La profession aurait-elle « un problème » avec l’évaluation ?

Si on se risque à ouvrir la porte de ces armoires où les études et rapports d’enquêtes prennent souvent la poussière, on pourra avec intérêt remonter le temps de cette acculturation progressive des bibliothécaires à l’évaluation, entre injonction des tutelles et évolution plus globale de la société et du monde de l’entreprise.

Au départ, compter…

Il était une fois, donc, une profession en charge de la gestion de collections. Les premières mesures qui devaient être prises au tout début de l’histoire consistaient sans doute à inventorier les ouvrages, les compter, calculer le coût des acquisitions onéreuses, mesurer la volumétrie du stockage et de son futur accroissement,… Et, peut-être, conserver la trace des emprunteurs, afin d’avoir une chance de récupérer les ouvrages, et aussi de dénombrer ces usagers…

Cette dizaine de chiffres nécessaire à une bonne gestion d’une collection a constitué l’enfance de l’évaluation en bibliothèque. Une partie de ces statistiques est bien décrite dans la norme ISO 2789

ISO 11620:2014 Information and documentation – Library performance indicators / Information et documentation – Indicateurs de performances des bibliothèques. https://www.iso.org/obp/ui/

qui précise en introduction : « La présente Norme internationale comprend les définitions et les procédures de comptage pour tous les types de ressources et de services que les bibliothèques proposent à leurs usagers ». On parle ici de statistiques et non d’indicateurs, les premières étant, comme le précise le TLF

Trésor de la langue française : http://atilf.atilf.fr/dendien/scripts/tlfiv4/showps.exe?p=combi.htm;java=no

, un « ensemble de données numériques (généralement analysées et interprétées) concernant une catégorie de faits », comme un budget, une volumétrie, un nombre d’inscrits, à la différence des indicateurs, construction mathématique qui porte une indication, apporte une information, comme un taux d’inscrits ou un taux de rotation.

Mesurer la performance

À la fin des années 80, le grand mouvement de la mesure de la qualité a soufflé sur l’entreprise, puis s’est peu à peu invité dans les salles de lecture (la première version de la norme ISO 9001 Systèmes de management de la qualité date de 1987). Au sujet de la qualité en bibliothèque, les experts de l’ISO parlent d’« aptitude d'un ensemble de caractéristiques intrinsèques à satisfaire des exigences ». Mais quelle est cette exigence, celle attendue par l’usager ou celle pensée par la bibliothèque ?

Pour résoudre ce type de questions, dans le cadre du Comité Technique Information et Documentation (TC 46), le sous-comité Qualité‑Statistiques et Évaluation de la Performance (SC8) a publié la norme ISO 11620. Cette norme a pour principaux objectifs, d'une part de « promouvoir l'emploi d'indicateurs de performance caractérisant la qualité des services dans les bibliothèques », et d'autre part, de « montrer comment procéder à la mesure d'une performance », la performance étant définie comme l’« efficacité caractérisant la fourniture de services par la bibliothèque et [l’]efficience de l'affectation et de l'emploi des ressources pour fournir ces services », l’efficacité étant « l'aptitude à atteindre des objectifs donnés ».

De ces définitions en cascade, on retiendra qu’avant de se lancer dans une quelconque évaluation, il convient avant tout d’avoir défini les missions et objectifs stratégiques de la bibliothèque : à quoi sert-on ? quelles sont les attentes de nos différents partenaires – éducatifs, associatifs, et culturels – de notre tutelle ?

Atteindre un bon niveau de qualité consiste donc dans le fait de répondre aux attentes des parties prenantes, avec efficacité et efficience, tout en gérant correctement les ressources dont on dispose pour la satisfaction de tous. Évaluer, si ces objectifs sont atteints facilitera en outre la mise en œuvre des éventuelles mesures correctives nécessaires afin de mieux y répondre. Ainsi, l’évaluation n’a de sens que si elle aide au pilotage, à la gestion, à l’allocation de moyens humains, financiers, temps et ressources de toutes sortes. Pour réaliser ce cercle vertueux qui mêle connaissance des besoins, définition des objectifs, mesure de la qualité et de la performance, aide au pilotage, il convient de mesurer l’activité suivant les différentes statistiques et indicateurs que les normes nous aident à utiliser.

Cadrans solaires – Gravure de J. Pass, 1809

Réfléchir sur la valeur

Une fois la bibliothèque embarquée sur ce fleuve tranquille de la gestion éclairée par l’évaluation autour de statistiques et d’indicateurs biblio‑centrés (la bibliothèque regarde si elle fonctionne bien en fonction de ses propres exigences de gestion), elle pourra interroger son environnement pour savoir à quoi elle lui sert. Comprendre la valeur de la bibliothèque dans une optique quasi marketing permet de franchir un pas de plus vers la satisfaction de l’usager. Après les collections, les usagers sont la raison d’être des bibliothèques. Il est important de les écouter, de les observer, d’apprendre de leurs témoignages, de s’en nourrir et de s’engager plus encore dans ce processus itératif d’amélioration continue. On pourra ainsi proposer des procédures pour interroger sur la valeur ou l’utilité de la bibliothèque, la qualité du service et la satisfaction, en cohérence avec les objectifs internes de gestion.

Penser l’impact

Cependant, comme l’aurait dit Einstein, « ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne compte pas forcément ». Le voyage du navire bibliothèque prend ainsi du sens à la fois en interne pour ses équipes, et à l’externe pour ses partenaires et usagers. On peut alors chercher à évaluer ce qui ne peut pas être compté : en quoi la bibliothèque change la vie des usagers, contribue à leur bien-être, à la réussite de leurs études, à leur employabilité, à leurs loisirs, à leur culture, etc.

Pour mener à bien ces mesures d’impact, les experts en évaluation des politiques publiques nous donnent bien des clés. On pourra lire à ce sujet le très éclairant rapport demandé par l’Observatoire de la lecture publique à l’Observatoire des politiques culturelles

Pierre Le Quéau, Olivier Zerbib, Élise Butel, Cécile Martin, « Comment apprécier les effets de l’action des bibliothèques publiques ? », Paris, Ministère de la Culture, DGMIC, Observatoire de la lecture publique, 2019. http://www.observatoire-culture.net/rep-etudes/ido129/comment_apprecier_les_effets_de_l_action_des_bibliotheques_publiques.html

. Dans un article que Meredith Schwartz signait en 2014 dans Library Journal

https://www.libraryjournal.com/?detailStory=measuring-outcomes-design4impact

, elle rappelait : « Qu'il s'agisse d'une bibliothèque qui conçoit un bâtiment ou un programme, la première chose à faire est de déterminer l'impact que vous essayez d'avoir et comment vous allez évaluer si cet impact a lieu. L'un des mots à la mode les plus courants en bibliothéconomie aujourd'hui est "outcomes [résultats], pas output [extrants]

Le débat sur la traduction de ces termes, input, output, outcom a été très nourri au moment de la rédaction du livre blanc sur la norme ISO 16439.

". En d'autres termes, il ne s'agit pas de mesures quantitatives de ce que font les bibliothèques, telles que la circulation des collections ou le nombre de visiteurs, mais de mesurer l'impact de ces activités sur la vie de leurs usagers.

Capter l’indicible

Compter l’incomptable, on le comprend, est une tâche difficile car, comme le rappelle le livre blanc, l’impact peut être souhaité ou inattendu (du point de vue de la bibliothèque), direct ou indirect (vis-à-vis de l’usager ou de son entourage), immédiat ou différé. S’engager dans cette démarche nécessitera donc d’accepter de tâtonner en sortant de sa zone de confort, et de réinscrire la bibliothèque dans un environnement plus vaste, celui des liens multiples, inattendus, indirects, différés, qu’elle peut créer par son action ou sa simple existence. C’est sur cette voie que, dans le cadre d’une réflexion globale sur leur valeur, bien des bibliothèques se sont engagées

Qu'est-ce qui fait la valeur des bibliothèques ? Saint-Denis, Afnor, 2016, : Nadine Delcarmine, Silvère Mercier, Marine Rigeade, Cécile Touitou. https://www.enssib.fr/bibliotheque-numerique/documents/65997-qu-est-ce-qui-fait-la-valeur-des-bibliotheques-livre-blanc.pdf