Grundkonstanten von swissbib

Die swissbib Datenplattform startete als Projekt im Jahre 2008. Die Grundidee, entworfen von der Universitätsbibliothek Basel, war die Etablierung eines schweizweiten Metakatalogs für die dezentralen Katalogsysteme der Schweizer Universitätsbibliotheken, der Nationalbibliothek sowie diverser Repositorien der angeschlossenen Institutionen. Der finanzielle Umfang des Projekts erforderte eine weltweite Ausschreibung nach GATT Richtlinien.

Die Aufstellung der Ausschreibungskriterien wurden durch die seinerzeitigen Diskussionslinien im Bibliothekswesen mitbestimmt:

Sogenannte “Krise des klassischen Bibliothekskatalogs” durch die immer dominanter werdende Suchmaschinentechnologie des Internets

 http://www.dlib.org/dlib/september04/lossau/09lossau.html

Zusammenführung und Abbildung vielfältiger dezentraler Katalogisierungsregeln in einem GesamtsystemEinsetzende Konzentration der kommerziellen Bibliothekssystemhersteller auf eine immer kleiner werdende GruppeEinführung einer neuen Generation kommerzieller Discoverysysteme durch diverse Anbieter

Neben diesen Einflüssen aus dem Bibliothekswesen waren für die Evaluation weitere Grundsätze entscheidend:

Wir können unsere Ziele nur dann erreichen und weiterentwickeln, wenn wir nach einer Lösung und nicht nach einem Produkt suchen.Die Gesamtlösung muss aus einzelnen, unabhängigen Komponenten bestehen, was es uns ermöglicht, sie durch alternative Komponenten austauschen zu können, sobald dies durch das sich weiterentwickelnde technische Umfeld opportun erscheint bzw. durch dieses erzwungen wird.Kein eher ideologisches “make or buy” sondern ein pragmatisches “make and buy”. Unsere Lösung kann sowohl aus offenen als auch proprietären Softwarekomponenten bestehen. Gesucht ist der “best effort” im Mix.Grosses Gewicht massen wir bereits zum damaligen Zeitpunkt der Komponente für das Clustern und Dedublieren von Daten zu. Für uns stand ausser Frage, dass eine hohe Datenqualität und die Fähigkeit, flexibel die Regeln für die automatisierten Prozesse zu definieren, Grundlage für darauf aufbauende BenutzerInnen-Services sind. Dabei hatten wir vor zehn Jahren als Service ausschliesslich ein traditionelles Discovery vor Augen.

Trotz erheblichen politischen Gegenwinds für ein solches Modell entschied sich das damalige Projektteam für eine Lösung, die diesen Grundsätzen entsprach. Die swissbib Plattform wurde auf Basis der Produkte CBS, FAST und Touchpoint, aus dem Angebot von OCLC aufgebaut und ging 2010 in Produktion. Über die Jahre hinweg wurden die Komponenten FAST und Touchpoint durch die offenen Softwarekomponenten Solr und VuFind ersetzt. Währenddessen haben wir die Möglichkeiten des Datenclusterns in CBS zusammen mit dem Hersteller weiter ausgebaut.

Eine signifikante Erweiterung erfuhr die swissbib Plattform in den Jahren 2014-2017 durch das Projekt linked swissbib, in dem Komponenten zur Transformation und Nutzung der swissbib-Daten als Linked Data entwickelt und in die bestehende Plattform integriert wurden

 http://linked.swissbib.ch

.

Aus heutiger Perspektive haben sich die zu Beginn des Projekts aufgestellten Grundsätze des Projekts, einzelne Komponenten einer Lösung austauschen zu können, wenn diese den Anforderungen nicht mehr genügen, vollumfänglich bestätigt und waren unerlässlich für die agile Weiterentwicklung von swissbib in einem sich rasch ändernden digitalen Umfeld.

Datenbasierte Infrastrukturen als Basis für zukunftsgerichtete Services

In den zehn Jahren des Betriebs von swissbib hat sich das digitale Umfeld und damit auch die Anforderungen der NutzerInnen rasant weiterentwickelt. Wir sind fest davon überzeugt, dass Bibliotheken nur zukunftsfähige Services anbieten können, wenn sie sich das Wissen um die Nutzung moderner Dateninfrastrukturen erhalten und in einer Art ausbauen, dass darauf die Einführung neuer Services möglich wird.

Forschende und Studierende verlangen aus Anwendungssicht zunehmend nach interaktiven Analysemöglichkeiten von Daten sowie nach Informationsservices, die ihnen Ressourcen anbieten, welche auf ihren Anwendungsfall oder Forschungsgebiet gezielt zugeschnitten sind.

Um auf diese Anforderungen reagieren zu können, fokussieren wir uns zur Zeit auf den Umbau der Prozesse zur Bereitstellung von aufbereiteten Daten für die Erstellung spezialisierter Services.

Ziele die wir damit erreichen wollen sind:

Integration moderner Streamingverfahren zur raschen Verarbeitung und zur Echtzeitanalyse von grossen DatenmengenAufbau einfacher und leicht wiederverwendbarer data-pipelines sowie möglichst geringe Abhängigkeiten zwischen einzelnen KomponentenEntwicklung von neuen Clusterverfahren parallel zu den aktuell eingesetzten Verfahren auf Basis von CBSBessere Nutzung der vorhandenen Hardware-Ressourcen durch dynamische Skalierung von ServicesNeue Angebote von interaktiven Analyseservices auf Basis der genannten Streamingverfahren

Bei dem Umbau sind die im ersten Teil dieses Artikels beschriebenen Grundkonstanten von swissbib, einzelne Teile einer Gesamtlösung relativ einfach ersetzen oder ergänzen zu können, wiederum unerlässlich.

Bei der Suche nach Softwarekomponenten, die für die Umsetzung der genannten Ziele in Frage kommen, stösst man sehr schnell auf einen engeren Kreis von Open-Source Projekten aus dem Apache Umfeld. Insbesondere kommen Apache Kafka

 https://kafka.apache.org/

als Eventhub zur Entkopplung von einzelnen Komponenten oder Apache Flink

 https://flink.apache.org/

als Lösung zur verteilten Verarbeitung von data-pipelines oder datastreams in Frage. Diese aus dem BigData Umfeld stammenden Techniken können heute auch mit begrenzten technischen Ressourcen im bibliothekarischen Umfeld und von weiteren mit Daten arbeitenden Kultureinrichtungen genutzt werden. Unter diesen Voraussetzungen wird die swissbib Plattform zur Zeit umgestaltet. Die nachfolgende Darstellung gibt einen Überblick über die geplante Architektur von swissbib.

Umgestaltung werden die Prozesse auf der bestehenden Plattform entflochten und in eine Microservices-Architektur überführt. Dabei erreichen wir durch den Einsatz von weltweit genutzter und damit faktisch standardisiertet Software, die in Kombination mit Eigenentwicklungen

 https://gitlab.com/swissbib und https://github.com/swissbib/

zum Einsatz kommt, mehr Transparenz und Nachvollziehbarkeit sowie eine möglichst hohe Qualität. Wir sind davon überzeugt, dass durch diesen Microservices-Ansatz auch das verteilte und kooperative Arbeiten über Institutionsgrenzen hinweg stark vereinfacht werden kann. In diesem Sinne würden wir uns freuen, wenn ein breiteres Interesse, auch durch diesen Artikel, an dem beschriebenen Modell gewonnen werden kann. Feedback nehmen wir gerne entgegen und wir werden versuchen, unsere Ideen sowie gewonnen Erfahrungen an Konferenzen der community mit mehr Details zu erläutern.