Beiträge

ALTO XML Schema

SBB engagiert sich im ALTO Board

Seit dem 14. November 2015 ist die Staatsbibliothek zu Berlin im Editorial Board des internationalen ALTO Standards vertreten. Nun werden Sie sich fragen: was ist denn ALTO überhaupt und warum sollte mich das interessieren?

Was bzw. wofür ist ALTO?

ALTO steht für Analyzed Layout and Text Object, ein XML Schema zur Beschreibung von Layout- und Textinformationen für elektronische Dokumente wie bspw. Digitalisate von Büchern und Zeitungen. ALTO ermöglicht die standardisierte Speicherung des mittels OCR (Optical Character Recognition / Texterkennung) generierten Texts, vor allem aber auch entsprechender Formatierungsinformationen und technischer Metadaten. Eine der wichtigsten Eigenschaften von ALTO ist dabei wohl die Angabe von (pixel-basierten) Koordinaten für die Wörter auf einer Seite. Im folgenden Ausschnitt  aus einer ALTO XML Datei sind bspw. die exakten Koordinaten für jeden Buchstaben des Wortes “Berlin” in den Attributen HPOS (für horizontal position) und VPOS (für vertical position) enthalten.

Ausschnitt aus einer ALTO XML Datei für den String "Berlin"

Ausschnitt aus einer ALTO XML Datei für den String “Berlin”

Nur dank dieser Informationen ist es später möglich in der Präsentation nach einer Suche in den Volltexten ein praktisches farbliches Highlight auf die gefundenen Treffer zu setzen. Dies erleichtert insbesondere bei großformatigen Zeitungen das Wiederfinden des Suchbegriffs im digitalen Faksimile ungemein.

Treffer-Highlighting (in Gelb) am Beispiel einer Ausgabe des <em>Berliner Tageblatt</em>, <a href="http://sbb.berlin/7djmvo" target="_blank">http://sbb.berlin/7djmvo</a>

Treffer-Highlighting (in Gelb) am Beispiel einer Ausgabe des Berliner Tageblatt, http://sbb.berlin/7djmvo

Hintergrund und Geschichte von ALTO

Ursprünglich entwickelt wurde ALTO im Rahmen des EU-Projekts METAe um 2004, in der Folge kümmerte sich vor allem das Hamburger Unternehmen Content Conversion Specialists (CCS) um die Betreuung des Formats bevor diese Verantwortung 2009 mit der Anerkennung als Standard an die Library of Congress überging. Dort ist ALTO auch deshalb hervorragend aufgehoben weil die Library of Congress bereits (neben mehreren anderen) den weit verbreiteten Metadatenstandard METS (Metadata Encoding and Transmission Standard) betreut, mit dem ALTO in den meisten Fällen kombiniert wird. Seitdem existiert auch ein international besetztes Editorial Board das sich neben der Kuration des ALTO XML Schema und der zugehörigen Dokumentation auch um die weitere Verbreitung des Standards sowie um Richtlinien und Beispiele zu seiner optimalen Verwendung kümmert. Neben renommierten internationalen Bibliotheken wie der Library of Congress, den Nationalbibliotheken Frankreichs, der Niederlande, Finnlands und Singapurs sind auch Forscher und Experten aus Universitäten sowie Dienstleister aus dem Bereich der Digitalisierung im ALTO Editorial Board vertreten.

Und was ist mit TEI?

TEI (Text Encoding Initiative) ist eine ebenfalls XML-basierte Methode um Texte digital zu repräsentieren. TEI findet vor allem in den Geisteswissenschaften bzw. Digital Humanities Anwendung, z.B. wenn es um das Erstellen von Digitalen Editionen geht. Im Gegensatz zu ALTO liegt jedoch das Gewicht bei TEI weniger auf einer möglichst genauen Wiedergabe von optischen / physischen Merkmalen des Texts, als vielmehr bei dessen logischer und semantischer Auszeichnung. Das ALTO Board hingegen verwehrt seit jeher bewusst die Aufnahme jeglicher logischer Elemente in den Standard – es geht allein um das was wirklich auf der Seite “sichtbar” ist, ohne irgendeine Form von inhaltlicher Interpretation. Um ein Beispiel zu geben: eine Überschrift würde in TEI typischerweise mit einem entsprechenden XML Element <head> gekennzeichnet:

<head>Neuigkeiten aus Berlin</head>

In ALTO hingegen wäre die Tatsache dass es sich um eine Überschrift handelt bestenfalls implizit durch die Größe der Buchstaben oder etwa den Fettdruck erkennbar:

<String STYLE="bold" CONTENT="Neuigkeiten aus Berlin"/>

Darüber hinaus enthalten die ALTO Dateien auch eine Reihe von inhaltlich nicht relevanten Informationen, die aber für die Weiterverarbeitung – etwa eine (semi-)automatisierte Korrektur der OCR Qualität – entscheiden sind, wie z.B. Wahrscheinlichkeitswerte für die Qualität der Zeichenerkennung, alternative Erkennungsvarianten und vieles mehr. Zudem lassen sich ALTO Dateien dank XML Schema leicht validieren. Gerade wegen dieser technischen Eigenschaften und des völligen Verzichts auf inhaltliche Interpretation werden die ALTO Daten an der SBB quasi als “Text Master” vorgehalten. Geisteswissenschaftler müssen dennoch nicht verzagen – durch die Standardisierung von ALTO lassen sich mit Hilfe von XSL Transformation relativ leicht entsprechende TEI-Versionen aus den ALTO Daten erzeugen. Für unsere Digitalen Sammlungen ist aber auch eine Möglichkeit zum Download der Volltexte direkt als TEI oder Plain Text geplant.

Anwender & Anwendungen

In der SBB wird ALTO für die Volltexte in den Digitalen Sammlungen verwendet. Zu den bereits vorhandenen ca. 2 Mio. Seiten Volltext werden in näherer Zukunft noch weitere 5 Mio. Seiten hinzukommen. Eine Liste von ALTO Anwendern weltweit mit vielen Live-Beispielen gibt es hier. Die Kombination METS/ALTO hat sich auch und insbesondere in der Zeitungsdigitalisierung bewährt – so z.B. im von der SBB koordinierten EU-Projekt Europeana Newspapers, in dem 12 Mio. Seiten OCR von historischen Zeitungen produziert und eine Empfehlung für ein METS/ALTO Profil (PDF) speziell für Zeitungen erarbeitet wurden. Auch der DFG-Viewer unterstützt die Darstellung von Volltexten wenn diese als ALTO vorliegen.

Die Liste der Anwendungen die ALTO unterstützen wird ebenfalls stets länger.

Weiterführende Links

  • Homepage des ALTO Standards bei der Library of Congress
  • GitHub des ALTO Standards
Relaunch der Digitalisierten Sammlungen

Digitalisierte Sammlungen werden agil: neues Portal und Labor starten in Betaphase

tl;dr: Unsere Digitalisierten Sammlungen wurden umfangreich überarbeitet. In dem neuen Beta-Portal sieht für die NutzerInnen aber fast alles aus wie vorher. Dafür gibt es einen guten Grund.

Die Digitalisierten Sammlungen der Staatsbibliothek gehören zu unseren nachgefragtesten digitalen Diensten. Allein im Monat März verzeichneten wir 30.000 BesucherInnen und über 1/3 Millionen Seitenansichten. Über 100.000 Werke stehen mit mehr als 10 Millionen Seiten in hoher Auflösung (in der Regel 300 dpi oder mehr) zur Verfügung.

Warum überhaupt (noch) eine eigene Präsentationsoberfläche?

In Zeiten knapper und knappster Budges – auch für Bibliotheken – ist diese Frage absolut berechtigt. Mit dem DFG– oder Kitodo-Viewer steht seit Jahren ein einheitliches und funktional gut ausgestattetes Werkzeug zum Lesen von Digitalisaten zur Verfügung, sofern die Metadaten im METS/MODS Format vorliegen. Neue Entwicklungen wie der auf IIIF Technologien basierende Viewer Mirador bieten gute Funktionen im Bereich der synoptischen Bildanalyse. Auf der Nachweisebene folgt die Staatsbibliothek der Devise: keine Digitalisierung und Präsentation eines Werkes, das nicht zuvor im zentralen Katalog (OPAC – StaBiKat nachgewiesen wird. Auch hier kann man also die Sinnfrage einer zusätzlichen Suchoberfläche stellen.

Darum: die Qualität von Bibliotheksdaten sichtbar und nutzbar machen

Schaut man sich jedoch die Struktur der von uns bereit gestellten Daten an, so zeigt sich schnell: gerade an den Schnittstellen von Suchindex zu Trefferliste und von Treffer zu Objektanzeige gehen leicht nutzungsrelevante Informationen verloren. Der OPAC weiß nichts von unseren Strukturdaten (zumeist Inhaltsverzeichnisse, aber beispielsweise auch ausgezeichnete Illustrationen oder Karten), ebenso wenig von unseren OCR-generierten Volltexten. Eine zu einfach gestrickte Trefferliste verschleiert allzu oft, warum eigentlich ein Objekt als Treffer angezeigt wird. Die Feature-Entwicklung von Trefferlisten ist gefühlt vor 10 Jahren stehen geblieben. Bei der Objektpräsentation werden ebenfalls oft die Volltexte versteckt und unsichtbar im Hintergrund gehalten – mit der Konsequenz, das WissenschaftlerInnen keinen Eindruck von der zuweilen ja durchaus problematischen OCR-Qualität gewinnen können.
Ich glaube, dass Bibliotheken gut beraten sind, eigene Kompetenz im Bereich der Suchmaschinentechnologie vorzuhalten und weiter auszubauen. Ebenso im Bereich der graphischen Nutzungsoberflächen. Der Auftrag von Bibliotheken war seit je her nicht nur die Sammlung und Aufbewahrung von Wissen, sondern auch ihre Vermittlung. International regt sich in letzter Zeit Kritik an der Qualität von Google Books – wir können hier nur dann überzeugend mitreden, wenn wir es selbst substantiell besser machen. Niemand kennt die Struktur unserer Daten besser als wir: dieses Potential gilt es zu heben. Und ein Wettbewerb der Ideen ist genau, was wir jetzt brauchen.

Ein neuer Anfang

Die Technologie zur Verwaltung unseres eigenen Suchindex der Digitalisierten Sammlungen der Staatsbibliothek zu Berlin ist in die Jahre gekommen: einzelne Code-Fragmente datieren aus dem Jahr 2004. Es war an der Zeit für eine grundlegende Modernisierung. Was direkt auffällt: durch die neue technische Basis – über die es demnächst hier einen eigenen Beitrag geben wird – wurden teils dramatische Geschwindigkeitsgewinne erzielt. Die folgende Grafik zeigt die durchschnittliche Umblättergeschwindigkeit innerhalb eines Bandes in Bezug gesetzt zum Seitenumfang des Werkes:

 

Blätterzeit der neuen Digitalisierten Sammlung

Neben Performance-Steigerungen sind jedoch auf den ersten Blick nur wenige neue Funktionen hinzugekommen. Das hat seinen Grund. Wir haben in unserer „AG Präsentation“ eine gut gefüllte Wunschliste, welche neuen Ansätze wir gern probieren würden – etwa auch und gerade im Hinblick auf die Trefferliste, die wir gern komplett neu denken würden.

 

Unser Planungsboard – eine open-source-Alternative zu Trello: http://kanboard.net/

Unser Planungsboard – eine open-source-Alternative zu Trello: http://kanboard.net/

 

Anders als bisher wollen wir jedoch nicht einmal jährlich einen großen Schwung an neuen Features veröffentlichen, sondern lieber einzelne Features zur Diskussion stellen, in viel kürzeren Abständen als bisher. Die neue technische Basis erlaubt uns hier ausgesprochen schlanke Entwicklungsansätze, so dass Experimente und Korrekturen viel schneller umgesetzt werden können. Erfolgreiche Konzepte mögen ihren Weg auch in andere Nachweissysteme finden. Natürlich stehen sämtliche unserer Entwicklungen unter einer open-source-Lizenz, und auch ein Veröffentlichungsmodus dafür ist in Planung – aber das ist genügend Stoff für einen weiteren Beitrag.
Wir stellen uns den zukünftigen Ablauf in etwa so vor:

  1. Sie testen gründlich unsere neue Beta –  http://digital-beta.staatsbibliothek-berlin.de – auf Herz und Nieren, auch und gerade im Vergleich zu der alten Präsentation, die weiterhin verfügbar bleibt.
  2. Relativ bald würden wir dann die jetzige Beta – einen Erfolg vorausgesetzt – als neue Hauptinstanz umschwenken.
  3. Das Beta-Portal bleibt jedoch bestehen: hier werden wir in relativ rascher Abfolge jeweils ein neues Feature implementieren, und hier im Blog erläutern und zur öffentlichen Diskussion stellen.
  4. Bei Gefallen findet es zügig den Weg in die Produktivinstanz, das Beta-Labor steht für das nächste Experiment frei und der Prozess beginnt erneut bei 3.

Unter dieser Adresse http://blog.sbb.berlin/tag/digitalisierte-sammlungen bleiben Sie tagesaktuell auf dem Laufenden, gern auch per RSS-Feed. Ganz entscheidend ist, dass Sie sich einbringen – am liebsten unter diesem Beitrag im Kommentarbereich, möglich sind natürlich auch Kanäle wie E-Mail, Twitter oder Facebook.