Unsere Beiträge zu den Wissenschaften und Forschung

Kuratieren mit KI: Erste Ergebnisse aus dem QURATOR-Projekt

Ein Beitrag aus unserer Reihe Künstliche Intelligenz zum Wissenschaftsjahr 2019

QURATOR ist ein BMBF-gefördertes Forschungsprojekt mit dem Ziel, ein weites Spektrum von Kuratierungstechnologien basierend auf Methoden und Verfahren der künstlichen Intelligenz zu entwickeln. Wir haben hier im Blog schon mehrfach zum Projekt berichtet. Nachdem im November 2019 das erste von insgesamt drei Jahren Projektlaufzeit endete, liegen inzwischen auch Zwischenergebnisse von insgesamt drei Aktivitäten aus dem Arbeitsbereich der SBB “Digitalisiertes kulturelles Erbe” vor, die wir Ihnen hier gerne kurz vorstellen wollen.

Qualitätsverbesserung OCR

Eine grundlegende Voraussetzung für Suche, Recherche, Analyse und Verarbeitung von digitalisierten Dokumenten sind qualitativ hochwertige, automatisch durch OCR (Optical Character Recognition) erzeugte Volltexte. Während sich die SBB parallel im DFG-Projekt OCR-D vor allem im Bereich der Spezifizierung von offenen Schnittstellen und Datenformaten für die OCR einbringt, wird im Rahmen von QURATOR durch die SBB auch an der Verbesserung der Qualität von OCR Ergebnissen gearbeitet. Hierzu wurden auf dem Datenset GT4HistOCR (Springmann et al., 2018) mehrere Modelle für die auf Deep Learning basierende OCR-Engine Calamari (Wick et al., 2018) trainiert. Eine Besonderheit von Calamari im Vergleich zu anderen OCR-Engines liegt darin, dass bei der OCR mit mehreren Modellen parallel gearbeitet wird, die anschließend in einem Voting-Verfahren unter den Modellen das optimale Ergebnis ermitteln.

Voting der OCR Modelle

Um dies an einem Beispiel zu illustrieren: im folgenden wird mit drei OCR-Modellen gearbeitet. Während Modell 1 (blau) hier mit 80% Sicherheit ein “i” erkennt, tendieren die Modelle 2 (violett) und 3 (grün) als erste Option für den auf “Beyſp…” folgenden Buchstaben mit 40% resp. 30% zu einem “i“.

Die Modelle 2 und 3 geben hingegen eine höhere Wahrscheinlichkeit (50% resp. 40%) für die zweite Option “l” an. Bildet man aber nun aus sämtlichen Modellen für jede erkannte Variante mit deren Konfidenzwerten die Summe, so ergibt sich letztlich doch die Ausgabe des “i” als beste Möglichkeit. Dies liegt daran, dass das Modell 1 sich hier besonders sicher ist, auch wirklich ein “i” erkannt zu haben (80%).

So lässt sich letztendlich zeigen, dass die Modelle unterschiedliche Merkmale unterschiedlich gut lernen, und durch Kombination der Spezialisierungen der Modelle im Gesamtergebnis eine höhere Qualität erzielt werden kann.

Erste Tests im Vergleich mit der aktuellen Version 4.1 der Open Source OCR-Engine Tesseract und dem Standard-Modell für Fraktur (frk) deuten darauf hin, dass hier erhebliche Verbesserungspotenziale zu verwirklichen sind:

OCR Vergleich Tesseract 4.1 und Calamari

Um die mit diesen OCR-Modellen erzielbare OCR-Qualität präzise und reproduzierbar automatisch zu bestimmen, wurde zudem das Evaluationstool Dinglehopper entwickelt, das es erlaubt OCR Ergebnisse in den Formaten ALTO, PAGE-XML und Text mit Referenzdaten (sog. Ground Truth) zu vergleichen und die Differenzen visuell darzustellen. Zudem wurden gegenüber anderen frei verfügbaren Werkzeugen für die OCR Evaluation einige Verbesserungen bei der Behandlung von Sonderzeichen (Ligaturen, Umlaute, Sonderzeichen) vorgenommen.

Strukturerkennung

Die mit Dinglehopper bislang durchgeführten Evaluierungen deuten weiter darauf hin, dass noch auftretende Fehler bei der Texterkennung häufig auf Fehler im Bereich der Layoutanalyse und Textzeilenextraktion (moderne OCR Verfahren arbeiten mit Textzeilen als Input) zurückzuführen sind. Daher arbeitet die SBB auch an einem speziell auf die vielfältigen in historischen Dokumenten auftretenden Layouts trainierten Tool für die Strukturerkennung. Ziel ist es dabei, ausgehend von einer grundlegenden Layoutanalyse einer Dokumentenseite alle Regionen zu ermitteln, die nur Text enthalten (z.B. Absätze, Blöcke) und von weiteren Regionen wie bspw. Grafiken (Abbildungen, Illustrationen, Photographien) oder sonstigen Strukturen (Tabellen, Diagramme) zu unterscheiden. Hierfür wurde in einem ersten Schritt eine Layoutanalyse basierend auf den Konvolutionalen Neuronalen Netzen (CNN) ResNet (He et al., 2015) und U-Net (Ronneberger et al., 2015) entwickelt. Ausgehend von zuvor manuell annotierten Trainingsdaten lernen die Neuronalen Netze hierbei für jedes einzelne Pixel zu entscheiden, in welche übergeordnete Strukturklasse sich dieses am besten zuordnen lässt.

Layoutanalyse mit ResNet/U-Net

Textzeilenerkennung

Auf der Basis der so erkannten Bildregionen die Text enthalten werden in einem weiteren Schritt schließlich anhand der Dichte der Pixel entlang der x-Achse einzelne Zeilen erkannt und für die Texterkennung durch eine OCR-Engine extrahiert.

Die bislang erzielten Ergebnisse sind bei einer ersten rein qualitativen Betrachtung dem state-of-the-art überlegen. Um dies jedoch systematisch und quantitativ zu evaluieren, wird angestrebt in 2020 – erneut in Kooperation mit dem OCR-D Projekt – eine freie Version der Layoutevaluation von PRImA (Clausner et al., 2011) zu implementieren.

Named Entity Recognition

Sind erst einmal die größten Herausforderungen der Text- und Strukturerkennung mit zufriedenstellender Qualität bewältigt, so steht einer weiteren Analyse und Anreicherung der digitalisierten Dokumente mit semantischen Informationen nichts mehr im Wege. Eine häufige Anwendung ist hier z.B. die Eigennamenerkennung (Named Entity Recognition, NER). Unter NER versteht man die Erkennung von Namen für (üblicherweise) Personen, Orte und Organisationen aus Texten.

Scheint dies im ersten Moment noch recht trivial, so ergeben sich bei genauerer Betrachtung doch erhebliche Schwierigkeiten: so müssen durch ein geeignetes NER Verfahren nicht nur historische Schreibvarianten (“Leypzick” –> “Leipzig”) korrekt zugeordnet werden sondern dieses auch robust gegenüber den (hoffentlich wenigen) verbleibenden OCR Fehlern (“Lcipzlg” –> “Leipzig”) sein. Zudem ist die Zuordnung eines Namen zu einer Kategorie nicht immer so eindeutig, wie es auf den ersten Blick scheinen mag. Nehmen wir z.B. den Satz “Paris ist schön”, so könnte mit “Paris” sowohl die Stadt Paris als auch die Person Paris Hilton gemeint sein. Ein gutes NER Verfahren muss daher also auch immer den Kontext mit in Betracht ziehen.

Beispiel Ausgabe der NER auf OCR Volltext

Für die Entwicklung eines für all diese Anforderungen geeigneten NER Tools hat sich die SBB entschieden, auf BERT (Devlin et al., 2018) aufzubauen. BERT hat nicht wirklich etwas mit der Sesamstraße zu tun – vielmehr steht BERT für Bidirectional Encoder Representations from Transformers, ein von Google Ende 2018 veröffentlichtes Neuronales Netz, das darauf trainiert wurde, grundlegende Merkmale natürlicher Sprache zu lernen.

Ausgehend von Google’s BERT Modell hat die SBB dieses zuerst mit einem Datenset aus großen Mengen von deutschsprachigen Volltexten der digitalisierten Sammlungen (Labusch et al., 2019) so trainiert, dass das Modell auch die Besonderheiten von historischen deutschen Schreibweisen erlernt. In einem weiteren Schritt bekam das Modell dann kleinere Mengen von manuell annotierten Daten (Neudecker, 2016) vorgelegt, also Dokumente in denen manuell Personen, Orte und Organisationen vorab markiert wurden, um diese in den digitalisierten Sammlungen automatisch erkennen zu lernen.

Die entwickelte Methode und quantitative Evaluation des so trainierten Modells gegenüber der state-of-the-art in einer Reihe von Experimenten wurde auch in einem Konferenzbeitrag auf der KONVENS2019 vorgestellt. Dabei zeigte sich, dass das so gewonnene Modell die Qualität der NER im Vergleich zu den bislang verfügbaren generischen Methoden (Riedl et al., 2018) erheblich steigert (f1-score von 84.3% vs. 78.5%) bzw. ohne weiteres Fine-tuning die Qualität von speziell angepassten Lösungen (Schweter et al., 2019) erreichen kann.

Um die Qualität der NER weiter zu steigern wurde zudem das Annotationstool neath entwickelt, mit dem aktuell in Kooperation mit dem DFG-Projekt SoNAR-IDH weitere Trainingsdaten erstellt werden. Aktuell wird auch an der Disambiguierung erkannter Entitäten sowie der Zuordnung zu und Verlinkung mit einer Normdatei wie der Gemeinsamen Normdatei (GND) der Deutschen Nationalbibliothek oder Wikidata mittels Contextual String Embeddings (Akbik et al., 2018) gearbeitet.

Sämtliche der genannten und von der SBB im Rahmen von QURATOR entwickelten Software-Tools werden über GitHub als Open Source veröffentlicht. Die trainierten Modelle und dazu verwendeten Datensets werden zudem auch sukzessive im SBB Lab veröffentlicht.

Sollte all dies ihr Interesse geweckt haben, bleibt nur noch der Hinweis auf die #QURATOR2020 Konferenz am 20-21 Januar 2020 in Berlin, wo neben der SBB auch die weiteren Projektpartner von QURATOR sowie eine Reihe von KI-Expert*innen und Anwender*innen die neuesten innovativen Verfahren für die Digitale Kuratierung mit künstlicher Intelligenz präsentieren werden.

 

Vorschau: In unserem nächsten Beitrag wird es kämpferisch – wir beleuchten den Einsatz von KI im Militärwesen!

Begleitprogramm zur Ausstellung “1001 Nacht” am 13.12.

Begleitprogramm: «REISENDE ERZÄHLUNGEN: Tausendundeine Nacht zwischen ORIENT UND EUROPA»

  • Termin

    Fr, 13. Dezember 2019
    Filmvorführung: 18 Uhr
    Simón-Bolívar-Saal

  • Veranstaltungsort

    Staatsbibliothek zu Berlin
    Simón-Bolívar-Saal
    Potsdamer Straße 33
    10785 Berlin

    Eintritt frei

  • Anfahrt

    S + U Potsdamer Platz

    Bushaltestelle
    H Potsdamer Brücke (Bus M29)
    H Varian-Fry-Straße (Bus 200)
    H Kulturforum (Bus M48)

  • Alle Veranstaltungen

    Klicken Sie hier um zu einer Übersicht unserer Veranstaltungen zu gelangen.



© Staatsbibliothek zu Berlin – PK

Begleitprogramm 1001 Nacht am 13.12.


«Al Halqa – Im Kreis der Geschichtenerzähler» am 13. Dezember 2019

Drehbuch, Regie und Kamera: Thomas Ladenburger
2010, Dokumentarfilm, 90 min.

Über den Inhalt:

©Thomas Ladenburger Filmproduktion [Filmdreh_Platz Djemaa El Fna_Marrakesch, Marokko]

©Thomas Ladenburger Filmproduktion [Filmdreh_Platz Djemaa El Fna_Marrakesch, Marokko]

Auf dem Platz Djemaa El Fna in Marrakesch erzählt Abderahim El Maqori Geschichten, die er seit seiner Kindheit mit Herz und Geist gesammelt hat. Jetzt, da er älter wird, bringt er seinem Sohn die Kunst eines sterbenden Handwerks bei. In der Halqa, dem Kreis der Geschichtenerzähler, lernt der Junge das Erzählen und erntet mitunter harsche Kritik von seinem Vater.

Als Zoheir bereit ist, die traditionelle Lehrreise zu begehen, fahren die beiden nach Fez. In der intellektuellen Hauptstadt Marokkos wird er dem ultimativen Test auf dem großen Marktplatz unterzogen. Die Kamera folgt dem Paar auf seiner Reise, die mit Geschichten von Geistern, Königen, Schustern und Tieren untermalt ist. Es besteht eine besondere Verbindung zwischen Vater und Sohn, deren Meinungen ganz sicher nicht immer übereinstimmen.

©Thomas Ladenburger Filmproduktion [Abderahim El Maqori und sein Sohn Zoheir_Marrakesch, Marokko]

©Thomas Ladenburger Filmproduktion [Abderahim El Maqori und sein Sohn Zoheir_Marrakesch, Marokko]

Zoheir muss einen eigenen Stil für eine neue Generation von Zuhörern finden, die nicht nur von lang vergangenen Tagen, sondern auch von Dingen wie AIDS hören will. Im Übrigen sind die Halaiqis nicht die Einzigen, die die Tradition ihres Volkes erhalten wollen. Zoheirs Lieblingsschauspieler Mohammed Hassan El Joundi erklärt, warum er in seinem Studio Geschichten aus vergangenen Epochen aufnimmt: Geschichten erziehen die Menschen und lehren sie ihren Ambitionen und Träumen zu folgen.

Begleitprogramm zur Ausstellung “1001 Nacht” am 3.12.

Begleitprogramm: «REISENDE ERZÄHLUNGEN: Tausendundeine Nacht zwischen ORIENT UND EUROPA»

  • Termin

    Di, 3. Dezember 2019
    Kurzführung: 17 Uhr
    Dietrich-Bonhoeffer-Saal
    Vortrag: 18 Uhr
    Simón-Bolívar-Saal

  • Veranstaltungsort

    Staatsbibliothek zu Berlin
    Dietrich-Bonhoeffer-Saal (Führung)
    Simón-Bolívar-Saal (Vortrag)
    Potsdamer Straße 33
    10785 Berlin

    Eintritt frei

  • Anfahrt

    S + U Potsdamer Platz

    Bushaltestelle
    H Potsdamer Brücke (Bus M29)
    H Varian-Fry-Straße (Bus 200)
    H Kulturforum (Bus M48)

  • Alle Veranstaltungen

    Klicken Sie hier um zu einer Übersicht unserer Veranstaltungen zu gelangen.



© Staatsbibliothek zu Berlin – PK

Begleitprogramm 1001 Nacht am 03.12.


«The Introduction of the 1001 Nights in the Dutch Republic and its Dissemination Abroad: From Galland to Goethe» am 3. Dezember 2019

by Arnoud Vrolijk

Antoine Galland’s French translation of the Arabian Nights appeared in  Paris in 1704, and within a year there was a pirated edition from The  Hague, which was followed by many others. These French editions from Holland were intended for dissemination abroad and one copy found its way to Goethe, the author of the West-östlicher Divan. The 1719 Dutch retranslation of the Nights by the Amsterdam silk merchant and financier Gilbert de Flines (Amsterdam 1690 – London 1739) typifies the role of the Dutch merchant class in the cultural scene of Amsterdam.
Dr Arnoud Vrolijk is Interpres Legati Warneriani and Curator of Oriental Manuscripts and Rare Books at Leiden University Libraries. Together with Richard van Leeuwen he is the author of The Thousand and One Nights and Orientalism in the Dutch Republic, 1700-1800: Antoine Galland, Ghisbert  Cuper and Gilbert de Flines (Amsterdam: University Press, 2019).

©SBB-PK [Frontispiz von Antoine Galland, Les Mille Et Une Nuit. Contes Arabes, Leiden 1768, Bd. 1]

©SBB-PK [Frontispiz von Antoine Galland, Les Mille Et Une Nuit. Contes Arabes, Leiden 1768, Bd. 1]

Um 17 Uhr besteht die Möglichkeit, an einer Kurzführung durch die Ausstellung teilzunehmen; Treffpunkt ist vor dem Dietrich-Bonhoeffer-Saal.