Beiträge

Kuratieren mit KI: Erste Ergebnisse aus dem QURATOR-Projekt

Ein Beitrag aus unserer Reihe Künstliche Intelligenz zum Wissenschaftsjahr 2019

QURATOR ist ein BMBF-gefördertes Forschungsprojekt mit dem Ziel, ein weites Spektrum von Kuratierungstechnologien basierend auf Methoden und Verfahren der künstlichen Intelligenz zu entwickeln. Wir haben hier im Blog schon mehrfach zum Projekt berichtet. Nachdem im November 2019 das erste von insgesamt drei Jahren Projektlaufzeit endete, liegen inzwischen auch Zwischenergebnisse von insgesamt drei Aktivitäten aus dem Arbeitsbereich der SBB “Digitalisiertes kulturelles Erbe” vor, die wir Ihnen hier gerne kurz vorstellen wollen.

Qualitätsverbesserung OCR

Eine grundlegende Voraussetzung für Suche, Recherche, Analyse und Verarbeitung von digitalisierten Dokumenten sind qualitativ hochwertige, automatisch durch OCR (Optical Character Recognition) erzeugte Volltexte. Während sich die SBB parallel im DFG-Projekt OCR-D vor allem im Bereich der Spezifizierung von offenen Schnittstellen und Datenformaten für die OCR einbringt, wird im Rahmen von QURATOR durch die SBB auch an der Verbesserung der Qualität von OCR Ergebnissen gearbeitet. Hierzu wurden auf dem Datenset GT4HistOCR (Springmann et al., 2018) mehrere Modelle für die auf Deep Learning basierende OCR-Engine Calamari (Wick et al., 2018) trainiert. Eine Besonderheit von Calamari im Vergleich zu anderen OCR-Engines liegt darin, dass bei der OCR mit mehreren Modellen parallel gearbeitet wird, die anschließend in einem Voting-Verfahren unter den Modellen das optimale Ergebnis ermitteln.

Voting der OCR Modelle

Um dies an einem Beispiel zu illustrieren: im folgenden wird mit drei OCR-Modellen gearbeitet. Während Modell 1 (blau) hier mit 80% Sicherheit ein “i” erkennt, tendieren die Modelle 2 (violett) und 3 (grün) als erste Option für den auf “Beyſp…” folgenden Buchstaben mit 40% resp. 30% zu einem “i“.

Die Modelle 2 und 3 geben hingegen eine höhere Wahrscheinlichkeit (50% resp. 40%) für die zweite Option “l” an. Bildet man aber nun aus sämtlichen Modellen für jede erkannte Variante mit deren Konfidenzwerten die Summe, so ergibt sich letztlich doch die Ausgabe des “i” als beste Möglichkeit. Dies liegt daran, dass das Modell 1 sich hier besonders sicher ist, auch wirklich ein “i” erkannt zu haben (80%).

So lässt sich letztendlich zeigen, dass die Modelle unterschiedliche Merkmale unterschiedlich gut lernen, und durch Kombination der Spezialisierungen der Modelle im Gesamtergebnis eine höhere Qualität erzielt werden kann.

Erste Tests im Vergleich mit der aktuellen Version 4.1 der Open Source OCR-Engine Tesseract und dem Standard-Modell für Fraktur (frk) deuten darauf hin, dass hier erhebliche Verbesserungspotenziale zu verwirklichen sind:

OCR Vergleich Tesseract 4.1 und Calamari

Um die mit diesen OCR-Modellen erzielbare OCR-Qualität präzise und reproduzierbar automatisch zu bestimmen, wurde zudem das Evaluationstool Dinglehopper entwickelt, das es erlaubt OCR Ergebnisse in den Formaten ALTO, PAGE-XML und Text mit Referenzdaten (sog. Ground Truth) zu vergleichen und die Differenzen visuell darzustellen. Zudem wurden gegenüber anderen frei verfügbaren Werkzeugen für die OCR Evaluation einige Verbesserungen bei der Behandlung von Sonderzeichen (Ligaturen, Umlaute, Sonderzeichen) vorgenommen.

Strukturerkennung

Die mit Dinglehopper bislang durchgeführten Evaluierungen deuten weiter darauf hin, dass noch auftretende Fehler bei der Texterkennung häufig auf Fehler im Bereich der Layoutanalyse und Textzeilenextraktion (moderne OCR Verfahren arbeiten mit Textzeilen als Input) zurückzuführen sind. Daher arbeitet die SBB auch an einem speziell auf die vielfältigen in historischen Dokumenten auftretenden Layouts trainierten Tool für die Strukturerkennung. Ziel ist es dabei, ausgehend von einer grundlegenden Layoutanalyse einer Dokumentenseite alle Regionen zu ermitteln, die nur Text enthalten (z.B. Absätze, Blöcke) und von weiteren Regionen wie bspw. Grafiken (Abbildungen, Illustrationen, Photographien) oder sonstigen Strukturen (Tabellen, Diagramme) zu unterscheiden. Hierfür wurde in einem ersten Schritt eine Layoutanalyse basierend auf den Konvolutionalen Neuronalen Netzen (CNN) ResNet (He et al., 2015) und U-Net (Ronneberger et al., 2015) entwickelt. Ausgehend von zuvor manuell annotierten Trainingsdaten lernen die Neuronalen Netze hierbei für jedes einzelne Pixel zu entscheiden, in welche übergeordnete Strukturklasse sich dieses am besten zuordnen lässt.

Layoutanalyse mit ResNet/U-Net

Textzeilenerkennung

Auf der Basis der so erkannten Bildregionen die Text enthalten werden in einem weiteren Schritt schließlich anhand der Dichte der Pixel entlang der x-Achse einzelne Zeilen erkannt und für die Texterkennung durch eine OCR-Engine extrahiert.

Die bislang erzielten Ergebnisse sind bei einer ersten rein qualitativen Betrachtung dem state-of-the-art überlegen. Um dies jedoch systematisch und quantitativ zu evaluieren, wird angestrebt in 2020 – erneut in Kooperation mit dem OCR-D Projekt – eine freie Version der Layoutevaluation von PRImA (Clausner et al., 2011) zu implementieren.

Named Entity Recognition

Sind erst einmal die größten Herausforderungen der Text- und Strukturerkennung mit zufriedenstellender Qualität bewältigt, so steht einer weiteren Analyse und Anreicherung der digitalisierten Dokumente mit semantischen Informationen nichts mehr im Wege. Eine häufige Anwendung ist hier z.B. die Eigennamenerkennung (Named Entity Recognition, NER). Unter NER versteht man die Erkennung von Namen für (üblicherweise) Personen, Orte und Organisationen aus Texten.

Scheint dies im ersten Moment noch recht trivial, so ergeben sich bei genauerer Betrachtung doch erhebliche Schwierigkeiten: so müssen durch ein geeignetes NER Verfahren nicht nur historische Schreibvarianten (“Leypzick” –> “Leipzig”) korrekt zugeordnet werden sondern dieses auch robust gegenüber den (hoffentlich wenigen) verbleibenden OCR Fehlern (“Lcipzlg” –> “Leipzig”) sein. Zudem ist die Zuordnung eines Namen zu einer Kategorie nicht immer so eindeutig, wie es auf den ersten Blick scheinen mag. Nehmen wir z.B. den Satz “Paris ist schön”, so könnte mit “Paris” sowohl die Stadt Paris als auch die Person Paris Hilton gemeint sein. Ein gutes NER Verfahren muss daher also auch immer den Kontext mit in Betracht ziehen.

Beispiel Ausgabe der NER auf OCR Volltext

Für die Entwicklung eines für all diese Anforderungen geeigneten NER Tools hat sich die SBB entschieden, auf BERT (Devlin et al., 2018) aufzubauen. BERT hat nicht wirklich etwas mit der Sesamstraße zu tun – vielmehr steht BERT für Bidirectional Encoder Representations from Transformers, ein von Google Ende 2018 veröffentlichtes Neuronales Netz, das darauf trainiert wurde, grundlegende Merkmale natürlicher Sprache zu lernen.

Ausgehend von Google’s BERT Modell hat die SBB dieses zuerst mit einem Datenset aus großen Mengen von deutschsprachigen Volltexten der digitalisierten Sammlungen (Labusch et al., 2019) so trainiert, dass das Modell auch die Besonderheiten von historischen deutschen Schreibweisen erlernt. In einem weiteren Schritt bekam das Modell dann kleinere Mengen von manuell annotierten Daten (Neudecker, 2016) vorgelegt, also Dokumente in denen manuell Personen, Orte und Organisationen vorab markiert wurden, um diese in den digitalisierten Sammlungen automatisch erkennen zu lernen.

Die entwickelte Methode und quantitative Evaluation des so trainierten Modells gegenüber der state-of-the-art in einer Reihe von Experimenten wurde auch in einem Konferenzbeitrag auf der KONVENS2019 vorgestellt. Dabei zeigte sich, dass das so gewonnene Modell die Qualität der NER im Vergleich zu den bislang verfügbaren generischen Methoden (Riedl et al., 2018) erheblich steigert (f1-score von 84.3% vs. 78.5%) bzw. ohne weiteres Fine-tuning die Qualität von speziell angepassten Lösungen (Schweter et al., 2019) erreichen kann.

Um die Qualität der NER weiter zu steigern wurde zudem das Annotationstool neath entwickelt, mit dem aktuell in Kooperation mit dem DFG-Projekt SoNAR-IDH weitere Trainingsdaten erstellt werden. Aktuell wird auch an der Disambiguierung erkannter Entitäten sowie der Zuordnung zu und Verlinkung mit einer Normdatei wie der Gemeinsamen Normdatei (GND) der Deutschen Nationalbibliothek oder Wikidata mittels Contextual String Embeddings (Akbik et al., 2018) gearbeitet.

Sämtliche der genannten und von der SBB im Rahmen von QURATOR entwickelten Software-Tools werden über GitHub als Open Source veröffentlicht. Die trainierten Modelle und dazu verwendeten Datensets werden zudem auch sukzessive im SBB Lab veröffentlicht.

Sollte all dies ihr Interesse geweckt haben, bleibt nur noch der Hinweis auf die #QURATOR2020 Konferenz am 20-21 Januar 2020 in Berlin, wo neben der SBB auch die weiteren Projektpartner von QURATOR sowie eine Reihe von KI-Expert*innen und Anwender*innen die neuesten innovativen Verfahren für die Digitale Kuratierung mit künstlicher Intelligenz präsentieren werden.

 

Vorschau: In unserem nächsten Beitrag wird es kämpferisch – wir beleuchten den Einsatz von KI im Militärwesen!

QURATOR 2020 – Konferenz zu Digitalen Kuratierungstechnologien

Sie möchten wissen, wie Künstliche Intelligenz Sie bei der digitalen Kuratierung unterstützen kann? Dann kommen Sie zu QURATOR 2020 – Conference on Digital Curation Technologies am 20. und 21. Januar 2020 in Berlin!

Hier werden neueste Kuratierungstechnologien für Branchen wie Medien, Kultur, Logistik, Gesundheit oder Energie und Industrie vorgestellt. In praxisnahen Anwenderworkshops  werden konkrete Use Cases erarbeitet – für Storytelling und Ausstellungskuratierung, Risiko-Monitoring, Prozess- und Wissensmanagement, personalisierte Medizin und weitere vielversprechende Anwendungsfelder.

Wer heute nicht digital kommuniziert, findet nicht statt. Unternehmen und Organisationen müssen also immer mehr Inhalte, Daten und Wissen aufbereiten – für eine wachsende Anzahl an Ausgabegeräten und Medien, und natürlich so schnell wie möglich. Allerdings bleibt dafür im Alltag kaum Zeit. Die Folge: Durch unstrukturierte Daten geht wertvolles Wissen verloren – und damit auch die Möglichkeit, Dienstleistungen, Geschäftsprozesse und Lieferketten im Rahmen des Wissensmanagements zu optimieren.

Die Lösung? Kuratierungstechnologien. Im Projekt QURATOR (qurator.ai), an dem die Staatsbibliothek zu Berlin mitwirkt und zu dem wir auch hier im Blog schon mehrfach berichtet haben, werden eine Reihe KI-basierter Services und intelligente Tools zur Unterstützung von Wissensarbeiter*innen, Geschäftsstrategen und Medienverantwortlichen entwickelt, die den kompletten Zyklus der Inhalte-Kuratierung abdecken: von der automatisierten Inhaltsanalyse und –kennzeichnung, über die Vorbereitung und Anreicherung bis hin zur Produktion für verschiedene Formate und Geräte.

Zwei Tage – ein Ziel: Kuratierungstechnologien revolutionieren das Informationsmanagement

Auf der zweitägigen Konferenz werden Anwendungsfelder für Kuratierungstechnologien für verschiedene Branchen – Medien, Kultur, Logistik, Gesundheit, Energie und Industrie – vorgestellt und in Workshops konkrete Use Cases erarbeitet. Am ersten Tag stellen die QURATOR-Partner ihre Projekte vor. Ausgewählte Aspekte werden in Gastbeiträgen vertieft. Der zweite Tag ist praxisorientiert: In Hands-on Workshops erarbeiten unsere QURATOR-Expert*innen gemeinsam mit Ihnen konkrete, branchenspezifische Anwendungsszenarien z.B. für Storytelling und Ausstellungskuratierung, Risiko-Monitoring, Prozess- und Wissensmanagement, personalisierte Medizin und weitere vielversprechende Aufgabengebiete.

Ein weiteres Ziel der Konferenz ist es, traditionelle Silos aufzubrechen und bislang isoliert betrachtete Forschungsfelder zusammenführen: Künstliche Intelligenz und Semantic Web, Datenanalyse und Machine Learning, Informations-/Content- und Wissensmanagement-Systeme, Information Retrieval, Knowledge Discovery und Computerlinguistik – Innovationen garantiert!

Weitere Informationen und Registrierung: https://qurator.ai/conference-qurator-2020/.

QURATOR: Digitale Kuratierung mit Künstlicher Intelligenz

Ein Beitrag aus unserer Reihe Künstliche Intelligenz zum Wissenschaftsjahr 2019

Angesichts des stark wachsenden und fragmentierten Informationsangebotes müssen Inhalte in immer kürzerer Zeit für die digitale Publikation aufbereitet und publiziert werden. Vor diesem Hintergrund beteiligt sich die Staatsbibliothek zu Berlin an dem vom Bundesministerium für Bildung und Forschung (BMBF) im Programm Unternehmen Region geförderten Forschungsprojekt QURATOR: Curation Technologies.

QURATOR will dazu beitragen, Kuratierungstätigkeiten und die Generierung digitaler Inhalte  durch Automatisierung hochwertiger, effizienter und kostengünstiger zu gestalten und Wissensarbeiter*innen bei der Kuratierung digitaler Inhalte zu unterstützen. Eine wesentliche Grundlage dafür bilden Methoden auf Grundlage von Sprach- und Wissenstechnologien, Maschinellem Lernen (ML) und Künstlicher Intelligenz (KI).

Welche Rolle die Staatsbibliothek zu Berlin in diesem Projekt spielt, erläutert Clemens Neudecker, Forschungsreferent in der Generaldirektion, im Interview:

Woran arbeitet die Staatsbibliothek zu Berlin im Projekt QURATOR?

Die Staatsbibliothek zu Berlin digitalisiert alle Dokumente aus ihrem urheberrechtsfreien Bestand und stellt diese online zur Verfügung. Bevor man mit digitalisierten Quellen aber genauso komfortabel arbeiten kann, wie mit digital-born Dokumenten, sind zahlreiche komplexe Verarbeitungsschritte und technische Herausforderungen zu meistern. Im QURATOR Teilprojekt „Automatisierte Kuratierungstechnologien für das digitalisierte kulturelle Erbe“ beschäftigt sich die Staatsbibliothek zu Berlin mit zwei dieser grundsätzlichen Herausforderungen: Zum einen soll die Qualität der Digitalisierung durch KI-basierte Verfahren  verbessert werden, zum anderen soll die Effizienz der Kuratierung mithilfe automatisierter Verfahren deutlich steigen. Ziel ist es, dass künftig mehr Dokumente schneller und besser erschlossen und damit auch leichter recherchierbar werden.

Welche Anwendungsszenarien werden konkret entwickelt?

Konkret haben wir in QURATOR mit den Arbeiten an drei Kernaufgaben begonnen:

  1. Für die Qualitätsverbesserung ist es wichtig, überhaupt erst einmal zu verstehen, wo die Probleme auftreten und welche Stellschrauben zur Verfügung stehen. So werden in einem ersten Schritt sämtliche Metadaten und Volltexte der an der Staatsbibliothek zu Berlin vorhandenen Digitalisate untersucht um durch Clustering und Profiling Problemklassen zu identifizieren. In einem nächsten Schritt werden die für die Problemklassen entscheidenden Merkmale extrahiert und spezifisch dafür Lösungen entwickelt.
  2. Die Strukturerkennung stellt einen weiteren entscheidenden Schritt in der Dokumentenanalyse dar. Hierbei geht es darum Strukturen des Layout wie bspw. Spalten, Überschriften, Marginalien und dergleichen zu erkennen und als solche zu klassifizieren. Dafür werden aktuell Convolutional Neural Networks (CNN) auf der Basis von ResNet-50 trainiert.
  3. Auch im Bereich der Eigennamenerkennnung (Named Entity Recognition, NER) nutzen wir die Möglichkeiten der KI. Während bisherige Ansätze eher statistisch oder regelbasiert arbeiten, setzen wir hierfür auf Bidirectional Encoder Representations from Transformers (BERT), ein von Google auf Millionen von Texten vortrainiertes Neuronales Netz bzw. Modell, das nun auf den Digitalisaten der Staatsbibliothek zu Berlin für die Besonderheiten der historischen Rechtschreibung im Deutschen nachtrainiert wird.

Welche Innovationen verbinden sich damit?

Die zu erwartenden technologischen Innovationen bestehen in erster Linie darin, die vielversprechenden Ansätze aus dem Bereich der KI/des maschinellen Lernens auf die besonderen Anforderungen von historischen Dokumenten zu adaptieren. Da hierbei insbesondere die Verfügbarkeit von großen Mengen von Trainingsdaten eine wichtige Rolle spielt, ist die Staatsbibliothek zu Berlin aber mit aktuell rund 2,5 PetaBytes an Daten gut gerüstet.

Aktuell arbeiten wir bereits in weiteren Forschungsprojekten mit Technologien wie Künstlicher Intelligenz – so z.B. in dem von der Deutschen Forschungsgemeinschaft (DFG) geförderten Projekt OCR-D. Dort werden momentan im Bereich der Texterkennung (OCR) dank KI Durchbrüche erzielt, die vor wenigen Jahren noch undenkbar waren, wie bspw. die qualitativ hochwertige Verarbeitung von historischen Drucken oder sogar die automatische Erkennung von Handschriften.

Wie sieht die Bibliothek der Zukunft aus?

Vom Bücherspeicher zur Informationsinfrastruktur: Bibliotheken sind wie kaum ein anderes Feld vom digitalen Wandel betroffen. Die Digitale Transformation krempelt dabei viele etablierte Geschäftsprozesse einer Bibliothek grundlegend um. An die Stelle von unstrukturierten Daten sollen schlussendlich strukturierte Inhalte treten.

Darüber hinaus gibt es mit dem Forschungsbereich der „Digital Humanities“ seit einigen Jahren einen stark wachsenden Kreis von Forscher*innen, die mit großen Mengen von digitalisierten Beständen aus dem Kulturbereich und digitalen Methoden an neuen Forschungsfragen arbeiten. Die Staatsbibliothek zu Berlin erweitert hier konsequent ihre Kompetenzen und baut auch entsprechende Partnerschaften auf und aus.

Vorschau: „Von der Zukunft zurück in die Vergangenheit: Im nächsten Beitrag beleuchten wir die Geschichte der Automaten und den Maschinenglauben der Menschen aus der Frühen Neuzeit – sozusagen die ersten Experimente auf dem Weg zur Künstlichen Intelligenz.“