Beiträge

SoNAR (IDH) – Interfaces to Data for Historical Social Network Analysis

Soziale Netzwerke sind in aller Munde. Über Facebook, Twitter und Co. hören wir regelmäßig in der Tagesschau. Die Verletzung von Datenschutz, die Manipulation öffentlicher Meinungen sind dabei die eine Seite, einfach im Kontakt mit Freunden und Bekannten bleiben sind die andere Seite.

Beziehungen sind das Fundament unseres menschlichen Zusammenlebens, und es hat sie natürlich ohne technische Plattformen auch immer und in vielfältigen Formen gegeben, z.B. in Familien, Stämmen, Dörfern und Städten, Interessengemeinschaft, Parteien und Kirchen. Das Zusammenwirken ist eine Säule des Wirkens eines jeden – in verschiedenen Positionen, in unterschiedlichen Rollen. Die Betrachtung von Beziehungen in Studien über soziale Phänomene kann daher ausgesprochen gewinnbringend sein, wie vor allem soziologische Studien auf der Basis der Sozialen Netzwerkanalyse, kurz SNA, zeigen.

Das von der Deutschen Forschungsgemeinschaft (DFG) seit Juli 2019 für zwei Jahre geförderte Projekt SoNAR (IDH), Interfaces to Data for Historical Social Network Analysis and Research, untersucht wissenschaftliche, technische und organisatorische Methoden, um die sozialen Bindungen vergangener Generationen ohne Facebook & Co. für sozialwissenschaftliche und historische Studien sichtbar zu machen.

Im Zentrum steht dabei die Frage, ob und mit welchen Methoden die in den vergangenen Jahrzehnten in Kulturerbeeinrichtungen digitalisierten Kataloge (Meta- und Normdaten) und Textobjekte (OCR, Transkriptionen) für die Analyse und Exploration von sozialen Beziehungen aufbereitet und nutzbar gemacht werden können. Die Partner dieses Projekts sind neben der Staatsbibliothek zu Berlin – Preußischer Kulturbesitz, das

Sukzessive werden im Projektverlauf diverse Seiten der historischen Netzwerkanalyse mit zunehmender Komplexität betrachtet und ein Konzept für Aufbau und Betrieb einer Forschungstechnologie erarbeitet. Der Schwerpunkt liegt auf Technologien zur Datenaufbereitung und -bereitstellung sowie zur Interaktion und Visualisierung der Daten. Querschnittsaspekte sind einerseits Fragen nach der „Datenerhebung“ für fehlende oder fehlerhafte Ausgangsdaten sowie andererseits die Sicherung der Datenqualität und ganz wesentlich der Benutzerfreundlichkeit von Nutzerschnittstellen.

Auf der Projektwebsite https://sonar.fh-potsdam.de werden Projekt und Projektpartner sowie Aufgaben und Testdatenbestände vorgestellt. Auch finden Interessierte dort die öffentliche Version des DFG-Antrags. Über Zwischen- und Projektergebnisse wird hier und in künftigen Workshops berichtet werden. Es wird schwer sein zeigen zu können, wann soziale Netzwerke früher und heute zu Konflikten oder Unterstützung führen. Es soll aber möglich sein, Muster für weitere Untersuchungen sichtbar zu machen.

“Texte aufräumen” – die ersten CrossAsia N-Gramm-Pakete stehen zum Download bereit

Ein Beitrag aus unserer Reihe Künstliche Intelligenz zum Wissenschaftsjahr 2019

Von Martina Siebert.

Die meisten kennen sicherlich Ursus Wehrlis Buch „Kunst aufräumen“. Dort wird z.B. Keith Harings „Untitled“ (1986) in seine einzelnen Farbsegmente zerlegt und diese werden fein säuberlich nach Farben und Größe geordnet übereinander gestapelt (siehe z.B. hier). Ganz ähnlich geht das Erstellen von N-Grammen vor. Der eigentliche Text wird in seine Einzelteile zerlegt, identische Einzelteile werden zusammengetragen und dann wird gezählt: was gibt es wie oft. Damit wird sogar noch etwas ökonomischer als bei Herrn Wehrli „aufgeräumt“. Die eigentliche Struktur, das Gesamtbild, wird aufgelöst und der Text strikt statistisch und auf der Basis seiner Einzelteile betrachtet. Was im Fall von N-Grammen als „Einzelteil“ gilt, kann dabei variieren. In Texten in lateinischer Schrift können das die Buchstaben sein oder die durch Leerstellen identifizierbaren Wörter oder auch zwei oder drei (etc.) aufeinanderfolgende Buchstaben oder Wörter.

„Aufräumen“ Ostasiatisch

Für ostasiatische Texte sind die am sichersten korrekt zu identifizierenden Einzelteile die verschiedenen Schriftzeichen (chinesische Schriftzeichen oder auch japanische bzw. koreanische Silbenzeichen). An einem Beispiel lässt sich gut zeigen, wie konzeptionell einfach N-Gramme zunächst gedacht sind. Aus den ersten zwei Phrasen des Daode jing

道可道,非常道。名可名,非常名。無名天地之始, 有名萬物之母。

… wird (hier ohne die Satzzeichen, da die im Original i.d.R. ja auch nicht zur Verfügung stehen) im Fall von 1-Grammen (Monogramm bzw. Engl. unigram) folgendes:

名, 5
道, 3
可, 2
非, 2

常, 2
之, 2
無, 1
天, 1

地, 1
始, 1
有, 1
萬, 1

物, 1
母, 1

… im Fall von 2-Grammen (Bigramm bzw. Engl. bigram), bei denen die Einzelteile nicht aneinander angrenzen, sondern sich schuppenartig überlagern (also 道可, 可道, 道非 etc.), nach Anzahl gestaffelt dieses:

非常, 2
道可, 1
可道, 1
道非, 1
常道, 1
道名, 1

名可, 1
可名, 1
名非, 1
常名, 1
名無, 1
無名, 1

名天, 1
天地, 1
地之, 1
之始, 1
始有, 1
有名, 1

名萬, 1
萬物, 1
物之, 1
之母, 1

Die 3-Gramm (Trigramm bzw. Engl. trigram) Liste würde noch länger und keiner der 3-Gramme würde – auf diesen kleinen Abschnitt bezogen – mehr als einmal vorkommen. Zwei Dinge werden klar: N-Gramme machen für kurze Texte keinen Sinn und die Listen werden schnell sehr groß. Für den gesamten Korpus des Xuxiu Siku quanshu mit 5.446 Titeln sind das 27.387 Monogramme, bzw. 13.216.542 Bigramme; allein für das Beispiel Buwu quanshu 卜筮全書 aus dem Headerbild werden bereits 3.382 Monogramme, 64.438 Bigramme und 125.010 Trigramme gebildet.

Große Listen und dann?

Nur N-Gramm Listen von ganzen Büchern oder sogar ganzen Korpora von Büchern sind in der Lage, inhaltliche Tendenzen aufzuzeigen: treten z.B. bestimmte „Einzelteile“ auffällig oft gemeinsam auf? Was fällt auf, wenn man verschiedene N-Gramm Listen (von Büchern oder Korpora) miteinander vergleicht? Wenn diese rein auf den Textinhalt bezogenen Informationen dann mit den bibliographischen Angaben zu den Büchern in Zusammenhang gesetzt werden, lassen sich Verschiebungen von Gewichtungen und Zusammenspiel dieser „Einzelteile“ über einem Zeitstrahl analysieren oder Charakteristika für bestimmte Autoren oder Buchthemen usw. herausarbeiten.

Der Google-Ngram Viewer oder der HathiTrust Bookworm werden wohl zumeist für genau solche Visualisierungen der Popularität von verschiedenen Termini im Vergleich und über einen Zeitstrahl verwendet. Doch N-Gramme – bereinigt und „geschärft“ durch weitere analytische Routinen – können die Basis für viele weitergreifende Fragen und Antworten bilden. Manche dieser Dinge fallen u.U. auch beim Lesen oder „close reading“ auf – natürlich! Aber N-Gramme gehen erbarmungslos statistisch vor und lassen sich nicht von Leseerwartungen und Standardinterpretationen beeinflussen. Und noch einen großen Vorteil bieten N-Gramme: der eigentliche (lizenzgeschützte) Text ist hinter einer statistischen Analyse seiner Einzelteile verschwunden und die Bereitstellung dieser Statistik stellt keine Verletzung der von CrossAsia abgeschlossenen Hosting- und Indexierungsrechte dar.

Schritt für Schritt in die Zukunft

Das Headerbild zum Artikel zeigt, wie aus dem originalen Druckbild ein durchsuchbarer Volltext wird und aus diesem dann Listen mit 1-, 2-, und 3-Grammen. Die einzelne N-Gramm-Liste selbst ist dabei nur bedingt von Nutzen. Erst wenn sie zusammen mit vielen Listen und mittels Tools und Routinen analysiert wird, zeigt sich das Potential. Die Zahl unserer Nutzerinnen und Nutzer, die auf der Basis solcher Listen ihre eigenen Analysen durchführen, wird sicher in den nächsten Jahren stark zunehmen, da immer öfter digitale Analysemethoden und Formen des „distant reading“ in geisteswissenschaftliche Curricula eingebunden werden. Doch wir arbeiten daran, parallel zu Services wie CrossAsia N-Gramm Listen, Analyse- und Visualisierungstools zu entwickeln, die allen Nutzerinnen und Nutzern einen einfachen Zugang zu unserem beständig wachsenden Fundus an Texten im Repositorium erlauben.

Erste Stationen

Als erstes Tool dafür ist die CrossAsia Volltextsuche Ende April 2018 mit zwei Versionen online gegangen. Ihr Suchraum ist nunmehr auf rund 130.000 Titel mit über 15,4 Mio. Textseiten angewachsen. Die Volltextsuche arbeitet auf Basis einer Wort-Suche in Kombination mit den Buchmetadaten und wird auf lange Sicht – so ist zu vermuten – die Anforderung, Hinweise auf relevante oder interessante Ressourcen zu geben, nicht optimal erfüllen können: zum einen unterscheiden sich die bibliographischen Metadaten der einzelnen Sammlungen stark und als Filter eignen sich im Grunde nur allen gemeinsame Metadatenfelder, zum anderen werden immer mehr Ressourcen durchsucht und man verliert leicht in der großen Treffermenge den Überblick.

Ziel von Aktivitäten wie der Generierung von N-Grammen und der Entwicklung von digitalen Tools zur Ermittlung von Ähnlichkeiten zwischen Texten und der Identifikation von Themen ist, die Texte nicht mehr allein unter dem Blickwinkel ihrer bibliographischen Beschreibung zu betrachten, sondern die Texte auch „über sich selbst“ sprechen zu lassen. N-Gramme, topic modeling (d.h. die Algorithmus-gesteuerte Identifikation von „Themen“ eines Buchs), Named-entity recognition (d.h. das automatische Erkennen und markieren von Personen- und Ortsnamen u.ä.) etc. sind Formen solcher Selbstbeschreibungen von Texten. Wir experimentieren aktuell mit verschiedenen solcher Zugänge, Visualisierungen und Analysen der Textkorpora im CrossAsia ITR und diese sollen der reinen Volltextsuche in naher Zukunft zur Seite gestellt werden.

CrossAsia N-Gramm Service

Drei erste Pakete mit N-Grammen (1-, 2-, und 3-Gramme) der im CrossAsia Integrierten Textrepositorium (ITR) gehosteten Texte haben wir nun als Service für unsere Nutzerinnen und Nutzer – und darüber hinaus – zum Download bereitgestellt (CrossAsia N-gramn Service). Das sind 1. der über 5.400 Titel umfassende schriftsprachliche, chinesische Textkorpus Xuxiu Siku Quanshu 續修四庫全書, 2. das 1906 herausgegebene daoistische Textkompendium Daozang jiyao 道藏辑要 (ca. 300 Titel) und 3. eine über 10.000 Titel große Zusammenstellung von chinesischen Lokalmonographien (difang zhi 地方誌) der Song bis Republikzeit inklusive einiger älterer geographischer Texte.

Die N-Gramme sind hierbei jeweils auf Buchebene generiert worden. Die ID, also der Name der Datei, verweist auf den entsprechenden Metadatensatz in den ebenfalls zum Download bereitstehenden Tabellen mit Metadaten. Einige Hinweise zu dieser ersten Version von N-Grammen: es wurde keine Dublettenkontrolle durchgeführt (also ob z.B. dieselbe Lokalmonographie mehrmals im Korpus vorkommt) und es wurde keine Normalisierung der Zeichenvarianten vorgenommen (bei der z.B. 回, 囬, 廻, 囘 als gleichwertige Zeichen behandelt würden). An Interpunktionen weisen die Volltexte nur chinesische Klammern zur Markierung von Unterüberschriften u.ä. (wie 【 und 】) auf. Auch diese Klammern haben wir in der aktuellen Version getilgt. Wie immer bei der Verwendung von Algorithmen, ist die oben versprochene erbarmungslos statistische Herangehensweise von n-grams natürlich abhängig von einigen sensiblen Entscheidungen beim Vorbereiten der Daten und keine Entscheidung ist für alle Forschungsfragen gleich passend.

Wir sind neugierig!

Helfen Ihnen diese N-Gramm-Listen bei Ihrer Forschung? Was können wir hier besser machen? Haben Sie andere Vorschläge für computergenerierte Informationen über die Texte, die wir zur Verfügung stellen sollten? Wir freuen uns von Ihnen zu unserem neuen Service zu hören!

x-asia@sbb.spk-berlin.de

Dieser Artikel erschien zuerst im CrossAsia Blog.

Vorschau: In unserem nächsten Beitrag nähern wir uns der künstlichen Intelligenz aus Sicht von Kunst und Kultur!

Formate, Bilder, Sicherheit – Die neue Beta der Digitalisierten Sammlungen

Meistens läuft ein Update unserer Digitalisierten Sammlungen eher still ab. Neue Features werden eingespielt, Bugs werden gefixt und intern wird getestet. Tagesgeschäft halt. Inzwischen ist aber soviel passiert, dass wir etwas umfangreicher davon erzählen wollen. Und wir möchten alle NutzerInnen dazu einladen zu testen, Fehler zu finden und Anmerkungen zu geben. Denn die Beta soll bald produktiv gehen und die neuen Features für alle zur Verfügung stehen, damit im Anschluss die neue Beta entstehen kann.

Alles sicher

Die Digitalisierten Sammlungen wurden komplett auf https – also eine sichere, verschlüsselte Verbindung – umgestellt. Das haben wir erst mit dem Beta-Portal getestet, fanden es aber so wichtig, dass wir es auf dem produktiven Portal ebenso implementiert haben. Die Umstellung betrifft nicht nur den Server der die Präsentation an sich ausliefert, sondern auch den Content-Server, der für die Auslieferung unserer Bilder zuständig ist, sowie weitere Hintergrunddienste.

Alle nun folgenden Änderungen kann man hingegen nur unter dieser Adresse ausprobieren:

 

 

Bildauslieferung nach iiiF-Standard

Es beginnt mit dem Content-Server – dieser wurde neu entwickelt. Der bisherige Content-Server war mit dem Framework Node.js® umgesetzt. Bei der Neuimplementierung haben wir uns ebenfalls für diese Technologie entschieden und auf das Web Framework koa aufgesetzt.
Der Hauptgrund für die Umstellung war die Anpassung der Auslieferung der Bilder mittels des relativ neuen iiiF-Standards. Das International Image Interoperability Framework™ ist ein internationaler Standard für den Zugriff auf Bilder und das Handling der Metadaten für diese Bilder. Das erlaubt uns unsere Bilder und Metadaten noch besser mit anderen Institutionen teilen zu können, sofern diese ebenfalls auf diesen Standard setzen, was immer mehr Institutionen weltweit machen. Weiterhin erlaubt der Einsatz von Standards eine Nutzung von weiteren Projekten, die diesen Standard implementieren, wozu bspw. der iiiF-Viewer Mirador gehört.
Unser Content-Server kann etwas mehr, er implementiert neben der iiiF Image API eine Reihe weiterer Funktionen, die speziell zu unserem Stack der Digitalisierten Sammlungen gehören.
Das Beispiel zeigt ein auf 500 Pixel Breite verkleinertes Bild, das um 90 Grad gedreht in Graustufen ausgeliefert wird. Einen kurzen technischen Einblick erhält man in der NGCS routes Dokumentation, eine tiefer gehende Betrachtung der technischen Umsetzung innerhalb der Software, ist einen eigenen Beitrag wert.

Mehr Werkzeuge

Klicken Sie auf das Bild, um die Bildfilter jetzt zu testen.

Unser Werkzeugkasten hat sich erweitert. Neben einem zusätzlichen Zoom-Slider bieten wir nun einen eigenen Bereich für Bildmanipulationen. Damit lässt sich das Bild auf vielfältige Weise neu erforschen: bestimmte Bereiche können durch eine Erhöhung des Kontrastes verdeutlicht, Farben zur Veränderung des Gesamteindruckes angehoben oder abgeschwächt werden. All diese Veränderungen können für das einzelne Werk gespeichert werden und gelten dann für jedes weitere Bild, das über die Navigation innerhalb dieses Werkes aufgerufen wird.

Neuer Download-Bereich

Viele NutzerInnen wollen nicht nur online durch unsere Werke stöbern, sondern sich die Digitalisate in voller Qualität auch auf den eigenen Rechner laden. Der hierfür vorgesehene Downloadbereich ist mittlerweile so umfangreich geworden, dass er einen eigenen View verdient hat. Das neue Icon ist nach der häufigsten Anfrage an unseren Support benannt: “Wo befindet sich der PDF-Download?”, und nun hoffentlich gut genug in Szene gesetzt.

Der PDF-Download selbst hat derzeit noch kein Face-Lifting erhalten und ist weiterhin eine Client-seitige Lösung, was bedeutet: welche Anzahl und wie groß die Bilder innerhalb des PDFs sein können, hängt in großem Maße von dem Rechner ab, an dem man den PDF-Download startet. Weiterhin gibt es wie gewohnt die unkomplizierte Möglichkeit sich alle Bilder oder einzelne Abschnitte in hoher Qualität als ZIP-Datei herunterzuladen und damit selbst die Formate auf seinem Rechner zu erstellen, die für die eigene Arbeit gewünscht werden.

Neben der METS-Datei, die alle Metadaten enthält, ist es nun auch möglich diese als iiiF Manifest abzurufen. Dieses im JSON-LD Format gehaltene Dokument entspricht der iiiF Presentation API und bringt unsere Metadaten in neuer Form in die Welt. In iiiF kompatiblen Viewern, wie Mirador, können URI’s zu dem Manifest geladen und damit unsere Werke dort angezeigt werden, was viele neue Blickwinkel auf unsere Digitalisate eröffnet – insbesondere der direkte Vergleich von Seiten, Illustrationen oder ganzen Werken.

Wenn uns der OCR-Text zum Werk vorliegt, erscheinen drei weitere Download Links, einmal der Download der OCR der einzelnen Seite, der Download des gesamten Werkes im ALTO XML Format, sowie der gesamte Text des Bandes als einfache Text-Datei(.txt). Gerade die Letztere war ein vielfacher Wunsch, da sich dieser Text nicht nur einfach lesen und in den bevorzugten Editor einfügen lässt, auch Text-Mining-Projekte freuen sich über einfachen Text zur Verarbeitung. Weiterhin auf unserer Liste der geplanten Funktionen ist das Angebot von strukturiertem TEI.

Die jeweilige Lizenz der Werke findet sich ebenfalls sehr präsent im Download-View, sowie auf dem Info-View und dem PDF-Deckblatt. Unsere gemeinfreie Werke werden derzeit schrittweise auf eine Public-Domain-Auszeichnung umgestellt. Damit die Umgewöhnung für alle Nutzer leicht fällt, ist die komplette Download-Sektion für eine Übergangszeit im alten Toolbox-View gespiegelt.

Mehrsprachigkeit

Die Weboberfläche ist ab jetzt ebenso in Englisch verfügbar. Neben den Bedienflächen sind auch viele der Fachbegriffe übersetzt. Das schließt neben den Kategorien und Strukturtypen, in die sich unsere Digitalisierten Sammlungen gliedern, auch die einzelnen Standardelemente der Werke in den Inhaltsverzeichnissen und weitere Metadaten mit ein. Die eigentlichen Inhalte, wie Titel, Text und Autor, werden weiterhin in der Orginalsprache angezeigt.

Testen, testen, testen

Alle unsere neuen Funktionalitäten sind mit Softwaretests hinterlegt und in unsere Continuous IntegrationContinuous Deployment (CI / CD) – Strecke eingebunden. Wir tun unser Möglichstes, um die neuen Features fehlerfrei auszuliefern – aber es gibt auch andere Aufgaben und Projekte und damit eine begrenzte Zeit, die investiert werden kann. Deshalb an diese Stelle unsere Bitte: Probieren Sie unser neues Angebot aus und geben Sie uns hierzu Rückmeldungen. Wir freuen uns über alle Meinungen, positives wie negatives Feedback und natürlich über die Fehler, die wir nicht gefunden haben.

Neben diesem einleitenden Blogposting veröffentlichen wir dazu noch ein zweites, in dem ganz nüchtern alle Bereiche einzeln verzeichnet sind, in denen sich die aktuelle Beta von der Produktivinstanz unterscheidet. Entlang dieser Liste kann man testen – und dann unter diesem zweiten Artikel in den Kommentaren Rückmeldungen hinterlassen.