Passau Center for eHumanities (PACE)
  • PACE  >
  •   Multimodale Konstruktion und Rezeption kultureller Muster
Multimodale Konstruktion und Rezeption kultureller Muster

Multimodale Konstruktion und Rezeption kultureller Muster

PACE gründet auf der Prämisse, dass die Aufdeckung und Beschreibung kultureller Muster in digital vorliegenden Forschungsdaten von einem multimodalen Rahmenkonzept erheblich profitiert: Medien wie Text, Bild, Video und andere und die in ihnen enthaltenen Modalitäten müssen sowohl in ihrer jeweiligen Spezifik als auch in ihrer wechselseitigen Interdependenz, insofern sie in Artefakten parallel auftreten und wechselseitig aufeinander bezogen sind repräsentiert werden. Multimodalität als Kombination unterschiedlicher semiotischer Modi (wie Text, gesprochene Sprache oder Bild) in einem kommunikativen Ereignis oder Artefakt ist eine ubiquitäre Erscheinung, die für die aktuelle eHumanities-Forschung von besonderer Relevanz ist: Zum einen erfordert die wissenschaftliche Beschreibung moderner Online- und Mobilkommunikation mit ihren komplexen Struktur- und Inhaltskonfigurationen (embedded content, kollaborative Inhalte) neue Modelle und Analysestrategien. Über die modalitätsspezifischen, auf Text oder Bild bezogenen Fragestellungen hinaus stehen dabei die multimodalen Aspekte im Fokus: Wie erweitern sich durch Kombination mehrerer Modalitäten systematisch die kommunikativen Ausdrucksmöglichkeiten? Welche semantischen Relationen verknüpfen mehrere Komponenten eines komplexen Gefüges zu einem kohärenten, bedeutungsvollen Ganzen? Zum anderen ermöglicht die „digitale Konvergenz“ von Modalitäten einerseits und von genuin digitalen und nachträglich digitalisierten Daten andererseits, diese in einer einheitlichen Beschreibung und Analytik zusammenzuführen und große digitale Korpora zu aggregieren, deren computergestützte Untersuchung jenseits von Einzelbeobachtungen (sozusagen eine multimodale Variante von Franco Morettis distant reading) erweiterte Möglichkeiten des Erkenntnisgewinns bietet.

Unter dem Aspekt Multimodalität setzt sich das Zentrum zum Ziel, das Zusammenspiel von Text, Bild und Audio (perspektivisch weitere Modalitäten) bei der Bedeutungskonstitution im Kontext digitaler und digitalisierter Medien zu erforschen und schafft die hierfür erforderlichen strukturellen Voraussetzungen. Insbesondere sollen skalierbare quantitative Verfahren mit Hilfe von Semantic Web-Technologien (und in einer mittelfristigen Erweiterung: Verfahren zur Mustererkennung und Klassifikation in Bild, Text, Video und Audio) zu komplexeren analytischen Werkzeugen kombiniert werden, mit denen sowohl digitale Online-Inhalte (Blogs, soziale Netzwerke, Webseiten, Mailinglisten, Foren etc.) als auch digitalisierte Objekte für kulturwissenschaftliche Fragestellungen crossmedial erschließbar werden. Dazu werden begleitend zur Entwicklung von Analyseverfahren die Möglichkeiten der Visualisierung und Interpretation der gewonnenen quantitativen Befunde kritisch ausgelotet.

Semantic Web Technologien bieten attraktive epistemologische Werkzeuge durch konzeptionelle Beschreibung multimodaler Artefakte auf großen Korpora von Objekten. Linked Data abstrahiert hervorragend von Trägermedium und Format, unterstützt Analyse und Verknüpfung und erlaubt eine aktive Referenzierung zwischen Artefakten und den semantischen Metadaten (zur Bedeutung von Linked Open Data für die Geisteswissenschaften verweisen auf die Gründung der SIG LOD innerhalb von Alliance of Digital Humanities Organizations ADHO und große Infrastrukturprojekte wie etwa die European Holocaust Research Infrastructure EHRI). So bleiben wertvolle kontextuelle Bezüge für die Nachnutzung der erzeugten Daten verfügbar. Im Bereich von Annotationswerkzeugen sind HyperImage und Pundit zu nennen, die konzeptueller Ausgangspunkt unsere Entwicklungen sein sollen. PACE bietet erstmals einen ganzheitlichen Ansatz zur Nutzung von Semantic-Web-Technologien für multimodale Daten im Kontext des Untersuchungsgegenstandes

Aktuelles

Derzeit keine Einträge vorhanden.