03.08.2023, 13:00 Uhr

Universität Wien
Besprechungsraum 5.35
Währinger Str. 29
1090 Wien

Titel: „Image Analysis for Extracting Facts from Images“

Kurzfassung:
Falsche oder irreführende Informationen im Internet erfordern spezifische Ansätze, die
es ermöglichen, widersprüchliche Fakten zu überprüfen. Fact-Checking, wie es in dieser
Arbeit betrachtet wird, bedeutet die Erkennung von widersprüchlichen oder inkonsistenten
Daten im Web. Die Rolle von Bildern bei der Faktenüberprüfung ist von zentraler
Bedeutung, da Bilder ein grundlegender Bestandteil von Informationen im Web sind.
Es ist jedoch immer noch nicht bekannt, wie man am besten Fakten aus Bildern extrahiert.
Szenegraphen, kombiniert mit Entity Linking, sind ein möglicher Kandidat,
um Fakten aus Bildern zu extrahieren. Die hier vorgestellte Pipeline zur Extraktion
von Fakten aus Bildern wurde unter der Annahme entwickelt, dass das System in
großem Maßstab eingesetzt werden soll und im Rahmen von FactCheck verwendet werden
kann. Unter Berücksichtigung dieser Voraussetzungen wird eine Bildähnlichkeitsmessung
analysiert, um Bilder auszuwählen, die abgeglichen werden können. Es gibt zwei
prototypische Implementierungen für die Faktenextraktionspipeline. Eine Implementierung
in Jupyter Notebooks zeigt die Ausführung der Pipeline und bildet eine mögliche
Arbeitsumgebung für Studenten in diesem Bereich. Eine zweite Implementierung zeigt
die Verwendung der Pipeline in einer Cloud-Umgebung. Die Qualität der Fakten wird
durch ein erlerntes Link-Vorhersagemodell auf Wikidata bestimmt, das die Triplets des
Szenegraphen bewertet, die Links zu Entitäten auf Wikidata haben. Die Bewertung
der Objekterkennung und der Erzeugung des Szenegraphen wirkt sich direkt auf die
Qualität der Triplets aus. Die Qualität der erzeugten Triplets liegt unter den am besten
bewerteten Triplets des Modells. Diese Arbeit bietet einen praktikablen Ansatz für die
Extraktion von Fakten aus Bildern. Fakten sind dabei die Eigenschaft-Werte-Paare in
einem Ressourcenbeschreibungs-Framework-Triplet.