Masterprüfung mit Defensio, Aleksandar Doknic

07.10.2020 15:00 - 16:30

Durchführung per Videokonferenz (Corona-Situation)

07.10.2020, 15:00 Uhr

Durchführung per Videokonferenz (Corona-Situation)

Titel: „MultiConVis: A Visual Exploration Tool for Multi-label Classifier Evaluation and Comparison“

Kurzfassung:
MultiConVis ist ein interaktives Werkzeug zur Visualisierung und Untersuchung von Daten, welches versucht das Problem der Evaluierung und des Vergleichs von Multilabel Klassifikatoren anzugehen. Es erlaubt Benutzern die Klassifikationsleistung zu analysieren und das Ausgabeverhalten von Klassifikationsalgorithmen bzw. trainierten Klassifikationsmodellen im Bezug auf ein gemeinsames Testset mit Referenzlabels zu bewerten. Als Schlüsselfunktionalität bietet es eine Dokumentenansicht, welche die von jedem Prädiktor zugewiesenen Labels für jedes Dokument enthält, eine Labelansicht mit gemittelten F1 Scores, sowie eine Precision-Recall Ansicht. Die verknüpften Visualisierungen ergeben in Summe eine vielseitige Perspektive, welche das Erkennen von Mustern sowie problematischen Dokumenten und Labels ermöglicht. Der Jaccard Ähnlichkeitskoeffizient und der Krippendorff Alpha Koeffizient werden sowohl zur Bewertung der allgemeinen Klassifikationsleistung mit Bezug auf die Referenzdaten als auch für den Vergleich zwischen den Prädiktoren verwendet. Der Anwendungsfall, für den dieses Werkzeug entwickelt wurde, ist die Evaluierung und der Vergleich von Algorithmen, welche wissenschaftlichen Publikationen Labels zuweisen. Dies ist eine Klassifikationsaufgabe im Bereich des Natural Language Processing, MultiConVis unterstützt jedoch auch Anwendungsfälle mit Bilddateien und Audiodateien. Der wichtigste wissenschaftliche Beitrag dieser Arbeit ist eine Methode um die Klassifikationsleistung aus der Labelperspektive, aus der Dokumentenperspektive, in welcher der eigentliche Inhalt der Daten gezeigt wird, sowie der Prädiktorenperspektive zu visualisieren, und diese Perspektiven in einem einzigen Dashboard zu vereinen. Die anschließende Benutzerstudie zeigt, dass die von MultiConVis verwendeten Techniken eine detailierte Evaluierung von Klassifikatoren ermöglichen ohne Benutzerfreundlichkeit und Bedienbarkeit zu opfern.

Organiser:

SPL 5