Wie baut man KI-Systeme, die nicht nur gute Ergebnisse liefern, sondern auch nachvollziehbar machen, wie sie zu ihnen kommen? Erklärbarkeit stärkt nicht nur das Vertrauen der Nutzer:innen, sie ist mit dem EU AI Act auch zu einer gesetzlichen Anforderung geworden. Genau damit befasst sich das Feld der Erklärbaren KI, das Methoden bereitstellt, um die Black Box neuronaler Netze zu öffnen. Die meisten dieser Methoden nähern die Schlussfolgerung des Modells allerdings nur an, sodass offenbleibt, wie treu eine Erklärung das tatsächliche Verhalten des Modells wiedergibt. Das noch junge Feld der intrinsisch erklärbaren KI umgeht dieses Problem, indem die Erklärbarkeit direkt in das Modell eingebaut wird.
Möglich wird das durch eine sogenannte Bottleneck-Schicht: eine kleine, für Menschen verständliche Menge an Merkmalen, die zwischen den tiefen, merkmalsextrahierenden Schichten und der finalen Klassifikationsschicht sitzt. In prototypbasierten Netzen lernt das Modell dafür sogenannte Prototypen, also Bildausschnitte aus den Trainingsdaten, die charakteristisch für eine Klasse sind. Bei einem Vogel-Klassifikator wäre das etwa der Schnabel, an dem sich eine Amsel erkennen lässt. Und weil die Prototypen selbst eine Schicht des Modells sind, genügt ein Blick auf ihre Gewichte pro Klasse, um die Entscheidung nachzuvollziehen.
In meiner Masterarbeit habe ich eine End-to-End-Pipeline zur Klassifikation von 3D-Hirn-MRT-Bildern entwickelt, die auf PIPNet3D aufbaut, einer prototypbasierten Lernarchitektur. Dazu gehört ein webbasiertes Visualisierungstool, über das Kliniker:innen die erzeugten Erklärungen betrachten können. Außerdem unterteile ich das Gehirn per Segmentierung in sogenannte Regions of Interest. Das macht die Verarbeitung in voller Auflösung praktikabel und verbessert zugleich die Interpretierbarkeit. Evaluiert habe ich die Pipeline an der Klassifikation der Alzheimer-Erkrankung.
Dabei zeigte sich, dass drei Hirnregionen (Hippocampus, Amygdala und Temporallappen) ausreichen, um ähnliche Ergebnisse zu erzielen wie die Ursprungsarchitektur, die das gesamte Gehirn verarbeitet. Die Diskretisierung der Prototyp-Werte verbesserte zudem nicht nur die Leistung: Kliniker:innen können damit beurteilen, ob ein Krankheitsmuster nicht, teilweise oder deutlich vorhanden ist, statt einen kontinuierlichen Wert ohne greifbare Skala deuten zu müssen. Die Qualität der Erklärungen habe ich anhand des Co-12-Eigenschaften-Frameworks bewertet: Viele Eigenschaften sind durch das Design des Netzes garantiert, eine kleine nutzerbasierte Evaluation mit Kliniker:innen zeigte aber Verbesserungspotenzial bei der Lokalisierung der Prototypen. Für zukünftige Arbeiten interessant ist außerdem, dass sich dank des Aufbaus der Pipeline leicht multimodale Daten ergänzen lassen.
Die vollständige Masterarbeit ist hier zu finden: An intrinsically explainable pipeline for MRI classification.