KI-Forscher entwickeln schnelle Methode zur Berechnung von Konfidenzintervallen und melden, wann ein Modell nicht vertrauenswürdig ist

Forscher vom MIT haben kürzlich eine Technik entwickelt, die es tiefen Lernnetzmodellen ermöglicht, schnell Konfidenzniveaus zu berechnen, was Datenwissenschaftlern und anderen KI-Nutzern helfen könnte, zu wissen, wann sie den Vorhersagen eines Modells vertrauen können.

KI-Systeme, die auf künstlichen neuronalen Netzen basieren, sind für immer mehr Entscheidungen verantwortlich, einschließlich vieler Entscheidungen, die die Gesundheit und Sicherheit von Menschen betreffen. Aus diesem Grund sollten neuronale Netze eine Methode zur Schätzung des Vertrauens in ihre Ausgaben haben, damit Datenwissenschaftler beurteilen können, wie vertrauenswürdig ihre Vorhersagen sind. Kürzlich entwarfen ein Team von Forschern von Harvard und MIT eine schnelle Methode, mit der neuronale Netze eine Angabe des Vertrauens eines Modells neben ihren Vorhersagen erzeugen können.

Tiefen Lernmodelle sind in den letzten zehn Jahren immer sophistizierter geworden und können jetzt leicht Menschen bei Datenklassifizierungsaufgaben überbieten. Tiefen Lernmodelle werden in Bereichen eingesetzt, in denen die Gesundheit und Sicherheit von Menschen gefährdet werden kann, wenn sie versagen, wie z.B. bei der Steuerung autonomer Fahrzeuge und der Diagnose medizinischer Zustände aus Scans. In diesen Fällen reicht es nicht aus, dass ein Modell 99% genau ist, da die 1% der Fälle, in denen das Modell versagt, zu einer Katastrophe führen können. Daher muss es eine Möglichkeit geben, wie Datenwissenschaftler beurteilen können, wie vertrauenswürdig eine bestimmte Vorhersage ist.

Es gibt einige Möglichkeiten, wie ein Konfidenzintervall zusammen mit den Vorhersagen neuronalen Netze generiert werden kann, aber herkömmliche Methoden zur Schätzung der Unsicherheit für ein neuronales Netz sind ziemlich langsam und rechenintensiv. Neuronale Netze können sehr groß und komplex sein und Milliarden von Parametern enthalten. Schon die Generierung von Vorhersagen kann rechenintensiv sein und viel Zeit in Anspruch nehmen, und die Generierung eines Konfidenzniveaus für die Vorhersagen dauert noch länger. Die meisten bisherigen Methoden zur Quantifizierung der Unsicherheit haben auf Stichproben oder dem mehrfachen Durchlaufen eines Netzwerks zur Schätzung seines Vertrauens gesetzt. Dies ist nicht immer machbar für Anwendungen, die einen hohen Datenverkehr erfordern.

Wie vom MIT News berichtet, leitet Alexander Amini die kombinierte Forschungsgruppe von MIT und Harvard, und laut Amini beschleunigt die von ihren Forschern entwickelte Methode den Prozess der Generierung von Unsicherheitsschätzungen mithilfe einer Technik namens “deep evidential regression”. Amini erklärte über MIT, dass Datenwissenschaftler sowohl schnelle Modelle als auch zuverlässige Schätzungen der Unsicherheit benötigen, um unzuverlässige Modelle zu erkennen. Um sowohl die Geschwindigkeit des Modells als auch eine Unsicherheitsschätzung zu erhalten, entwarfen die Forscher eine Möglichkeit, die Unsicherheit aus einem einzigen Lauf des Modells zu schätzen.

Die Forscher entwarfen das neuronale Netzmodell so, dass eine probabilistische Verteilung neben jeder Entscheidung generiert wurde. Das Netz speichert während des Trainingsprozesses Beweise für seine Entscheidungen und generiert eine Wahrscheinlichkeitsverteilung auf der Grundlage der Beweise. Die evidentielle Verteilung stellt das Vertrauen des Modells dar und repräsentiert die Unsicherheit sowohl für die endgültige Entscheidung des Modells als auch für die ursprünglichen Eingabedaten. Die Erfassung der Unsicherheit für sowohl Eingabedaten als auch Entscheidungen ist wichtig, da die Verringerung der Unsicherheit von der Kenntnis der Quelle der Unsicherheit abhängt.

Die Forscher testeten ihre Unsicherheitsschätzungstechnik, indem sie sie auf eine Computer-Vision-Aufgabe anwendeten. Nachdem das Modell auf einer Reihe von Bildern trainiert worden war, generierte es sowohl Vorhersagen als auch Unsicherheitsschätzungen. Das Netz projizierte korrekt eine hohe Unsicherheit für Fälle, in denen die falsche Vorhersage gemacht wurde. “Es war sehr kalibriert auf die Fehler, die das Netz macht, was wir glauben, eines der wichtigsten Dinge bei der Beurteilung der Qualität eines neuen Unsicherheitsschätzers ist”, sagte Amini über die Testergebnisse des Modells.

Das Forscherteam führte weitere Tests mit ihrer Netzarchitektur durch. Um die Technik zu testen, testeten sie die Daten auch auf “out-of-distribution”-Daten, Datensätzen, die aus Objekten bestehen, die das Netz noch nie gesehen hat. Wie erwartet, meldete das Netz eine höhere Unsicherheit für diese unbekannten Objekte. Wenn es auf Innenumgebungen trainiert wurde, zeigte das Netz eine hohe Unsicherheit, wenn es auf Bilder aus Außenumgebungen getestet wurde. Die Tests zeigten, dass das Netz herausstellen konnte, wann seine Entscheidungen einer hohen Unsicherheit unterlagen und in bestimmten, risikoreichen Situationen nicht vertrauenswürdig sein sollten.

Das Forscherteam berichtete sogar, dass das Netz erkennen konnte, wenn Bilder manipuliert worden waren. Wenn das Forscherteam Fotos mit adversarialen Rauschen manipulierte, markierte das Netz die neu bearbeiteten Bilder mit hohen Unsicherheitsschätzungen, obwohl die Wirkung für den durchschnittlichen menschlichen Beobachter zu subtil war, um gesehen zu werden.

Wenn die Technik sich als zuverlässig erweist, könnte die deep evidential regression die Sicherheit von KI-Modellen im Allgemeinen verbessern. Laut Amini könnte die deep evidential regression Menschen helfen, vorsichtige Entscheidungen zu treffen, wenn sie KI-Modelle in risikoreichen Situationen verwenden. Wie Amini über MIT News erklärte:

“Wir sehen immer mehr von diesen [neuronalen Netz]-Modellen, die aus dem Forschungslabor und in die reale Welt gelangen, in Situationen, die Menschen mit potenziell lebensbedrohlichen Konsequenzen berühren. Jeder Benutzer der Methode, sei es ein Arzt oder eine Person im Beifahrersitz eines Fahrzeugs, muss sich der mit dieser Entscheidung verbundenen Risiken oder Unsicherheiten bewusst sein.”