Vertrauen in KI priorisieren

Die Gesellschaft ist immer mehr auf künstliche Intelligenz (KI) und maschinelles Lernen (ML) angewiesen, was die Art und Weise, wie Informationen konsumiert werden, neu definiert. Von KI-gesteuerten Chatbots bis hin zu Informationszusammenfassungen, die von Large Language Models (LLMs) erstellt werden, hat die Gesellschaft Zugang zu mehr Informationen und tieferen Einblicken als je zuvor. Als jedoch Technologieunternehmen versuchen, KI in ihren gesamten Wertschöpfungsketten umzusetzen, taucht eine kritische Frage auf. Können wir den Ausgaben von KI-Lösungen wirklich vertrauen?

Können wir KI-Ausgaben ohne Unsicherheitsquantifizierung wirklich vertrauen

Für eine gegebene Eingabe könnte ein Modell viele andere gleich plausiblen Ausgaben erzeugt haben. Dies könnte auf unzureichende Trainingsdaten, Variationen in den Trainingsdaten oder andere Ursachen zurückzuführen sein. Wenn Organisationen Modelle bereitstellen, können sie Unsicherheitsquantifizierung nutzen, um ihren Endbenutzern ein klareres Verständnis dafür zu vermitteln, wie sehr sie dem Ausgabe eines KI/ML-Modells vertrauen sollten. Unsicherheitsquantifizierung ist der Prozess der Schätzung, welche anderen Ausgaben es hätte geben können.

Stellen Sie sich vor, ein Modell sagt die Höchsttemperatur für morgen voraus. Das Modell könnte die Ausgabe 21ºC erzeugen, aber die Unsicherheitsquantifizierung, die auf diese Ausgabe angewendet wird, könnte darauf hindeuten, dass das Modell genauso gut die Ausgaben 12 ºC, 15 ºC oder 16 ºC hätte erzeugen können; wenn wir dies wissen, wie sehr vertrauen wir dann noch der einfachen Vorhersage von 20 ºC? Trotz ihres Potenzials, Vertrauen zu fördern oder Vorsicht zu mahnen, entscheiden sich viele Organisationen dafür, die Unsicherheitsquantifizierung zu überspringen, weil sie zusätzliche Arbeit erfordert, um sie umzusetzen, sowie aufgrund ihrer Anforderungen an Rechenressourcen und Inferenzgeschwindigkeit.

Human-in-the-loop-Systeme, wie medizinische Diagnose- und Prognosesysteme, beinhalten Menschen als Teil des Entscheidungsprozesses. Indem sie blindlings den Daten von Healthcare-KI/ML-Lösungen vertrauen, riskieren Gesundheitsfachleute, einen Patienten falsch zu diagnostizieren, was möglicherweise zu suboptimalen Gesundheitsergebnissen oder Schlimmerem führen kann. Unsicherheitsquantifizierung kann es Gesundheitsfachleuten ermöglichen, quantitativ zu sehen, wann sie den Ausgaben von KI mehr vertrauen können und wann sie bestimmte Vorhersagen mit Vorsicht behandeln sollten. Ebenso kann in einem vollautomatischen System wie einem selbstfahrenden Auto die Ausgabe eines Modells zur Schätzung des Abstands zu einem Hindernis zu einem Unfall führen, der möglicherweise durch die Unsicherheitsquantifizierung des Abstands vermeidbar gewesen wäre.

Die Herausforderung, Monte-Carlo-Methoden zu nutzen, um Vertrauen in KI/ML-Modelle aufzubauen

Monte-Carlo-Methoden, die während des Manhattan-Projekts entwickelt wurden, sind eine robuste Methode zur Durchführung von Unsicherheitsquantifizierung. Sie beinhalten das erneute Ausführen von Algorithmen mit leicht unterschiedlichen Eingaben, bis weitere Iterationen nicht mehr viel mehr Informationen in den Ausgaben liefern; wenn der Prozess einen solchen Zustand erreicht, wird er als konvergiert betrachtet. Ein Nachteil von Monte-Carlo-Methoden ist, dass sie typischerweise langsam und rechenintensiv sind und viele Wiederholungen ihrer konstituierenden Berechnungen erfordern, um eine konvergierte Ausgabe zu erhalten und eine inhärente Variabilität über diese Ausgaben aufweisen. Da Monte-Carlo-Methoden die Ausgaben von Zufallszahlengeneratoren als einen ihrer wichtigsten Bausteine verwenden, ändern sich die Ergebnisse, die Sie erhalten, wenn Sie einen Monte-Carlo-Prozess mit identischen Parametern wiederholen.

Der Weg zur Vertrauenswürdigkeit in KI/ML-Modellen

Im Gegensatz zu herkömmlichen Servern und KI-spezifischen Beschleunigern werden eine neue Generation von Rechenplattformen entwickelt, um empirische Wahrscheinlichkeitsverteilungen direkt zu verarbeiten, genauso wie herkömmliche Rechenplattformen Ganzzahlen und Fließkommazahlen verarbeiten. Durch die Bereitstellung ihrer KI-Modelle auf diesen Plattformen können Organisationen die Implementierung von Unsicherheitsquantifizierung auf ihren vorgefertigten Modellen automatisieren und auch andere Arten von Rechenaufgaben beschleunigen, die traditionell Monte-Carlo-Methoden verwendet haben, wie z. B. VaR-Berechnungen in der Finanzwirtschaft. Insbesondere im VaR-Szenario ermöglichen diese neuen Plattformen es Organisationen, mit empirischen Verteilungen zu arbeiten, die direkt aus realen Marktdaten aufgebaut sind, anstatt diese Verteilungen mit Stichproben zu approximieren, die von Zufallszahlengeneratoren erzeugt werden, für genauere Analysen und schnellere Ergebnisse.

Jüngste Durchbrüche in der Rechentechnologie haben die Hürden für die Unsicherheitsquantifizierung erheblich gesenkt. Ein kürzlich von meinen Kollegen und mir veröffentlichter Forschungsartikel im Machine Learning With New Compute Paradigms-Workshop auf NeurIPS 2024 hebt hervor, wie eine von uns entwickelte nächste Generation von Rechenplattformen es ermöglichte, Unsicherheitsquantifizierungsanalysen über 100-mal schneller durchzuführen als traditionelle Monte-Carlo-basierte Analysen auf einem High-End-Intel-Xeon-Server. Fortschritte wie diese ermöglichen es Organisationen, die KI-Lösungen bereitstellen, Unsicherheitsquantifizierung mit Leichtigkeit umzusetzen und mit geringem Overhead durchzuführen.

Die Zukunft der Vertrauenswürdigkeit in KI/ML hängt von fortschrittlicher next-generation-Rechentechnologie ab

Wenn Organisationen mehr KI-Lösungen in die Gesellschaft integrieren, wird die Vertrauenswürdigkeit in KI/ML zu einer Top-Priorität. Unternehmen können es sich nicht mehr leisten, die Implementierung von Einrichtungen in ihren KI-Modellbereitstellungen zu überspringen, um es Verbrauchern zu ermöglichen, zu wissen, wann sie bestimmte KI-Modellausgaben mit Skepsis behandeln sollten. Die Nachfrage nach solcher Erklärbarkeit und Unsicherheitsquantifizierung ist deutlich, da etwa drei von vier Menschen angeben, sie würden einem KI-System eher vertrauen, wenn geeignete Sicherheitsmechanismen vorhanden wären.

Neue Rechentechnologien machen es immer einfacher, Unsicherheitsquantifizierung zu implementieren und bereitzustellen. Während Industrie und Regulierungsbehörden mit anderen Herausforderungen bei der Bereitstellung von KI in der Gesellschaft kämpfen, gibt es zumindest die Möglichkeit, das Vertrauen zu fördern, das Menschen benötigen, indem Unsicherheitsquantifizierung zur Norm bei KI-Bereitstellungen gemacht wird.