Priorisierung von Vertrauen in KI

Die Abhängigkeit der Gesellschaft von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) wächst weiter, und sie verändert, wie Informationen konsumiert werden. Von KI-gesteuerten Chatbots bis hin zu Informationszusammenfassungen, die von Large Language Models (LLMs) erzeugt werden, hat die Gesellschaft Zugang zu mehr Informationen und tiefere Einblicke als je zuvor. Allerdings wirft sich eine kritische Frage auf, während Technologieunternehmen um die Implementierung von KI in ihrer Wertschöpfungskette konkurrieren. Können wir den Ausgaben von KI-Lösungen wirklich vertrauen?

Können wir KI-Ausgaben wirklich vertrauen, ohne Unsicherheitsquantifizierung

Für eine gegebene Eingabe könnte ein Modell viele andere gleich plausiblen Ausgaben erzeugt haben. Dies könnte auf unzureichende Trainingsdaten, Variationen in den Trainingsdaten oder andere Ursachen zurückzuführen sein. Wenn Organisationen Modelle bereitstellen, können sie Unsicherheitsquantifizierung nutzen, um ihren Endnutzern ein klareres Verständnis dafür zu vermitteln, wie sehr sie den Ausgaben eines KI/ML-Modells vertrauen sollten. Unsicherheitsquantifizierung ist der Prozess der Schätzung, welche anderen Ausgaben möglich gewesen wären.
Stellen Sie sich vor, ein Modell sagt die Höchsttemperatur für morgen voraus. Das Modell könnte die Ausgabe 21ºC erzeugen, aber die Unsicherheitsquantifizierung, die auf diese Ausgabe angewendet wird, könnte darauf hindeuten, dass das Modell genauso gut die Ausgaben 12 ºC, 15 ºC oder 16 ºC hätte erzeugen können; wenn wir dies wissen, wie sehr vertrauen wir jetzt der einfachen Vorhersage von 20 ºC? Trotz ihres Potenzials, Vertrauen zu fördern oder Vorsicht zu mahnen, entscheiden sich viele Organisationen dafür, die Unsicherheitsquantifizierung zu überspringen, weil sie zusätzliche Arbeit erfordert, um sie zu implementieren, sowie aufgrund ihrer Anforderungen an Rechenressourcen und Inferenzgeschwindigkeit.
Human-in-the-loop-Systeme, wie medizinische Diagnose- und Prognosesysteme, beinhalten Menschen als Teil des Entscheidungsprozesses. Indem sie blindlings den Daten von Healthcare-KI/ML-Lösungen vertrauen, riskieren Gesundheitsfachkräfte, einen Patienten falsch zu diagnostizieren, was möglicherweise zu suboptimalen Gesundheitsergebnissen oder Schlimmerem führen könnte. Unsicherheitsquantifizierung kann es Gesundheitsfachkräften ermöglichen, quantitativ zu sehen, wann sie den Ausgaben von KI mehr vertrauen können und wann sie bestimmte Vorhersagen mit Vorsicht behandeln sollten. Ebenso kann in einem vollautomatischen System wie einem selbstfahrenden Auto die Ausgabe eines Modells zur Schätzung des Abstands eines Hindernisses zu einem Unfall führen, der möglicherweise durch die Unsicherheitsquantifizierung des Abstands vermeidbar gewesen wäre.

Die Herausforderung, Monte-Carlo-Methoden zu nutzen, um Vertrauen in KI/ML-Modelle aufzubauen

Monte-Carlo-Methoden, die während des Manhattan-Projekts entwickelt wurden, sind eine robuste Möglichkeit, Unsicherheitsquantifizierung durchzuführen. Sie beinhalten das erneute Ausführen von Algorithmen mit leicht unterschiedlichen Eingaben, bis weitere Iterationen nicht mehr viel mehr Informationen in den Ausgaben liefern; wenn der Prozess diesen Zustand erreicht, wird er als konvergiert bezeichnet. Ein Nachteil von Monte-Carlo-Methoden ist, dass sie typischerweise langsam und rechenintensiv sind und viele Wiederholungen ihrer konstituierenden Berechnungen erfordern, um eine konvergierte Ausgabe zu erhalten und eine inhärente Variabilität über diese Ausgaben aufweisen. Da Monte-Carlo-Methoden die Ausgaben von Zufallszahlengeneratoren als einen ihrer wichtigsten Bausteine verwenden, ändern sich die Ergebnisse, die Sie erhalten, wenn Sie einen Monte-Carlo-Prozess mit vielen internen Wiederholungen ausführen, wenn Sie den Prozess mit identischen Parametern wiederholen.

Der Weg nach vorne zu vertrauenswürdigen KI/ML-Modellen

Im Gegensatz zu herkömmlichen Servern und KI-spezifischen Beschleunigern werden eine neue Generation von Rechenplattformen entwickelt, um empirische Wahrscheinlichkeitsverteilungen direkt zu verarbeiten, genauso wie herkömmliche Rechenplattformen Ganzzahlen und Fließkommazahlen verarbeiten. Indem Organisationen ihre KI-Modelle auf diesen Plattformen bereitstellen, können sie die Implementierung von Unsicherheitsquantifizierung auf ihren vorgefertigten Modellen automatisieren und auch andere Arten von Rechenaufgaben beschleunigen, die traditionell Monte-Carlo-Methoden verwendet haben, wie z. B. VaR-Berechnungen in der Finanzwirtschaft. Insbesondere für den VaR-Fall ermöglichen diese neuen Plattformen es Organisationen, mit empirischen Verteilungen zu arbeiten, die direkt aus realen Marktdaten aufgebaut werden, anstatt diese Verteilungen mit Samples zu approximieren, die von Zufallszahlengeneratoren erzeugt werden, für genauere Analysen und schnellere Ergebnisse.
Jüngste Durchbrüche in der Rechentechnologie haben die Hürden für die Unsicherheitsquantifizierung erheblich gesenkt. Ein kürzlich von meinen Kollegen und mir im Machine Learning With New Compute Paradigms-Workshop auf NeurIPS 2024 veröffentlichter Forschungsartikel hebt hervor, wie eine von uns entwickelte nächste Generation von Rechenplattformen es ermöglichte, Unsicherheitsquantifizierungsanalysen über 100-mal schneller auszuführen als traditionelle Monte-Carlo-basierte Analysen auf einem High-End-Intel-Xeon-Server. Durchbrüche wie diese ermöglichen es Organisationen, die KI-Lösungen bereitstellen, Unsicherheitsquantifizierung mit Leichtigkeit zu implementieren und mit geringem Overhead auszuführen.

Die Zukunft der Vertrauenswürdigkeit von KI/ML hängt von fortschrittlicher Next-Generation-Rechentechnologie ab

Wenn Organisationen mehr KI-Lösungen in die Gesellschaft integrieren, wird die Vertrauenswürdigkeit von KI/ML zu einer Top-Priorität. Unternehmen können es sich nicht mehr leisten, die Implementierung von Einrichtungen in ihren KI-Modellbereitstellungen zu überspringen, um es den Verbrauchern zu ermöglichen, zu wissen, wann sie bestimmte KI-Modellausgaben mit Skepsis behandeln sollten. Die Nachfrage nach solcher Erklärbarkeit und Unsicherheitsquantifizierung ist deutlich, mit ungefähr drei von vier Personen, die angaben, sie würden einem KI-System mehr vertrauen, wenn geeignete Sicherheitsmechanismen vorhanden wären.
Neue Rechentechnologien machen es immer einfacher, Unsicherheitsquantifizierung zu implementieren und bereitzustellen. Während Industrie und Regulierungsbehörden mit anderen Herausforderungen bei der Bereitstellung von KI in der Gesellschaft kämpfen, gibt es zumindest die Möglichkeit, das Vertrauen zu fördern, das Menschen benötigen, indem Unsicherheitsquantifizierung zur Norm in KI-Bereitstellungen wird.