Wie ich mein Wissen in KI-Systeme übertrug, die tatsächlich Entscheidungen wie menschliche Experten treffen können

Als ich Microsoft verließ und weiterhin mit Unternehmen an deren KI-Einsätzen arbeitete, stellte ich fest, dass die meisten KI-Systeme, über die die Menschen aufgeregt waren, tatsächlich keine Entscheidungen mit echtem menschlichem Urteilsvermögen treffen konnten. Sicher, sie konnten schreiben, zusammenfassen und erstaunlich flüssigen Text produzieren, der wie eine Entscheidung klang, aber wenn man diese Systeme in eine reale betriebliche Umgebung einsetzte, in der es Kompromisse, Unsicherheiten, unvollständige Anweisungen und tatsächliche Konsequenzen gab, hatten sie schnell Schwierigkeiten. Dies stimmt mit Daten des MIT-Projekts NANDA überein, die zeigen, dass, während 60 % der Organisationen KI-Tools auswerteten, nur 20 % die Pilotphase erreichten und nur 5 % die Produktionsphase. Mit anderen Worten: Die Branche kämpft darum, Systeme zu entwickeln, die tatsächlich in realen Workflows bestehen können.

In Unternehmensumgebungen, insbesondere in Bereichen wie Supply Chain, Fertigung und Betrieb, ist es nicht schwer, eine Antwort zu erhalten; es geht darum, zu wissen, welche Antwort man vertrauen kann, welche Variablen am wichtigsten sind und was wahrscheinlich downstream passieren wird, wenn man sie falsch macht. In meinen Augen ist dies sowohl ein Experten- als auch ein Urteilsproblem.

Um klar zu sein, hat KI außergewöhnliche Fortschritte bei der Produktion besserer Ausgaben gemacht. Aber bessere Ausgaben sind nicht dasselbe wie bessere Entscheidungen. Dies sind zwei unterschiedliche Meilensteine, und ich denke, die Branche hat viel Zeit damit verbracht, sie als austauschbar zu behandeln.

Der Mangel an Fachwissen und Urteilsvermögen ist der Grund, warum ich mich für den Aufbau von KI interessierte, die von menschlichen Experten gelehrt werden kann, um komplexe Entscheidungen auf die gleiche Weise zu treffen. KI sollte nicht nur darum gehen, Aufgaben zu automatisieren, sondern auch darum, menschliches Urteilsvermögen effektiv und sicher in KI zu übertragen, die bestehen kann.

Große Sprachmodelle (LLMs) sprechen wie Entscheidungsträger, aber sie sind es nicht

Es gibt keinen Zweifel, dass LLMs nützlich sind, aber sie sind nicht von Natur aus Entscheidungssysteme. Sie sind Vorhersagemodelle, die in Sprache verpackt sind. Und Sprache ist überzeugend, was Teil des Problems ist. Wenn ein System sich selbst flüssig erklären kann, überschätzen wir leicht, was es versteht. Sie fragen es nach einem Geschäftsproblem, es gibt Ihnen eine strukturierte Antwort mit Kompromissen, Vorbehalten und einer netten Zusammenfassung am Ende, was es cleverer erscheinen lässt, als es ist. Klangvoll und operativ kompetent zu sein, sind nicht dasselbe, und hier bricht viel Unternehmens-KI. Modelle können Ihnen sagen, wie eine gute Entscheidung klingt, ohne zu verstehen, was eine Entscheidung unter Druck, über die Zeit oder im Kontext gut macht. Dies ist einer der Gründe, warum viele Organisationen Schwierigkeiten haben, über Experimente hinauszukommen. Gartner fand heraus, dass mindestens 50 % der generativen KI-Projekte nach dem Proof-of-Concept aufgegeben werden, lange bevor sie einen realen betrieblichen Einfluss haben, oft aufgrund unklarer Werte und Risikokontrollen.

Informationen sind nicht dasselbe wie Fachwissen

Eine der einfachsten Fallen, in die man mit KI tappen kann, ist die Annahme, dass, wenn ein System genug Informationen hat, es wie ein Experte handeln sollte. Klingt vernünftig, aber wenn man darüber nachdenkt, in unserem Alltagsleben, macht es uns nicht automatisch zu Experten, wenn wir mehr über etwas erfahren. Sie können jedes Handbuch der Luftfahrt lesen und dennoch nicht bereit sein, ein Flugzeug zu landen. Sie können sich an jede Best Practice in der Lieferkette erinnern und dennoch einfrieren, wenn drei Dinge gleichzeitig schiefgehen.

Ich könnte fortfahren, aber der Punkt ist, dass Informationen nicht dasselbe wie Fähigkeiten sind. Fähigkeiten kommen aus Erfahrung, insbesondere aus wiederholter Konfrontation mit chaotischen Situationen, in denen die Antwort nicht offensichtlich ist.

Jeden Tag sehe ich, dass die meisten heutigen KI-Systeme mit statischen Beispielen trainiert werden. Das ist alles hilfreich für Vorhersagen, aber das ist nur ein kleiner Teil der Entscheidungsfindung. Unternehmen haben nicht an Daten Mangel, aber sie benötigen strukturierte Umgebungen für die Praxis, was bedeutet, dass Systeme Umgebungen benötigen, in denen sie wiederholt:

• Realistische Szenarien erleben
• Wahlen treffen
• Sehen, was passiert
• Feedback erhalten
• Sich im Laufe der Zeit verbessern

KI kann mit Vorhersagealgorithmen trainiert werden, aber dieser Ansatz hat Grenzen. Was als Nächstes benötigt wird, ist KI, die in einer simulierten Umgebung mit menschlicher Aufsicht trainiert werden kann. Ich nenne dies Maschinelle Lehre, eine Methode, die komplexe Entscheidungen in Szenarien und Fähigkeiten aufbricht und eine Anleitung für menschliche Experten bietet, um KI durch Simulation zu unterrichten. Das resultierende Feedback und der Trial-and-Error ermöglichen es letztendlich Agenten, zu lernen und mit realer Autonomie direkt von den Menschen zu handeln, die diese Prozesse aufgebaut haben.

Hören Sie auf, KI wie einen Monolithen zu behandeln

Ein weiterer Fehler, den ich oft sehe, ist die Annahme, dass ein großes Modell alles tun sollte. Kein Basketballteam besteht aus nur einer Person. Keine Fabrik wird von einer einzelnen Person geführt. Komplexe Systeme funktionieren, weil verschiedene Komponenten unterschiedliche Aufgaben haben und es eine Struktur gibt, die sie zusammenhält.

KI sollte auf die gleiche Weise aufgebaut werden. Ich denke nicht, dass die langfristige Zukunft der Unternehmensentscheidung in einem Riesenmodell besteht, das in der Mitte des Unternehmens sitzt und so tut, als ob es allumfassend kompetent wäre. Es ist viel wahrscheinlicher, dass es wie Teams von spezialisierten Agenten aussieht.

Ein Agent könnte ein Experte auf dem Gebiet der Datenrückgewinnung sein. Ein anderer ist besser darin, Szenarien zu bewerten. Ein anderer plant. Einer überprüft die Einhaltung oder erkennt Widersprüche. Ein anderer handelt eher wie ein Vorgesetzter, der entscheidet, wann zu eskalieren ist oder wenn das Vertrauen zu gering ist, um fortzufahren. Die Teamarchitektur macht für mich viel mehr Sinn, da sie der Art und Weise entspricht, wie reale Organisationen tatsächlich arbeiten, und sich mit den umfassenderen Markttrends deckt. McKinseys Ergebnisse bestätigen, dass Organisationen den größten Nutzen aus KI ziehen, indem sie Workflows und Betriebsstrukturen um KI herum neu entwerfen.

Nicht alle Entscheidungen werden auf die gleiche Weise getroffen, und oft gehen wir davon aus, dass das gleiche Modell, die gleichen Daten und die gleiche Art der Argumentation alle Entscheidungen treffen können. In Wirklichkeit erfordern unterschiedliche Entscheidungen unterschiedliche Mechanismen.

Die vier Arten, wie Entscheidungen tatsächlich getroffen werden

In meiner Erfahrung neigen die meisten Entscheidungen dazu, in einige Kategorien zu fallen:

1. Regelsysteme (Regeln und Formeln): Entscheidungen werden getroffen, indem vordefinierte Gleichungen oder Regeln auf bekannte Eingaben angewendet werden. Wenn X passiert, tun Sie Y.
2. Suche und Optimierung: Entscheidungen werden getroffen, indem viele mögliche Optionen ausgewertet und die beste ausgewählt wird, basierend auf einem definierten Ziel.
3. Bestärkendes Lernen (Trial und Error): Entscheidungen werden im Laufe der Zeit gelernt, indem Handlungen durchgeführt, Ergebnisse beobachtet und basierend auf Belohnung oder Bestrafung angepasst werden.
4. Übung und Erfahrung (menschliches Lernen): Entscheidungen werden durch wiederholte Konfrontation, gezieltes Feedback und angesammeltes Urteilsvermögen in realen Szenarien geprägt.

Die meisten Unternehmens-KI machen sich in den ersten beiden Kategorien gut. Die dritte und vierte Kategorie sind für KI herausfordernder, da dort menschliches Urteilsvermögen lebt.

Autonomie ohne Struktur ist Risiko

Wenn Menschen über autonome KI sprechen, teilt sich die Diskussion oft in zwei Extreme auf. Die eine Seite denkt, die Systeme seien im Grunde genommen Magie und bereit, alles zu steuern. Die andere Seite handelt, als ob sie nie etwas Bedeutendes vertrauen sollten.

Ich denke, keine dieser Ansichten ist nützlich. Wir sollten uns auf Autonomie innerhalb von Strukturen konzentrieren, denn Autonomie ohne Aufsicht, Eskalationslogik, Grenzen oder Rechenschaftspflicht ist die Hauptquelle des Risikos. Risikobedenken treten jetzt auch in Gesprächen auf, die von Bemühungen wie dem National Institute of Standards and Technology’s AI-Risikomanagement-Framework geprägt sind, das zeigt, wie ernst Organisationen Fragen der Aufsicht, Rechenschaftspflicht und betrieblichen Vertrauens nehmen.

Die Zukunft der Unternehmens-KI liegt in Teams von Agenten. Organisationen, die den größten Nutzen aus KI ziehen, werden nicht diejenigen sein, die die meisten Wörter automatisieren. Sie sind diejenigen, die herausfinden, wie man reales Fachwissen in Systeme überträgt, die bestehen können. Das, in meiner Meinung, ist der Unterschied zwischen KI, die beeindruckend aussieht, und KI, die tatsächlich nützlich wird und einen realen ROI produziert.