Die vier teuersten Fehler von unzureichend getesteten KI-Systemen

Wenn Unternehmen KI-Systeme ohne strenge menschliche Überwachung einsetzen, bitten sie im Wesentlichen ein nicht-deterministisches automatisiertes System, sich selbst zu validieren.

Das Problem liegt nicht unbedingt darin, dass KI schlecht bei Tests ist. KI ist hervorragend darin, Dinge zu tun, die bereits gemacht wurden, insbesondere wenn sie den Regeln folgt, die Sie explizit festgelegt haben. Aber die Fehler, die tatsächlich Ihren Markenwert schädigen, leben in den Bereichen, in denen menschliches Urteilsvermögen am wichtigsten ist. Eine Halluzination über eine Rückgaberichtlinie. Eine untypische Reaktion auf eine sensible Beschwerde. Ein Sicherheits-Schutzmechanismus, der unter Druck nicht hält.

Mit 70% der Kunden, die nach einem schlechten KI-Erlebnis zu einem anderen Anbieter wechseln, sind die Einsätze hoch. Doch die meisten Unternehmen setzen KI-Systeme ein, die von veralteten oder nur automatisierten Tools validiert werden, die für deterministische Software entwickelt wurden. Diese Architektur wurde nie dafür entwickelt, die Fehler zu erkennen, die tatsächlich Menschen vertreiben.

Über die von Teslio durchgeführten Engagements für Unternehmenseams hinweg, sind vier Fehlermodi für den größten Teil des kundensichtbaren Schadens verantwortlich. Keiner von ihnen wird durch automatisierte Tests allein erfasst.

1. Sicherheits- und Schutzmechanismen, die nicht wirklich schützen

Ein Kunde stellt Ihrem Chatbot die richtige Frage auf die richtige Weise. Der Bot bietet ihm ein 1.000-Dollar-Produkt für 10 Dollar an. Oder er gibt Informationen preis, die er absolut nicht preisgeben sollte. Oder er bricht eine grundlegende Geschäftsregel, weil niemand die Randbedingungen getestet hat.

Das Risiko ist einfach. Der Schaden ist sofort und der Schaden ist öffentlich.

Das eigentliche Problem ist nicht nur die Automatisierung, obwohl das Teil davon ist. Schutzmechanismen sind nicht standardisiert, sie müssen an den spezifischen Geschäftskontext angepasst werden. Und selbst wenn die besten Praktiken befolgt werden, bleiben Schutzmechanismen anfällig. Techniken wie “poetische Jailbreaks” zeigen uns, dass gut gemeinte Schutzmechanismen auf Weise manipuliert werden können, die ihre Schöpfer nie vorhergesehen haben. Die Frage, die Unternehmen stellen müssen, ist nicht “folgt unser Schutzmechanismus den Branchenstandards?”, sondern vielmehr “auf welche neue Weise kann dieses Modell manipuliert werden?”

Dies erfordert ein antagonistisches Denken. Kreative, forschende Menschen, die sowohl den Schutzmechanismus-Design als auch die Angriffsfläche verstehen. Die Ränder testen, Stresstests durchführen, komplexe Fragen stellen. Es ist der Unterschied zwischen einem Schutzmechanismus, der die Konformität bestätigt, und einem Schutzmechanismus, der tatsächlich hält.

2. Genauigkeits- und Geschäftslogikfehler, die in Halluzinationen versteckt sind

Die Realität ist, dass KI halluziniert. Was ich gelernt habe, ist, dass wenn Sie Domänen-Expertenwissen in einem Bereich haben, Sie die Halluzination sofort erkennen. Sie sehen direkt durch sie hindurch.

Aber hier ist der kritische Fehler bei der alleinigen Verwendung Ihres internen Teams: Sie haben Blindspots. Wenn Sie ein Produkt von innen heraus kennen, wissen Sie genau, welche Fragen Sie stellen müssen, um die richtige Antwort zu erhalten. Sie können keine Ungenauigkeiten finden, wenn Sie nicht danach suchen. Interne Teams wissen, wie das Produkt funktionieren soll, nicht, wie es tatsächlich für reale Benutzer mit unterschiedlichen mentalen Modellen, unterschiedlichen Kontexten und unterschiedlichen Wegen funktioniert, um Ihre Annahmen zu brechen.

Dort kommt die Aufsicht von Menschen, die das System frisch angehen, ins Spiel. Sie validieren nicht nur, dass die KI tut, was Sie ihr gesagt haben; sie bringen Probleme ans Licht, die möglicherweise für verschiedene Abteilungen von Interesse sein könnten und Bereiche von realen Fehlern hervorheben.

Wenn Unternehmen beginnen, auf den großen Sprachmodellen aufzubauen, wenn sie ihre eigenen Prozesse und Workflows hinzufügen, werden die Testanforderungen noch kritischer.

3. Benutzerfreundlichkeit und Benutzererfahrung-Überlegungen

Fühlt es sich richtig an? Sieht es richtig aus? Dauert die Zahlungsabwicklung ein bisschen zu lange? Trägt die Antwort den richtigen Ton für einen frustrierten Kunden oder den richtigen Rhythmus für einen Erstbenutzer bei?

Das sind die Arten von Fragen, die automatisierte Tools nicht beantworten können. Und sie sind die Arten von Fragen, die für Kunden enorm wichtig sind.

Es gibt einen grundlegenden Unterschied zwischen dem Bestehen eines Testsets und dem tatsächlichen Guten. Eine KI-Interaktion kann jedes Kästchen in Ihren Akzeptanzkriterien ankreuzen und dennoch von einem Benutzer als falsch wahrgenommen werden. Sie kann technisch korrekt, aber organisatorisch ungeschickt sein. Sie kann die genaue Information im falschen Rhythmus oder Ton liefern.

Dort ist ein Mensch-im-Loop unerlässlich. Sie benötigen Menschen, die darauf trainiert sind, zu erkennen, wie KI fehlschlägt, in den Regionen zu testen, in denen Ihre Kunden leben, mit den Geräten und Zahlungsmethoden, die sie tatsächlich verwenden. Jemand, der auf einem High-End-iPhone in San Francisco testet, hat nicht dieselbe Erfahrung wie jemand, der auf einem Mittelklasse-Android mit einer schwachen Datenverbindung in Jakarta testet. Ohne Vielfalt in der Testperson und am Testort erhalten Sie simulierte Ergebnisse, die scheitern, sobald Ihr Produkt die Realität trifft.

Sie müssen jemanden haben, der tatsächlich das Produkt verwendet, tatsächlich über die Erfahrung nachdenkt, tatsächlich zurückdrängt, wenn etwas nicht richtig fühlt.

4. Die Illusion der validierten Expertise

Dies ist der subtilste Fehler und vielleicht der gefährlichste. Wenn Unternehmen KI-Systeme ohne ordnungsgemäße Tests einsetzen, setzen sie oft darauf, dass die KI genug Wissen aufgenommen hat, um den Bereich ordnungsgemäß zu beherrschen. Sie gehen davon aus, dass die KI, weil sie sich selbstbewusst über etwas äußert, wahrscheinlich weiß, worüber sie spricht.

Aber es gibt eine weitere Dimension dieses Risikos. Die meisten Menschen, die KI-Funktionen verwenden, machen dieselbe Annahme. Sie hinterfragen die Ausgabe nicht. Wenn sie autoritativ klingt und nicht offensichtlich falsch ist, vertrauen sie ihr. Schlechte medizinische Ratschläge. Falsche rechtliche Anleitungen. Fehlerhafte Finanzempfehlungen. Die Konsequenzen kumulieren, wenn Benutzer annehmen, die KI sei korrekt und hätten keinen Grund, daran zu zweifeln.

KI ist sehr gut darin, zu wissen, was bereits gemacht wurde. Sie ist nicht gut darin, zu wissen, was in neuen Situationen getan werden sollte. Jedes Unternehmen hat neue Situationen. Jedes Produkt hat Randfälle. Jede Kundenreise hat einen Moment, in dem die richtige Antwort die ist, die die KI nicht trainiert wurde zu geben.

Neubestimmung der Release-Bereitschaft

Eine ausgereifte KI-Release-Strategie erfordert, über die automatisierte Denkweise hinauszugehen. Sie beinhaltet den Aufbau eines strukturierten Rahmens von menschlicher Expertise im Loop.

• Technik: Dieses Team sollte die Systemintegrität besitzen, definieren, wie ein Fehler auf der Modell- und Infrastrukturebene aussieht und wo Schutzmechanismen sitzen müssen.
• Produkt: Führungskräfte sollten die Entscheidungsgrenzen besitzen, beurteilen, welche Entscheidungen die KI autonom treffen darf, welche menschliche Genehmigung erfordern und welche sie überhaupt nicht berühren sollte.
• Design und QA: Diese Fachleute sollten die Benutzererfahrung besitzen, ob Benutzer verstehen, was die KI tut, ob sie erkennen, wenn sie falsch ist und ob sie wirksame Abhilfe haben, wenn sie falsch ist.

Wir müssen akzeptieren, dass KI, obwohl sie unglaubliche Erfahrungen für unsere Kunden schaffen kann, nicht ihr eigener Richter und Henker sein kann. Die Verantwortung für die KI-Qualität ist eine organisatorische, die auf Teams verteilt ist, in menschlicher Expertise verankert und in realen Welttests gegründet ist.