Je kritischer die Entscheidung, desto weniger sollte AI alleine arbeiten

AI-Agenten haben offensichtlich ein Problem, der als Vorteil getarnt ist. Der Agent spricht selbstbewusst und schreibt elegant, verarbeitet Informationen schneller als ein Mensch. Dies kann den Eindruck erwecken, dass die AI bereit ist, autonom zu arbeiten. In Wirklichkeit ist es jedoch so, dass die AI, sobald eine Entscheidung mit echtem Geld, Kundenvertrauen und Vertrauen zu tun hat, nicht autonom sein sollte, da sie immer noch die Aufsicht eines Erwachsenen benötigt.

Diese Lektion wurde nicht aus Theorie abgeleitet – sie wurde durch Tests erlernt, als die AI des Luxus-Lifestyle-Dienstes in der Lage war, mit realen Kunden zu interagieren.

Gut gemeinte Ratschläge, die gefährlich sein können

In den ersten Tests der AI-gesteuerten Lifestyle-Management-App schien das System auf den ersten Blick beeindruckend. Es konnte eine Shortlist von Restaurants erstellen, Unterhaltungsoptionen vorschlagen, Reisepläne für lokale Aktivitäten erstellen und all dies in klare, hochwertige Empfehlungen kombinieren. Aber in etwa 15% der Fälle erfand es einfach die Details – und tat dies überzeugend genug, um glaubwürdig zu sein.

Es gibt ein Beispiel, das dieses Problem unmöglich zu ignorieren machte: Die AI empfahl ein Restaurant in Dubai, das acht Monate zuvor geschlossen worden war. Als sie danach gefragt wurde, zögerte sie nicht oder gab zu, einen Fehler gemacht zu haben. Der Agent verteidigte seine Entscheidung, indem er eine Rezension erfand und sie zitierte.

Ein anderes Mal verwechselte der Agent einen Straßen-Snack-Bereich mit einem Michelin-Sterne-Restaurant, weil die Namen ähnlich waren. Wenn ein Mensch den Auftrag nicht überprüft hätte, könnte der Kunde des Concierge-Dienstes mit einem Abendessen enden, das nichts mit dem geplanten zu tun hatte.

Dann gab es den Vorfall mit dem Padel-Spiel. Ein Kunde fragte nach einem Sportclub mit Padel-Plätzen. Die AI war dabei, ihn zu einem Ort zu schicken, der nur Tennisplätze hatte. Warum? Weil sie in den Quelldaten einen Nachrichtenartikel fand, der besagte, dass Padel-Plätze geplant seien, und sie “geplant” in “bereits existierend” umwandelte. Dies ist genau das, was Modelle in der Dienstleistungsbranche zu einem riskanten Experiment macht: Selbst wenn die AI nicht über vollständige und genaue Daten verfügt, hört sie nicht auf – sie improvisiert.

AI-Halluzinationen als Geschäftsrisiko

Dieses Problem ist keineswegs auf die Tourismusbranche beschränkt – es liegt in der Implementierung der AI selbst.

Innerhalb klar definierter Parameter funktioniert die AI hervorragend. Sie kann strukturierte Daten verarbeiten, aktuelle APIs und wird Sie in weiten Bereichen überbieten. Sie kann Fälle nach siebzehn Parametern sortieren, Regeln sofort scannen und fertige Entwürfe in Sekunden generieren. Aber die reale Welt ist weit von einer strukturierten Datenbank entfernt. Die Realität ist voller Randfälle, veralteter Informationen, mehrdeutiger Präferenzen, vager Formulierungen und operativer Lücken.

Genau hier beginnen Halluzinationen, ein Geschäftsrisiko darzustellen. Studien haben wiederholt vor Halluzinationen gewarnt, die sofort Vertrauen zerstören können, insbesondere wenn ein Kunde bei der Entscheidungsfindung polierte, aber ungenaue Informationen erhält. Menschen verwenden bereits AI-Planner, aber Vertrauen fehlt.

HNWIs als ultimative Stressprüfung für AI

Lassen Sie uns das Risiko erhöhen.

AI kann leicht Standardaufgaben bewältigen – ein Beispiel für eine solche Aufgabe ist die Buchung einer Reise von London nach Dubai: Business-Class, ein Vier-Sterne-Hotel für drei Nächte. Die echte Stressprüfung ist ein Briefing von einem HNWI: Es ist unser Jahrestag. Sie erwähnte ein Restaurant in Amalfi mit einer blauen Tür. Sie liebt Peonien, aber hasst Rosen, und sie wird sich mit einem Fahrer, der Französisch spricht, wohler fühlen.

Ein solches Anliegen klingt elegant, aber aus operativer Sicht ist es ein Minenfeld. Ein AI-Agent wird sicherlich Optionen vorschlagen, aber er kann auch 40% falsche Informationen mit voller Überzeugung liefern.

Kunden in der Luxus- und HNWI-Segment offenbaren die wahren Grenzen der AI schneller als jeder Test, da ihre Anfragen nicht standardisiert sind und ihre Erwartungen emotional, kontextabhängig und hochspezifisch sind. Meistens sind solche Anfragen schwierig zu überprüfen.

Darüber hinaus wird das Versagen, HNWI-Kunden effektiv zu bedienen, nicht mit einer einfachen Rückerstattung enden. Es wird den Ruf des Unternehmens schädigen, da Empfehlungen und Vertrauen in diesem Segment von entscheidender Bedeutung sind.

Echte Mitarbeiter haben jeden Tag mit diesen Halluzinationen zu tun. Sie bemerken das Restaurant, das zufällig am Dienstag, an dem der Kunde ankommt, geschlossen ist, und den schnellen fünfminütigen Spaziergang, der sich tatsächlich als 25-minütiger Aufstieg mit Gepäck entpuppt. Ein ausgebildeter Spezialist wird nicht übersehen, dass ein Boutique-Hotel, das auf Fotos perfekt aussieht, tatsächlich aufgrund von Renovierungen mit Gerüsten bedeckt ist.

Warum Fintech Genauigkeit und nicht Geschwindigkeit erfordert

Wir können die gleiche Logik auf den gesamten Fintech-Sektor anwenden. AI kann Produkte analysieren, Optionen vergleichen, Anomalien identifizieren und Empfehlungen schnell und effizient generieren. Aber wenn es um Geld geht, gibt es null Toleranz für zufällige Fehler.

Fintech-Unternehmen zahlen plötzlich den Preis für Entscheidungen, die durch Automatisierung getroffen wurden – in Form des Verlusts von Kundenvertrauen. Erfolgreiche Unternehmen implementieren Kontrollmechanismen frühzeitig, anstatt sie nachträglich einzuführen, wenn der Schaden bereits angerichtet wurde; das richtige Modell umfasst menschliche Aufsicht.

Eine zusätzliche Verifizierungsebene ist zwischen der AI und dem Kunden erforderlich – eine Phase, in der das Ergebnis gründlich überprüft und gesichert wird. In Bereichen, in denen der Fehlerkosten hoch sind, wird diese Ebene zur Grundlage des Produkts.

Ein nützlicheres Konzept ist Infrastruktur. AI sollte sich auf strukturierte Aufgaben konzentrieren: Recherche, Sortierung, Vergleich und Erstellung. Bei diesem Prozess sollten Menschen die endgültigen Entscheidungen treffen. Im Laufe der Zeit werden einige Arbeitsprozesse stabil genug, um vollständig automatisiert zu werden. Zu diesem Zeitpunkt wird es wahrscheinlich möglich sein, eine Grundlage zu etablieren, aber dies sollte auf der Grundlage von Beweisen und nicht auf Glauben erfolgen.

Diese Ideen mögen weniger inspirierend klingen als die vollständig autonome Zukunft, aber genau so werden ernsthafte Unternehmen letztendlich erfolgreich sein.