Wenn der Berater ein Bot ist. Konversationelle KI ohne Menschen zu brechen.

Was kann KI nicht tun? Wir fragen sie nach Fragen, wie wir unser Geld weise ausgeben, und sie erzählt uns von verfügbaren steuerlich effizienten Fahrzeugen. Wir fragen sie nach Beziehungen, und sie bietet Empathie, die durch Mustererkennung geformt wird. Fragen Sie sie, was Sie mit Ihrem Leben um 2 Uhr morgens machen sollen, und sie wird Ihnen eine Antwort geben… weil das ihr Aufbau ist.

Das aufkommende Anliegen ist nicht das Versagen dieser Tools, sondern ihre Sprachgewandtheit. Sie sind so beruhigend sicher, dass das, was dazu gedacht ist, uns zu unterstützen, mit genügend Sicherheit und Wiederholung beginnen kann, unsere Art zu denken, zu fühlen und zu handeln auf Weise zu verzerren, die wir nie geplant haben.

Schlagzeilen blinken rot. OpenAI hat kürzlich enthüllt, dass in einer bestimmten Woche hunderttausende von ChatGPT-Nutzern Anzeichen von schwerer emotionaler Belastung zeigen könnten, einschließlich suizidaler Ideation. Währenddessen warnen Fachleute für psychische Gesundheit vor “einem Phänomen, bei dem Nutzer durch lang anhaltende, emotional aufgeladene Chatbot-Gespräche Wahnvorstellungen oder Abhängigkeit entwickeln”. US-Bundesstaaten begrenzen bereits die Verwendung von Bots in der Therapie als Ergebnis.

Diese Geschichten beunruhigen uns, weil sie die Kernannahme in Frage stellen, dass KI nur ein Werkzeug ist. Wenn der Berater zu einem Vertrauten oder wie ein Freund wird, was passiert mit der realen menschlichen Verbindung?

Entwickler erstellen nicht mehr nur lustige Funktionen; sie formen Interaktionen, die beeinflussen können, wie Menschen sich fühlen und denken. Deshalb ist es wichtig, konversationelle KI zu entwerfen, die Wert liefert, ohne die psychische Gesundheit der Nutzer zu untergraben.

1.   Ziel einschränken

Eine kürzliche Harvard-Studie warnt, dass konversationelle Bots dazu neigen, zuzustimmen, auch wenn die Nutzer falsch liegen, weil diese Art der Bestätigung die Nutzer engagiert hält. Allerdings öffnet sie auch Türen zu “schmeichlerischer” Bestätigung. Wenn ein Chatbot nicht dazu gedacht ist, ein Therapeut oder enger Freund zu sein, sollten Sie widerstehen, ihn so zu entwerfen, dass er dieser Art von emotionaler Bestätigung gibt.