Technologie allein garantiert nicht die Akzeptanz: Lektionen aus dem Aufbau eines internen AI-Chatbots

Als die Akzeptanz von KI über verschiedene Branchen hinweg beschleunigt wurde, schien es wie eine logische Entscheidung, einen Chatbot bereitzustellen, um eine neu gestartete interne Anwendung zu unterstützen. Die Anwendung selbst forderte jedoch herkömmliche Benutzererwartungen heraus. Sie führte neue Workflows ein, die auf aufkommender Technologie basierten, die den meisten Benutzern unbekannt war.

Um Reibungspunkte zu reduzieren und die Akzeptanz zu verbessern, wurde der Chatbot so konzipiert, dass er Fragen zur Anwendung und der zugrunde liegenden Technologie beantworten konnte. Das Ziel bestand darin, den Benutzern nicht nur zu erklären, was sie tun sollten, sondern auch, warum das System auf bestimmte Weise reagierte. Wir glaubten, dass die Bereitstellung kontextbezogener Erklärungen das Lernen beschleunigen und Verwirrung reduzieren würde.

Von Anfang an wurde der KI-Agent als Lösung mit begrenztem Umfang konzipiert. Er wurde ausschließlich dazu entwickelt, die Dokumentation zu unterstützen und Benutzerunterstützung zu bieten. Konzeptionell sollte der Chatbot als dynamischer Ersatz für ein herkömmliches FAQ-Dokument dienen, das eine konversationale, durchsuchbare und kontinuierlich verfügbare Schnittstelle mit erweiterten Funktionen jenseits von statischem Inhalt bot.

Um den Agenten in die interne Chat-Umgebung der Organisation zu integrieren, mussten wir verstehen, wie strukturierte Nachrichten gerendert wurden, wie die Konversationshistorie gespeichert wurde und wie das System Teilnehmer innerhalb von Threads identifizierte. Dies ermöglichte es uns, die Kernvariablen zu bestimmen, die erforderlich waren, um mit der Verarbeitung von Benutzerfragen zu beginnen.

Das Modell verankern: Von Halluzinationen zu verlässlichem Kontext

Große Sprachmodelle sind leistungsfähig, aber ohne kontextuelle Verankerung neigen sie zu Halluzinationen. Um dies zu bewältigen, implementierten wir eine Vektor-Embedding-Technik.

Benutzerhandbücher, interne Dokumentation und das Produktionskonzept wurden in numerische Vektor-Darstellungen von Text umgewandelt. Diese Einbettungen erfassten semantische Bedeutungen, sodass das System Konzepte anstelle von einfachen Schlüsselwörtern abgleichen konnte.

Wenn ein Benutzer eine Frage stellte, wandelte das System die Abfrage in eine Vektor-Darstellung um und verglich sie mit den gespeicherten Einbettungen. Es rief die semantisch relevantesten Dokumente ab und injizierte sie in die Modell-Prompt. Das Modell generierte dann eine Antwort, die auf diesen spezifischen Dokumenten basierte, oft indem es die relevanten Informationen zusammenfasste.

Dieser Ansatz verbesserte die Antwortgenauigkeit erheblich. Anstelle von Antworten, die rein auf allgemeinem Wissen basierten, antwortete das Modell mithilfe der eigenen Dokumentation der Organisation als Kontext.

Die verborgene Komplexität des Kontextmanagements

Es war wichtig, die Konversationshistorie in den Prompt aufzunehmen, damit der Bot Nachfolgefragen interpretieren und Kontinuität aufrechterhalten konnte. Ohne Historie wurden Interaktionen fragmentiert und repetitiv. Benutzer verfeinern ihre Fragen oft schrittweise, und ohne Kontext konnte der Bot Verweise wie “diese Option” oder “der vorherige Schritt” nicht interpretieren.