Wie Large Language Models (LLM) die Apps der Zukunft antreiben werden

Generative KI und insbesondere die Sprachvariante davon – ChatGPT ist überall. Large Language Model (LLM)-Technologie wird eine bedeutende Rolle bei der Entwicklung zukünftiger Anwendungen spielen. LLMs sind sehr gut darin, Sprache zu verstehen, dank der umfassenden Vorabtrainings, das für Grundmodelle auf Billionen von Zeilen öffentlichen Textes, einschließlich Code, durchgeführt wurde. Methoden wie überwachtes Feintuning und verstärktes Lernen mit menschlicher Rückmeldung (RLHF) machen diese LLMs noch effizienter bei der Beantwortung spezifischer Fragen und dem Gespräch mit Benutzern. Wenn wir in die nächste Phase von KI-Apps eintreten, die von LLMs angetrieben werden – werden die folgenden Schlüsselkomponenten für diese Next-Gen-Anwendungen von entscheidender Bedeutung sein. Die folgende Abbildung zeigt diese Entwicklung, und wenn Sie sich die Kette entlangbewegen, bauen Sie mehr Intelligenz und Autonomie in Ihre Anwendungen ein. Lassen Sie uns diese verschiedenen Ebenen betrachten.

LLM-Anrufe:

Diese sind direkte Anrufe an Vervollständigungs- oder Chat-Modelle durch einen LLM-Anbieter wie Azure OpenAI oder Google PaLM oder Amazon Bedrock. Diese Anrufe haben einen sehr grundlegenden Prompt und nutzen hauptsächlich das interne Speicher des LLM, um die Ausgabe zu erzeugen.

Beispiel: Ein einfaches Modell wie “text-davinci” fragen, “erzähl einen Witz”. Sie geben sehr wenig Kontext und das Modell verlässt sich auf sein internes, vorge trainiertes Speicher, um eine Antwort zu erzeugen (hervorgehoben in grün in der Abbildung unten – mit Azure OpenAI).

Prompts:

Die nächste Ebene der Intelligenz besteht darin, mehr und mehr Kontext in Prompts hinzuzufügen. Es gibt Techniken für Prompt-Engineering, die auf LLMs angewendet werden können, um individualisierte Antworten zu erhalten. Zum Beispiel kann bei der Erstellung einer E-Mail an einen Benutzer ein Kontext über den Benutzer, vergangene Käufe und Verhaltensmuster als Prompt dienen, um die E-Mail besser anzupassen. Benutzer, die mit ChatGPT vertraut sind, wissen über verschiedene Methoden des Prompts, wie das Angeben von Beispielen, die vom LLM verwendet werden, um eine Antwort zu erstellen. Prompts ergänzen das interne Speicher des LLM mit zusätzlichem Kontext. Beispiel ist unten.

Einbettungen:

Einbettungen bringen Prompts auf die nächste Ebene, indem sie eine Wissensdatenbank nach Kontext durchsuchen und diesen Kontext abrufen und dem Prompt hinzufügen. Hierbei wird der erste Schritt darin bestehen, einen großen Dokumentenspeicher mit unstrukturiertem Text durch Indizierung des Textes und Befüllung einer Vektordatenbank durchsuchbar zu machen. Dazu wird ein Einbettungsmodell wie ‘ada’ von OpenAI verwendet, das einen Textabschnitt in einen n-dimensionalen Vektor umwandelt. Diese Einbettungen erfassen den Kontext des Textes, sodass ähnliche Sätze Einbettungen haben, die im Vektorraum nahe beieinander liegen. Wenn ein Benutzer eine Abfrage eingibt, wird diese Abfrage auch in eine Einbettung umgewandelt und dieser Vektor mit Vektoren in der Datenbank abgeglichen. Somit erhalten wir die Top 5 oder 10 passenden Textabschnitte für die Abfrage, die den Kontext bilden. Die Abfrage und der Kontext werden an das LLM weitergeleitet, um die Frage auf menschliche Weise zu beantworten.

Ketten:

Heute sind Ketten die fortschrittlichste und ausgereifteste Technologie, die umfassend zur Erstellung von LLM-Anwendungen verwendet wird. Ketten sind deterministisch, bei denen eine Folge von LLM-Anrufen mit der Ausgabe von einem in einen oder mehrere LLMs fließt. Zum Beispiel könnten wir einen LLM-Anruf haben, der eine SQL-Datenbank abfragt und eine Liste von Kunden-E-Mails abruft und diese Liste an einen anderen LLM weiterleitet, der personalisierte E-Mails an Kunden generiert. Diese LLM-Ketten können in bestehende Anwendungsflüsse integriert werden, um wertvollere Ergebnisse zu erzeugen. Mit Ketten könnten wir LLM-Anrufe mit externen Eingaben wie API-Anrufen und Integration mit Wissensgraphen anreichern, um Kontext zu bieten. Zudem könnten wir heute mit mehreren LLM-Anbietern wie OpenAI, AWS Bedrock, Google PaLM, MosaicML usw. LLM-Anrufe in Ketten mischen und kombinieren. Für Kettenelemente mit begrenzter Intelligenz könnte ein niedrigeres LLM wie ‘gpt3.5-turbo’ verwendet werden, während für anspruchsvollere Aufgaben ‘gpt4’ verwendet werden könnte. Ketten bieten eine Abstraktion für Daten, Anwendungen und LLM-Anrufe.

Agenten:

Agenten sind ein Thema vieler Online-Debatten, insbesondere im Hinblick auf künstliche allgemeine Intelligenz (AGI). Agenten verwenden ein fortschrittliches LLM wie ‘gpt4’ oder ‘PaLM2’, um Aufgaben zu planen, anstatt vorgefertigte Ketten zu haben. Wenn also Benutzeranfragen vorliegen, entscheidet der Agent basierend auf der Abfrage, welche Aufgaben aufzurufen sind und baut dynamisch eine Kette. Zum Beispiel, wenn wir einen Agenten mit einem Befehl wie “Benutzer benachrichtigen, wenn der Zinssatz für Kredite aufgrund einer Regierungsregelungsaktualisierung geändert wird” konfigurieren. Das Agentenframework macht einen LLM-Anruf, um die Schritte zu bestimmen, die zu unternehmen sind oder Ketten zu bauen. Hierbei wird es darum gehen, eine App aufzurufen, die regulatorische Websites durchsucht und den neuesten Zinssatz extrahiert, dann ein LLM-Anruf, der eine Datenbank durchsucht und Kunden-E-Mails extrahiert, die betroffen sind, und schließlich eine E-Mail generiert, um jeden zu benachrichtigen.

Letzte Gedanken

LLM ist eine sich schnell entwickelnde Technologie und bessere Modelle und Anwendungen werden jede Woche gestartet. Von LLM zu Agenten ist die Intelligenzleiter und wenn wir nach oben gehen, bauen wir komplexe autonome Anwendungen. Bessere Modelle werden effektivere Agenten bedeuten und die Next-Gen-Anwendungen werden von diesen angetrieben. Die Zeit wird zeigen, wie fortschrittlich die nächsten Generationen von Anwendungen sein werden und welche Muster sie antreiben werden.