Wie Large Language Models (LLM) die Apps der Zukunft antreiben werden

Generative KI und insbesondere die Sprachvariante davon – ChatGPT ist überall. Large Language Model (LLM)-Technologie wird eine wichtige Rolle bei der Entwicklung von zukünftigen Anwendungen spielen. LLMs sind sehr gut darin, Sprache zu verstehen, dank der umfassenden Vorverarbeitung, die für Grundmodelle auf Billionen von Zeilen öffentlichen Textes, einschließlich Code, durchgeführt wurde. Methoden wie überwachtes Feintuning und verstärktes Lernen mit menschlicher Rückmeldung (RLHF) machen diese LLMs noch effizienter bei der Beantwortung spezifischer Fragen und dem Gespräch mit Benutzern. Wenn wir in die nächste Phase von KI-Apps powered by LLMs eintreten – folgende Schlüsselkomponenten werden für diese Next-Gen-Anwendungen entscheidend sein. Die folgende Abbildung zeigt diese Entwicklung, und wenn Sie die Kette hochsteigen, bauen Sie mehr Intelligenz und Autonomie in Ihre Anwendungen ein. Lassen Sie uns diese verschiedenen Ebenen betrachten.

LLM-Aufrufe:

Dies sind direkte Aufrufe von Vervollständigungs- oder Chat-Modellen durch einen LLM-Anbieter wie Azure OpenAI oder Google PaLM oder Amazon Bedrock. Diese Aufrufe haben eine sehr grundlegende Aufforderung und nutzen hauptsächlich das interne Gedächtnis des LLM, um die Ausgabe zu erzeugen.

Beispiel: Ein einfaches Modell wie “text-davinci” auffordern, “einen Witz zu erzählen”. Sie geben sehr wenig Kontext und das Modell verlässt sich auf sein internes, vorge trainiertes Gedächtnis, um eine Antwort zu erstellen (hervorgehoben in grün in der Abbildung unten – mit Azure OpenAI).

Aufforderungen:

Das nächste Level der Intelligenz besteht darin, immer mehr Kontext in die Aufforderungen einzufügen. Es gibt Techniken für die Aufforderungs-Engineering, die auf LLMs angewendet werden können, um sie zu maßgeschneiderten Antworten zu bringen. Zum Beispiel kann bei der Erstellung einer E-Mail an einen Benutzer einige Kontext über den Benutzer, vergangene Käufe und Verhaltensmuster als Aufforderung dienen, um die E-Mail besser anzupassen. Benutzer, die mit ChatGPT vertraut sind, wissen über verschiedene Methoden der Aufforderung, wie das Geben von Beispielen, die vom LLM verwendet werden, um eine Antwort zu erstellen. Aufforderungen ergänzen das interne Gedächtnis des LLMs mit zusätzlichem Kontext. Beispiel siehe unten.

Einbettungen:

Einbettungen bringen Aufforderungen auf das nächste Level, indem sie in einem Wissensspeicher nach Kontext suchen und diesen Kontext ermitteln und an die Aufforderung anhängen. Hier ist der erste Schritt, einen großen Dokumentenspeicher mit unstrukturiertem Text durch Indizierung des Textes und Populierung einer Vektordatenbank durchsuchbar zu machen. Dazu wird ein Einbettungsmodell wie ‘ada’ von OpenAI verwendet, das einen Textabschnitt in einen n-dimensionalen Vektor umwandelt. Diese Einbettungen erfassen den Kontext des Textes, sodass ähnliche Sätze Einbettungen haben, die in Vektorraum nahe beieinander liegen. Wenn der Benutzer eine Abfrage eingibt, wird diese Abfrage auch in eine Einbettung umgewandelt und dieser Vektor mit Vektoren in der Datenbank abgeglichen. So erhalten wir die Top 5 oder 10 passenden Textabschnitte für die Abfrage, die den Kontext bilden. Die Abfrage und der Kontext werden an das LLM weitergeleitet, um die Frage auf menschliche Weise zu beantworten.

Ketten:

Heute sind Ketten die fortschrittlichste und ausgereifteste Technologie, die umfassend zur Erstellung von LLM-Anwendungen eingesetzt wird. Ketten sind deterministisch, wobei eine Folge von LLM-Aufrufen mit der Ausgabe von einem in einen oder mehrere LLMs mündet. Zum Beispiel könnten wir einen LLM-Aufruf haben, der eine SQL-Datenbank abfragt und eine Liste von Kunden-E-Mails erhält und diese Liste an einen anderen LLM weiterleitet, der personalisierte E-Mails an die Kunden generiert. Diese LLM-Ketten können in bestehende Anwendungsflüsse integriert werden, um wertvollere Ergebnisse zu erzeugen. Mit Ketten können wir LLM-Aufrufe mit externen Eingaben wie API-Aufrufen und Integration mit Wissensgraphen kombinieren, um Kontext zu liefern. Darüber hinaus können wir heute mit mehreren LLM-Anbietern wie OpenAI, AWS Bedrock, Google PaLM, MosaicML usw. LLM-Aufrufe in Ketten mischen und kombinieren. Für Kettenelemente mit begrenzter Intelligenz kann ein niedrigerer LLM wie ‘gpt3.5-turbo’ verwendet werden, während für anspruchsvollere Aufgaben ‘gpt4’ verwendet werden kann. Ketten bieten eine Abstraktion für Daten, Anwendungen und LLM-Aufrufe.

Agenten:

Agenten sind ein Thema vieler Online-Debatten, insbesondere im Hinblick auf künstliche allgemeine Intelligenz (AGI). Agenten verwenden ein fortschrittliches LLM wie ‘gpt4’ oder ‘PaLM2’, um Aufgaben zu planen, anstatt vorgegebene Ketten zu haben. Wenn also Benutzeranfragen vorliegen, entscheidet der Agent basierend auf der Abfrage, welche Aufgaben aufzurufen sind und baut dynamisch eine Kette. Zum Beispiel, wenn wir einen Agenten mit einem Befehl wie “Benutzer benachrichtigen, wenn der Zinssatz für Kredite aufgrund von Regierungsrichtlinien ändert” konfigurieren. Das Agentenframework ruft ein LLM auf, um die Schritte zu entscheiden, die aufzurufen sind oder Ketten zu bauen. Hier wird es das Aufrufen einer App beinhalten, die regulatorische Websites durchsucht und den neuesten Zinssatz extrahiert, dann ein LLM-Aufruf, der die Datenbank durchsucht und die E-Mails der betroffenen Kunden extrahiert, und schließlich wird eine E-Mail generiert, um jeden zu benachrichtigen.

Letzte Gedanken

LLM ist eine sich schnell entwickelnde Technologie und bessere Modelle und Anwendungen werden jede Woche gestartet. LLM zu Agenten ist die Intelligenzleiter und wenn wir nach oben steigen, bauen wir komplexe autonome Anwendungen. Bessere Modelle werden effektivere Agenten bedeuten und die Next-Gen-Anwendungen werden von diesen angetrieben. Die Zeit wird zeigen, wie fortschrittlich die nächsten Anwendungen sein werden und welche Muster sie antreiben werden.