Die Einführung und Evolution von generativer KI war so plötzlich und intensiv, dass es eigentlich ziemlich schwierig ist, vollständig zu würdigen, wie sehr diese Technologie unser Leben verändert hat.

Blicken wir drei Jahre zurück. Ja, KI wurde immer mehr verbreitet, zumindest in der Theorie. Mehr Menschen wussten einige Dinge, die sie konnte, obwohl es selbst dabei massive Missverständnisse über die Fähigkeiten von KI gab. Irgendwie wurde der Technologie gleichzeitig nicht genug und zu viel Kredit für das gegeben, was sie tatsächlich erreichen konnte. Dennoch konnte der Durchschnittsmensch auf mindestens ein oder zwei Bereiche hinweisen, in denen KI tätig war und hochspezialisierte Aufgaben ziemlich gut in hoch kontrollierten Umgebungen ausführte. Alles darüber hinaus war entweder noch in einem Forschungslabor oder existierte einfach nicht.

Vergleichen wir das mit heute. Mit null Fähigkeiten außer der Fähigkeit, einen Satz zu schreiben oder eine Frage zu stellen, liegt die Welt an unseren Fingern. Wir können Bilder, Musik und sogar Filme generieren, die wirklich einzigartig und erstaunlich sind und die Fähigkeit haben, ganze Branchen zu stören. Wir können unseren Suchprozess beschleunigen, indem wir eine einfache Frage stellen, die, wenn sie richtig formuliert wird, Seiten mit maßgeschneidertem Inhalt generieren kann, der gut genug ist, um als ein Universitätsabsolvent oder ein durchschnittlicher Drittklässler zu gelten, wenn wir die Perspektive angeben. Obwohl sie in nur einem oder zwei Jahren zu alltäglichen Fähigkeiten geworden sind, galten diese Fähigkeiten vor ein paar Jahren als absolut unmöglich. Das Feld der generativen KI existierte, aber hatte noch nicht wirklich an Fahrt gewonnen.

Heute haben viele Menschen mit generativer KI wie ChatGPT, Midjourney oder anderen Tools experimentiert. Andere haben sie bereits in ihr tägliches Leben integriert. Die Geschwindigkeit, mit der sie sich entwickelt haben, ist atemberaubend und fast beunruhigend. Und angesichts der Fortschritte der letzten sechs Monate werden wir in den nächsten Jahren zweifellos immer wieder beeindruckt sein.

Ein bestimmtes Werkzeug im Bereich der generativen KI ist die Leistung von Retrieval-Augmented-Generation-(RAG)-Systemen und ihre Fähigkeit, besonders komplexe Anfragen zu durchdenken. Die Einführung des FRAMES-Datensatzes, der in einem Artikel über die Funktionsweise des Bewertungsdatensatzes erläutert wird, zeigt sowohl den aktuellen Stand der Technik als auch, wo er hingeht. Selbst seit der Einführung von FRAMES im späten 2024 haben bereits eine Reihe von Plattformen neue Rekorde in ihrer Fähigkeit aufgestellt, schwierige und komplexe Anfragen zu durchdenken.

Lassen Sie uns herausfinden, was FRAMES bewerten soll und wie gut verschiedene generative KI-Modelle abschneiden. Wir können sehen, wie sowohl Dezentralisierung als auch Open-Source-Plattformen nicht nur ihr eigenes Standing halten (insbesondere Sentient Chat), sondern den Benutzern auch einen klaren Blick auf die erstaunliche Argumentationsfähigkeit gewähren, die einige KI-Modelle erreichen können.

FRAMES als Fenster in das GenAI-Gehirn

Der FRAMES-Datensatz und sein Bewertungsprozess konzentrieren sich auf 824 “Multi-Hop”-Fragen, die Inferenz, logische Verbindungen, die Verwendung mehrerer Quellen zur Informationsbeschaffung und die Fähigkeit erfordern, diese logisch zusammenzufügen, um die Frage zu beantworten. Die Fragen benötigen zwischen zwei und 15 Dokumenten, um sie richtig zu beantworten, und enthalten absichtlich Einschränkungen, mathematische Berechnungen und Deduktionen sowie die Fähigkeit, zeitbasierte Logik zu verarbeiten. Mit anderen Worten, diese Fragen sind extrem schwierig und stellen tatsächlich sehr reale Forschungsaufgaben dar, die ein Mensch im Internet angehen könnte. Wir haben es mit diesen Herausforderungen ständig zu tun und müssen nach den verstreuten Schlüsselinformationen in einem Meer von Internetquellen suchen, Informationen aus verschiedenen Websites zusammenfügen, neue Informationen durch Berechnungen und Deduktionen erstellen und verstehen, wie man diese Fakten zu einer richtigen Antwort auf die Frage konsolidiert.

Was die Forscher herausfanden, als der Datensatz zum ersten Mal veröffentlicht und getestet wurde, war, dass die besten GenAI-Modelle etwa 40% genau waren, wenn sie mit Single-Step-Methoden antworten mussten, aber eine Genauigkeit von 73% erreichen konnten, wenn sie alle notwendigen Dokumente sammeln durften, um die Frage zu beantworten. Ja, 73% mögen nicht wie eine Revolution aussehen. Aber wenn man versteht, was genau beantwortet werden muss, wird die Zahl viel beeindruckender.

Zum Beispiel lautet eine bestimmte Frage: “In welchem Jahr wurde der Bandleader der Gruppe geboren, die den Song gespielt hat, der in Kanye Wests Song Power sampelt?” Wie würde ein Mensch dieses Problem lösen? Die Person müsste verschiedene Informationsbestandteile sammeln, wie die Texte von Kanye Wests Song “Power” und dann in der Lage sein, durch die Texte zu blättern und den Punkt im Song zu identifizieren, an dem tatsächlich ein anderer Song sampelt. Wir als Menschen könnten wahrscheinlich den Song hören (auch wenn wir ihn nicht kennen) und erkennen, wenn ein anderer Song sampelt.

Aber denken Sie darüber nach: Was müsste ein GenAI leisten, um einen anderen Song als den Originalsong zu erkennen, während es “dem Song zuhört”? Hier wird eine grundlegende Frage zu einem hervorragenden Test für wirklich intelligente KI. Und wenn wir in der Lage wären, den Song zu finden, ihn anzuhören und die Texte zu identifizieren, die sampeln, ist das nur Schritt 1. Wir müssen noch herausfinden, wie der Song heißt, was die Band ist, wer der Leiter dieser Band ist und dann, in welchem Jahr diese Person geboren wurde.

FRAMES zeigt, dass zur Beantwortung realistischer Fragen eine enorme Menge an Denkprozessen erforderlich ist. Zwei Dinge fallen hier auf.

Erstens ist die Fähigkeit von dezentralen GenAI-Modellen, nicht nur zu konkurrieren, sondern möglicherweise die Ergebnisse zu dominieren, unglaublich. Eine wachsende Anzahl von Unternehmen nutzt die dezentralisierte Methode, um ihre Verarbeitungskapazitäten zu skalieren und sicherzustellen, dass eine große Gemeinschaft die Software besitzt, nicht eine zentrale Blackbox, die ihre Fortschritte nicht teilt. Unternehmen wie Perplexity und Sentient sind Vorreiter dieser Entwicklung, jedes mit leistungsstarken Modellen, die über die ersten Genauigkeitsrekorde hinausgehen, als FRAMES veröffentlicht wurde.

Das zweite Element ist, dass eine kleinere Anzahl dieser KI-Modelle nicht nur dezentralisiert, sondern auch Open-Source ist. Zum Beispiel ist Sentient Chat beides, und frühe Tests zeigen, wie komplex seine Argumentationsfähigkeit sein kann, dank des wertvollen Open-Source-Zugangs. Die FRAMES-Frage oben wird mit einem ähnlichen Denkprozess beantwortet wie ein Mensch, mit seinen Argumentationsdetails zur Überprüfung. Vielleicht noch interessanter ist, dass ihre Plattform als eine Reihe von Modellen strukturiert ist, die eine bestimmte Perspektive und Leistung feinjustieren können, auch wenn der Feinjustierungsprozess in einigen GenAI-Modellen zu einer verringerten Genauigkeit führt. Im Falle von Sentient Chat wurden viele verschiedene Modelle entwickelt. Zum Beispiel kann ein kürzlich entwickeltes Modell namens “Dobby 8B” nicht nur die FRAMES-Benchmark überbieten, sondern auch eine deutliche pro-Krypto- und pro-Freiheits-Einstellung entwickeln, die die Perspektive des Modells beeinflusst, während es Informationen verarbeitet und eine Antwort entwickelt.

Auf dem Horizont

Der Schlüssel zu all diesen erstaunlichen Innovationen ist die rasante Geschwindigkeit, die uns hierher gebracht hat. Wir müssen anerkennen, dass sich diese Technologie so schnell entwickelt hat, dass sie in Zukunft nur noch schneller evolvieren wird. Wir werden sehen, insbesondere mit dezentralen und Open-Source-GenAI-Modellen, dass diese entscheidende Schwelle, an der die Intelligenz des Systems unsere eigene Intelligenz immer mehr übertrifft, und was das für die Zukunft bedeutet.