Wie gut sind KI-Agenten im echten Forschen? Innerhalb des Deep Research Bench-Berichts

Da sich große Sprachmodelle (LLMs) rasch weiterentwickeln, wächst auch ihr Potenzial als leistungsfähige Forschungsassistenten. Immer öfter gehen sie nicht nur einfache faktische Fragen durch – sie bewältigen “tiefere Forschungsaufgaben”, die mehrschrittiges Denken, die Bewertung widersprüchlicher Informationen, die Suche nach Daten im gesamten Web und die Synthese in eine kohärente Ausgabe beinhalten.

Diese entstehende Fähigkeit wird nun unter verschiedenen Markennamen von großen Labors vermarktet – OpenAI nennt es “Deep Research”, Anthropic bezeichnet es als “Extended Thinking”, Google’s Gemini bietet “Search + Pro”-Funktionen an, und Perplexity bezeichnet es als “Pro Search” oder “Deep Research”. Aber wie effektiv sind diese Angebote in der Praxis? Ein neuer Bericht von FutureSearch, mit dem Titel Deep Research Bench (DRB): Bewertung von Web-Forschungsagenten, bietet die strengste Bewertung bis dato – und die Ergebnisse zeigen sowohl beeindruckende Fähigkeiten als auch kritische Schwächen.

Was ist Deep Research Bench?

Erstellt vom FutureSearch-Team, ist Deep Research Bench ein sorgfältig konstruiertes Benchmark, das die Leistung von KI-Agenten bei mehrschrittigen, webbasierten Forschungsaufgaben bewertet. Diese sind keine einfachen Fragen mit geradlinigen Antworten – sie spiegeln die chaotischen, offenen Herausforderungen wider, denen Analysten, Politiker und Forscher in realen Umgebungen gegenüberstehen.

Das Benchmark umfasst 89 unterschiedliche Aufgaben in 8 Kategorien, wie z.B.

• Finde Zahl: z.B. “Wie viele Rückrufe von FDA-Klasse-II-Medizinprodukten gab es?”
• Überprüfe Behauptung: z.B. “Ist ChatGPT 10-mal energieintensiver als Google Search?”
• Erstelle Datensatz: z.B. “Jobtrends für US-Software-Entwickler von 2019-2023”

Jeder Aufgabentyp ist sorgfältig strukturiert mit menschlich überprüften Antworten und wird unter Verwendung eines eingefrorenen Datensatzes von gescreapten Webseiten, bekannt als RetroSearch, bewertet. Dies stellt Konsistenz bei der Modellbewertung sicher und vermeidet den fluktuierenden Zustand des Live-Webs.

Die Agenten-Architektur: ReAct und RetroSearch

Im Herzen von Deep Research Bench liegt die ReAct-Architektur, kurz für “Reason + Act”. Diese Methode ahmt die Art und Weise nach, wie ein menschlicher Forscher ein Problem angehen könnte – indem er über die Aufgabe nachdenkt, eine Aktion wie eine Web-Suche durchführt, die Ergebnisse beobachtet und dann entscheidet, ob er iterieren oder abschließen soll.

Während frühere Modelle diese Schleife explizit befolgen, strömen neuere “denkende” Modelle den Prozess oft ein, indem sie die Argumentation flüssiger in ihre Aktionen einbetten. Um Konsistenz bei der Bewertung zu gewährleisten, führt DRB RetroSearch ein – eine benutzerdefinierte, statische Version des Webs. Anstatt auf das Live-Internet zu vertrauen, das ständig ändert, greifen die Agenten auf ein kuratiertes Archiv von Webseiten zu, die mit Tools wie Serper, Playwright und ScraperAPI gescreapet wurden. Der Umfang ist beeindruckend: für komplexe Aufgaben wie “Beweise sammeln” kann RetroSearch Zugang zu über 189.000 Seiten bieten, die alle eingefroren sind, um eine faire und reproduzierbare Testumgebung zu gewährleisten.

Welche KI-Agenten sind am besten?

Unter all den Teilnehmern stellte sich OpenAI’s o3 als der beste Leistungsträger heraus, mit einer Punktzahl von 0,51 von möglichen 1,0 im Deep Research Bench. Obwohl dies bescheiden klingen mag, ist es wichtig zu verstehen, dass die Benchmark schwierig ist: aufgrund von Unklarheiten in der Aufgabendefinition und der Bewertung würde sogar ein makelloses Modell wahrscheinlich nur etwa 0,8 erreichen – was Forscher als “Rauschdecke” bezeichnen. Mit anderen Worten: selbst die besten Modelle heute fallen noch hinter gut informierten, methodischen menschlichen Forschern zurück.

Trotzdem bietet die Rangliste aufschlussreiche Einblicke. o3 führte nicht nur das Feld an, sondern tat dies auch mit Geschwindigkeit und Konsistenz, indem es starke Leistungen in fast allen Aufgabentypen zeigte. Claude 3.7 Sonett von Anthropic folgte dicht dahinter, indem es Vielseitigkeit in seinen “denkenden” und “nicht-denken” Modi demonstrierte. Gemini 2.5 Pro, Google’s Flaggschiff-Modell, ragte durch seine Fähigkeit heraus, Aufgaben zu bewältigen, die strukturierte Planung und schrittweises Denken erforderten. Währenddessen lieferte das offene DeepSeek-R1 eine angenehme Überraschung – es hielt mit GPT-4 Turbo Schritt und verringerte die Leistungsunterschiede zwischen offenen und geschlossenen Modellen.

Über die gesamte Bandbreite hinweg zeigte sich ein klares Muster: neuere, “denkfähige” Modelle übertrafen ihre älteren Gegenstücke ständig, und geschlossene Modelle behielten einen deutlichen Vorsprung gegenüber offenen Alternativen.

Wo haben die Agenten Schwierigkeiten?

Das Durchlesen der Fehlermuster, die im Deep Research Bench-Bericht hervorgehoben werden, fühlte sich überraschend vertraut an. Eines der frustrierendsten Aspekte, die ich persönlich erlebt habe – besonders während langer Forschungs- oder Content-Erstellungssitzungen – ist, wenn ein KI-Agent einfach vergisst, was wir taten. Wenn das Kontextfenster sich ausdehnt, beginnt das Modell oft, den Faden zu verlieren: wichtige Details verblassen, Ziele werden verwirrt und plötzlich fühlen sich die Antworten unzusammenhängend oder ziellos an. Irgendwann habe ich gelernt, dass es oft besser ist, die Verluste zu begrenzen und von vorne zu beginnen, auch wenn es bedeutet, alles, was bisher generiert wurde, wegzuschmeißen.

Diese Vergesslichkeit ist nicht nur anekdotisch – sie ist der bedeutendste Prädiktor für Misserfolg in der Deep Research Bench-Bewertung. Aber es ist nicht das einzige wiederkehrende Problem. Der Bericht hebt auch hervor, wie einige Modelle in wiederholter Werkzeugverwendung gefangen sind, dieselbe Suche immer wieder durchführen, als ob sie in einer Schleife stecken. Andere zeigen eine schlechte Abfragekonstruktion, indem sie schlampig Schlüsselwörter abgleichen, anstatt kritisch über die effektive Suche nachzudenken. Und viel zu oft fallen Agenten Opfer von vorzeitigen Schlussfolgerungen – sie liefern eine halbgefertigte Antwort, die zwar formal die Kriterien erfüllt, aber der echten Erkenntnis entbehrt.

Selbst unter den Top-Modellen sind die Unterschiede auffallend. GPT-4 Turbo zeigte beispielsweise eine bemerkenswerte Tendenz, vorherige Schritte zu vergessen, während DeepSeek-R1 eher dazu neigte, zu halluzinieren oder plausibel klingende, aber falsche Informationen zu erfinden. Über die gesamte Bandbreite hinweg versagten Modelle häufig, Quellen zu überprüfen oder Ergebnisse zu validieren, bevor sie ihre Ausgabe finalisierten. Für jeden, der auf KI für ernsthafte Arbeit angewiesen ist, werden diese Probleme allzu vertraut sein – und sie unterstreichen, wie weit wir noch von der Entwicklung von Agenten entfernt sind, die wirklich denken und forschen können wie Menschen.

Was ist mit der leistungsbezogenen Speicherung?

Interessanterweise bewertete Deep Research Bench auch, was es “werkzeuglose” Agenten nennt – Sprachmodelle, die ohne Zugang zu externen Werkzeugen wie Web-Suche oder Dokumentenabruf arbeiten. Diese Agenten verlassen sich ausschließlich auf ihre internen Trainingsdaten und Speicher, um Antworten zu generieren, die allein auf dem basieren, was sie während des Trainings gelernt haben. In der Praxis bedeutet dies, dass sie nichts nachschlagen oder überprüfen können – sie raten auf der Grundlage dessen, was sie “wissen”.

Überraschenderweise zeigten diese werkzeuglosen Agenten fast die gleiche Leistung wie vollwertige Forschungsagenten bei bestimmten Aufgaben. Beispielsweise erreichten sie bei der Aufgabe “Behauptung überprüfen” – bei der es darum geht, die Plausibilität einer Aussage zu bewerten – eine Punktzahl von 0,61, was nahezu der Durchschnittspunktzahl von 0,62 der werkzeuggestützten Agenten entspricht. Dies deutet darauf hin, dass Modelle wie o3 und Claude starke interne Präferenzen haben und oft die Wahrhaftigkeit gemeinsamer Behauptungen erkennen können, ohne das Internet durchsuchen zu müssen.

Aber bei anspruchsvolleren Aufgaben – wie “Zahl ableiten”, die das Zusammensetzen mehrerer Werte aus verschiedenen Quellen erfordert, oder “Beweise sammeln”, die das Finden und Bewerten vielfältiger Fakten im Kontext erfordern – brachen diese werkzeuglosen Modelle völlig zusammen. Ohne frische Informationen oder Echtzeit-Suchfunktionen fehlten ihnen einfach die Mittel, um genaue oder umfassende Antworten zu liefern.

Dieser Kontrast unterstreicht eine wichtige Nuance: während heutige LLMs “Wissen” simulieren können, hängt tiefe Forschung nicht nur von Erinnerung ab, sondern auch von der Argumentation mit aktuellen, überprüfbaren Informationen – etwas, das nur werkzeuggestützte Agenten wirklich liefern können.

Schlussgedanken

Der DRB-Bericht macht eines klar: während die besten KI-Agenten von heute auf eng definierten Aufgaben die Durchschnittsleistung von Menschen überbieten können, fallen sie hinter geschickten, allgemein ausgebildeten Forschern zurück – besonders wenn es um strategische Planung, Anpassung während des Prozesses und nuanciertes Denken geht.

Diese Lücke wird besonders offensichtlich während langer oder komplexer Sitzungen – etwas, das ich selbst erlebt habe, wo ein Agent allmählich den Zweck der Aufgabe verliert, was zu einem frustrierenden Zusammenbruch der Kohärenz und Nützlichkeit führt.

Was Deep Research Bench so wertvoll macht, ist, dass es nicht nur oberflächliches Wissen testet – es untersucht die Schnittstelle von Werkzeugverwendung, Speicher, Argumentation und Anpassung, was ein näheres Analogon zur realen Forschung bietet als Benchmarks wie MMLU oder GSM8k.

Da LLMs weiter in die ernsthafte Wissensarbeit integriert werden, werden FutureSearch-Tools wie DRB unerlässlich sein, um nicht nur zu bewerten, was diese Systeme wissen, sondern auch, wie gut sie tatsächlich funktionieren.

auf Werkzeugverwendung, Speicher, Argumentation und Anpassung, was ein näheres Analogon zur realen Forschung bietet als Benchmarks wie MMLU oder GSM8k. Da LLMs weiter in die ernsthafte Wissensarbeit integriert werden, werden FutureSearch-Tools wie DRB unerlässlich sein, um nicht nur zu bewerten, was diese Systeme wissen, sondern auch, wie gut sie tatsächlich funktionieren, auf Werkzeugverwendung, Speicher, Argumentation und Anpassung, was ein näheres Analogon zur realen Forschung bietet als Benchmarks wie MMLU oder GSM8k. Als LLMs weiter in die ernsthafte Wissensarbeit integriert werden, werden FutureSearch-Tools wie DRB unerlässlich sein, um nicht nur zu bewerten, was diese Systeme wissen, sondern auch, wie gut sie tatsächlich funktionieren.