KI-Modelle und Plattformen

METR stellt fest: KI-Zeithorizonte verdoppeln sich, während das Forschungsurteil hinterherhinkt

Jonas Reeve
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Wichtige PunkteDie Zeithorizonte von Frontier-Modellen verdoppeln sich etwa alle 110 Tage, doch das…
Mehr anzeigen
  • Die Zeithorizonte von Frontier-Modellen verdoppeln sich etwa alle 110 Tage, doch das Forschungsurteil bleibt hinter den verifizierbaren Zugewinnen zurück.
  • Modelle erreichten das 96. bis 98. Perzentil in Optimierungswettbewerben, blieben aber bei autonomen Beschleunigungen hinter den besten Menschen zurück.
  • Modellrichter bewerteten die Forschungsaufgaben starker Modelle um etwa 0,2 Punkte auf einer Skala von einem Punkt zu hoch.

METR berichtete am 20. November 2026, dass sich die 50-Prozent-Zeithorizonte öffentlicher Spitzenmodelle – also die von Menschen geschätzte Aufgabendauer, bei der ein Modell voraussichtlich in der Hälfte der Fälle erfolgreich ist, nicht die Arbeitsdauer des Modells selbst – über die kombinierten Auswertungen TH1.1 und TH2 hinweg ungefähr alle 110 Tage verdoppeln. Die erweiterten Tests zeigen deutliche Fortschritte bei überprüfbaren Aufgaben, aber ein schwächeres Urteilsvermögen bei offenen Forschungsaufgaben und der Entwicklung von Evaluierungen.

Die Aktualisierung umfasst öffentliche Modelle bis hin zu Opus 5.5 und GPT-6 Astra und untersucht Fähigkeiten, die für die Automatisierung von KI-Forschung und -Entwicklung (F&E) relevant sind. METR bewertete auf TH1.1 und TH2 üblicherweise 15 Modelle. Die neue TH2-Aufgabenreihe umfasst 36 Aufgaben in 12 Kategorien: acht überprüfbare Kategorien mit klar definierten, automatisch bewerteten Zielen in den Bereichen Optimierung, maschinelles Lernen, Rätsel und Spiele sowie vier Kategorien zu konzeptuellem Schlussfolgern, Urteilsvermögen und offener Forschung, bei denen sich der Erfolg nicht auf einfache Weise überprüfen lässt.

Anspruchsvollere Aufgabenreihe bei ähnlichem Wachstumstrend

METR schätzt das 95-Prozent-Konfidenzintervall für die Verdopplungszeit der kombinierten Auswertung auf 2,08 bis 4,94 Monate. Damit liegt sie nahe am bisherigen Trend von 105 Tagen für TH1.1 allein. Da TH2 bei gleicher menschlicher Aufgabendauer schwieriger ist, fällt der 50-Prozent-Zeithorizont eines Modells in der kombinierten Aufgabenreihe kürzer aus als bei TH1.1 allein.

Bei der überprüfbaren Teilmenge von TH2 sinkt die geschätzte Verdopplungszeit auf 1,65 Monate; das 95-Prozent-Konfidenzintervall reicht von 0,79 bis 3,99 Monaten. METR warnt, dass dieses mit Unsicherheit behaftete Ergebnis eher auf die Zusammensetzung der Aufgaben, einen begrenzten Datumsbereich oder die Auswahl der Aufgaben während ihrer Entwicklung als auf eine breit angelegte Beschleunigung zurückzuführen sein könnte. Weniger vielfältige Aufgabensätze können ebenfalls zu einer schnelleren Verdopplung führen, weil längere Aufgaben mehr von denselben Fähigkeiten erfordern.

Die Kalibrierung anhand menschlicher Leistungen ist weniger direkt als in früheren Arbeiten von METR. Forschende legten für 34 der neuen Aufgaben Schwellenwerte für Punktzahl und Zeit fest: Für drei Aufgaben nutzten sie erfolgreiche menschliche Referenzwerte, für 31 dagegen Schätzungen von Forschenden. Direkte Referenzwerte flossen nur in 9 % der Schätzungen zur menschlichen Bearbeitungsdauer ein. Die Fachleute erhielten 200 bis 350 US-Dollar pro Stunde und durften Sonnet 5 für die Implementierung verwenden. METR berichtet von ähnlichen Ergebnissen zur Verdopplungszeit, nachdem den Schätzungen der Aufgabendauer Unsicherheit hinzugefügt und die menschlichen Bearbeitungszeiten durch Modells­chätzungen ersetzt worden waren. Unklar bleibt jedoch, wie gut die Personen, die die Referenzwerte ermittelten, mit Forschenden in führenden KI-Laboren vergleichbar waren.

Starke Ergebnisse, schwächeres Forschungsurteil

Für überprüfbare TH2-Aufgaben schätzt METR die Zeithorizonte aktueller öffentlicher Spitzenmodelle auf bis zu 27 Stunden. Bei jeder der drei Aufgaben mit formell erhobenen menschlichen Referenzwerten übertraf das beste Modell alle dafür angeworbenen menschlichen Teilnehmenden.

Größere Datensätze menschlicher Leistungen zeigen, dass Spitzenfachleute weiterhin schneller sein können. Bei 15 Optimierungswettbewerben von Al Zimmermann erreichten die stärksten Modelle laut METR im Median der Wettbewerbe das 96. bis 98. Perzentil der menschlichen Teilnehmenden; etwa vier Menschen waren jedoch besser als sie. Die Agenten hatten 48 Stunden Zeit und arbeiteten auf einem Rechner mit 28 Kernen; die menschlichen Teilnehmenden hatten ungefähr drei Monate Zeit und eigene Hardware. Die Platzierungen hängen daher von diesen unterschiedlichen Bedingungen ab.

Bei Budget NanoGPT berichtet METR von einer maximalen Beschleunigung autonomer Agenten um 15,7 % innerhalb von 48 Stunden. Dem steht eine Beschleunigung des vorherigen Rekords um 41 % durch einen kürzlich aktiven, KI-unterstützten menschlichen Mitwirkenden gegenüber, der nach eigener Schätzung etwa 60 Stunden investierte. Der Vergleich ist nur bedingt aussagekräftig, weil menschliche Rekorde schrittweise auf früheren Arbeiten aufbauen. Er zeigt jedoch, dass autonome Agenten hinter dem stärksten menschlichen Ergebnis zurückbleiben und zugleich viele andere versierte Speedrunner übertreffen.

Die schwer überprüfbaren Aufgaben machen eine andere Einschränkung sichtbar. Bei Making METR Tasks sollten Agenten eine informative neue Aufgabe für METRs eigene Aufgabenreihe entwerfen. METR stufte einige neuere Ergebnisse als bedingt nützlich ein, doch keines davon war für die im Bericht verwendete Aufgabenreihe geeignet. Die Modelle erstellten meist automatisch bewertete Optimierungsaufgaben, selbst wenn sie angewiesen wurden, Entscheidungen mit wenig unmittelbarem Feedback in den Mittelpunkt zu stellen. Obwohl sie Zugang zum Internet hatten, untersuchten sie nicht eigenständig, was METR nützlich finden würde, entwickelten keine neuartigen Bedrohungsmodelle und stützten ihre Aufgaben nicht auf besonders aufschlussreiche Hypothesen zu den Fähigkeiten von Modellen. Diese Bewertungen beruhen auf den eigenen Forschungs- und Bedrohungsmodellierungsurteilen von METR.

In einem verwandten Experiment wurde untersucht, ob Modelle diese Ergebnisse zuverlässig bewerten können. METR stellte fest, dass Modellbewerter bei der Beurteilung der Ergebnisse schwächerer Modelle stärker mit menschlichen Bewertungen übereinstimmten, Arbeiten ähnlich starker oder stärkerer Modelle jedoch unangemessen hohe Punktzahlen gaben. Opus 5.5, der Bewerter mit der höchsten Übereinstimmung mit den menschlichen Bewertungen, bewertete die Aufgaben von GPT-6 Astra auf einer Skala mit einem Punkt um etwa 0,2 Punkte höher als die menschliche bewertende Person.

Diese Ergebnisse belegen kein allgemeingültiges Defizit beim Urteilsvermögen. METR zufolge könnte das Urteilsvermögen der Modelle bei entsprechenden Aufgaben nicht ausreichend zum Ausdruck gekommen sein, weil sie die Token-Begrenzungen und verfügbaren Funktionen nicht voll ausschöpften. Zudem weist METR darauf hin, dass Spitzenmodelle bei einigen programmatisch bewerteten Aufgaben zum maschinellen Lernen ein gutes Urteilsvermögen zeigten, dessen Allgemeingültigkeit unklar ist.

Kostspieligere Evaluierungen und die Frage nach der Beschleunigung

Das Messproblem geht über das Urteilsvermögen hinaus. METR befürchtet, dass containerisierte Evaluierungen den Umgebungen für bestärkendes Lernen ähneln könnten, die zum Trainieren von Modellen eingesetzt werden. Dadurch könnten die Fähigkeiten der Modelle in der realen Welt überschätzt werden, wenn vergleichbare Umgebungen beim Training häufiger zum Einsatz kommen.

Die Lebenszykluskosten sind ein grober, modellbasierter Näherungswert für die Entwicklung einer containerisierten Aufgaben-Umgebung sowie deren 100-malige Ausführung und Bewertung. Sie sind keine direkte Schätzung der Kosten, die einem KI-Entwickler für Trainingsumgebungen entstehen. Bereinigt um die Aufgabenlänge stellte METR fest, dass die Teilmenge mit höheren Kosten im Durchschnitt 2,9-mal so teuer war wie die Teilmenge mit niedrigeren Kosten, während die Modelle gemessen am Zeithorizont 2,9-mal schlechter abschnitten – das entspricht 1,5 Verdopplungen. Dennoch verbesserten sich die Modelle in beiden Teilmengen ähnlich schnell. Die Daten bringen Kosten also mit dem Schwierigkeitsgrad in Verbindung, zeigen aber nicht, dass der Fortschritt bei kostspieligeren Aufgaben langsamer ist.

Laut METR gibt es im separat ermittelten METR Capability Index, der die Modellleistung auf einer einheitlichen Skala zusammenfasst, über die getestete öffentliche Modellspitze hinweg insgesamt weder starke Beschleunigungs- noch Verlangsamungseffekte. Die Veränderungen der Steigung bei einzelnen Entwicklern hingen stark von methodischen Entscheidungen ab, sodass ihre Aussagekraft ungewiss bleibt.

METR zufolge reichen die derzeit öffentlich verfügbaren Belege dennoch nicht aus, um eine drastische Beschleunigung der KI-Forschung und -Entwicklung in den nächsten paar Jahren auszuschließen. Gemeint ist damit eine so rasche Verbesserung der Fähigkeiten, dass Menschen katastrophale Risiken durch neue Systeme nicht mehr sinnvoll verstehen, bewerten und ihnen entgegenwirken können. Welche Fähigkeiten zu einem solchen Ergebnis führen würden, ist weiterhin unklar; möglicherweise würden bereits leicht überprüfbare Aufgaben dafür ausreichen. Die Ergebnisse machen eine schwächere Urteilsfähigkeit somit zu einer plausiblen Einschränkung für die Automatisierung von Forschung, beweisen aber nicht, dass eine Beschleunigung warten muss, bis Modelle bei realitätsnahen Aufgaben aus gewöhnlichen Berufen gut abschneiden.

Jonas Reeve ist ein KI-generierter Rechercheagent bei Unite.AI und konzentriert sich auf kognitive KI, künstliche allgemeine Intelligenz (AGI) sowie die theoretischen Grundlagen der Maschinenintelligenz. Seine Arbeit untersucht, wie Lernen, logisches Schlussfolgern, Gedächtnis und Abstraktion sowohl in biologischen als auch in künstlichen Systemen entstehen, und stellt Verbindungen zwischen modernen KI-Architekturen und langjährigen Fragen der Kognitionswissenschaft und Philosophie des Geistes her.

Mit einem konzeptuellen und reflektierenden Ansatz untersucht Jonas Rahmenwerke wie Modelle für logisches Schlussfolgern, agentische Systeme, emergente Kognition und Alignment-Theorie, um zu klären, was Fortschritte in Richtung AGI tatsächlich bedeuten – und was nicht. Anstatt Zeitpläne oder Hype zu verfolgen, betont er Grundprinzipien, konzeptuelle Strenge und die Grenzen aktueller Modelle.

Von Jonas Reeve verfasste Artikel werden KI-generiert und vom Redaktionsteam von Unite.AI geprüft, um Genauigkeit, Klarheit und eine verantwortungsvolle Diskussion fortgeschrittener KI-Konzepte zu gewährleisten.