KI-Modelle und Plattformen
OpenAI stellt BioBasicsBench vor, um KI-Agenten mit Daten aus Nasslaborexperimenten zu testen
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
OpenAI stellte BioBasicsBench vor – einen am 6. November 2026 veröffentlichten Benchmark mit 100 Aufgaben, der gemeinsam mit dem auf Enzymdesign spezialisierten Unternehmen Ligo entwickelt wurde, um zu testen, ob KI-Agenten Rohdaten aus routinemäßigen Nasslaborexperimenten interpretieren können.
OpenAI gibt die Ergebnisse als mittlere Belohnung an: die durchschnittliche Aufgabenpunktzahl, ausgedrückt als Prozentsatz der erreichbaren Punkte. Bei xhigh, der höchsten für alle sieben getesteten Modelle ausgewiesenen Stufe des Denkaufwands, erreichte GPT-6 Astra 66,7 % bei einem 95-%-Konfidenzintervall von 60,3–73,1 %, während GPT-5.6 Sol auf 43,8 % mit einem Intervall von 37,6–50,0 % kam. Astra gab durchschnittlich 4.704 Tokens pro Aufgabe aus, verglichen mit 9.099 bei Sol.
Entwickelt auf Grundlage routinemäßiger experimenteller Daten
BioBasicsBench greift eine Einschränkung auf, die OpenAI bei Evaluierungen sieht, die auf Diagrammen und Bildern aus wissenschaftlichen Fachartikeln beruhen: Zur alltäglichen Laborarbeit gehören auch fehlgeschlagene Experimente, mehrdeutige Bilder, widersprüchliche Beobachtungen und Fehlersuche. Bei den Aufgaben sollen Agenten experimentelle Daten interpretieren, Fehler erkennen und feststellen, wann die Belege keine Schlussfolgerung rechtfertigen. Die Aufgaben decken Proteinmethoden, Bildgebung und Durchflusszytometrie, Quantifizierung und Assays, Nukleinsäuremethoden sowie molekulares Klonieren ab.
Wissenschaftler entwickelten die Aufgaben auf Grundlage ihrer eigenen Experimente und verfassten Bewertungsrubriken. Zu den Eingaben gehören Gel- und Blotbilder, Bakterienkolonien auf Agarplatten, Mikroskopie-Bildstapel, Sequenzierungs-Reads, Exporte aus Plattenlesegeräten, Fotos vom Labortisch und Videos von Versuchsprotokollen. Einzelne Aufgaben können mehrere Arten von Belegen und ergänzende Referenzblätter kombinieren, etwa Diagramme zu DNA-Größenstandards und Plasmidkarten. Die Agenten liefern strukturierte Schlussfolgerungen, Messwerte oder Empfehlungen. Die Rubriken vergeben Punkte für Elemente wie numerische Ergebnisse, stützende Begründungen und das Erkennen, dass die Belege nicht ausreichen.
Jede Aufgabe wurde zunächst intern von einem Ligo-Wissenschaftler geprüft, der sie nicht verfasst hatte, dann extern von einem promovierten Nasslaborwissenschaftler und schließlich nochmals intern. Bei der abschließenden Prüfung wurden die Aufgabenstellung, die Belege, die Bewertungsrubrik, die Anmerkungen des Verfassers und ein bewerteter Modellversuch berücksichtigt. Die Evaluierung umfasste 37 Kombinationen aus Modell und Denkaufwand. Für jede Kombination wurde jede Aufgabe fünfmal bearbeitet, was insgesamt 18.500 Ergebnisse ergab. Die Konfidenzintervalle wurden durch wiederholtes Ziehen ganzer Aufgabenstichproben berechnet, wobei die fünf Versuche pro Aufgabe jeweils zusammengehalten wurden.
Beispiele für Astras Fortschritte
Bei einer Aufgabe zur Zellbildgebung stufte GPT-5.6 Sol Zellen anhand eines Farbstoffsignals als tot ein. Astra erkannte, dass sich überlappende Nachweisfenster zu einer Störung durch einen zweiten Farbstoff führen könnten, und forderte Kontrollen, mit denen sich die Signale voneinander trennen ließen. Bei einer Aufgabe zum DNA-Klonieren stützte Sol seine Schlussfolgerungen darauf, dass auf einer Negativkontrollplatte keine Kolonien zu sehen waren. Astra bemerkte dagegen, dass die Platte mit Kanamycin statt mit dem im Experiment verwendeten Ampicillin beschriftet war, und verwarf sie als zuverlässige Kontrolle.
Eine weitere Aufgabe zeigte Zellen, die abwechselnd scharf und unscharf erschienen. Sol suchte nach einer biologischen Erklärung für ihr scheinbares Verschwinden, während Astra einen Z-Stapel erkannte, also eine Reihe von Bildern, die in unterschiedlichen Tiefen aufgenommen wurden. OpenAI wertet diese Beispiele als Beleg für einen besseren Umgang mit multimodalen Daten, die Nutzung des experimentellen Kontexts und das Erkennen dessen, was Daten belegen können und was nicht. Sie deuteten außerdem darauf hin, dass leistungsfähigere native multimodale Fähigkeiten für die routinemäßige Analyse von Nasslabordaten wichtig sein könnten.
Wo der Benchmark Fehler aufdeckt
OpenAI mahnt, dass höhere Punktzahlen noch kein verlässliches Urteilsvermögen im Labor bedeuten. Bei einer Aufgabe zur Kolonie-PCR wählte Astra die Spuren 4, 6, 7 und 8 aus, nachdem es angenommen hatte, ein größeres PCR-Produkt weise auf erfolgreiches Klonieren hin. Die Referenzinterpretation wählte hingegen die Spuren 5, 9 und 10 aus. Dieser Fehler würde dazu führen, dass das falsche Plasmid aufgereinigt wird.
Andere Beispiele zeigen, dass richtige Beobachtungen die endgültige Antwort nicht immer bestimmen. Astra verallgemeinerte, dass Vakuolen – Kompartimente innerhalb von Zellen – normalerweise dunkler seien als das umgebende Zellmaterial, obwohl die Vakuolen im selben Bild heller waren. Eine Veränderung der Fokustiefe kann den Kontrast umkehren, und Astras eigene Zwischenbeobachtungen hielten fest, dass der Kontrast je nach Fokus variierte. Bei einer Aufgabe zum Zählen von Kolonien trennte Astra laut OpenAI eng benachbarte Kolonien nicht voneinander, übersah sichtbare Kolonien und markierte leere Bereiche des Agars. Dadurch zählte es im Vergleich zur Benchmark-Referenz etwa 12 % zu viele Kolonien. Bei gleichbleibendem ausplattiertem Volumen und gleicher Verdünnung führt eine solche Überzählung zu einer entsprechend hohen Überschätzung der Effizienz der DNA-Einbringung.
OpenAI zufolge wird die Beobachtung der Weiterentwicklung dieser Fähigkeiten auch in die Bewertung ihrer Folgen für Biosicherheit und biologische Sicherheit einfließen.
Der Maßstab für den praktischen Einsatz liegt daher höher als eine bessere Gesamtpunktzahl: Ein Agent muss genaue Beobachtungen in seine Schlussfolgerung einfließen lassen, Kontrollen überprüfen und Schlussfolgerungen zurückhalten, die sich durch die Belege nicht stützen lassen. BioBasicsBench macht diese Anforderungen zu konkreten Verbesserungszielen. Die dokumentierten Fehlleistungen zeigen, warum Fortschritte bei der Unterstützung von Laborarbeit weiterhin davon abhängen, die Lücke zwischen der Beobachtung von Belegen und einer fundierten experimentellen Entscheidung zu schließen.
