KI-Modelle und Plattformen
OpenAI stellt MedChemBench für das Schlussfolgern in der Medizinalchemie vor

Wichtige PunkteMedChemBench zeigt eine Lücke zwischen der Rekonstruktion von Molekülen und der…
Mehr anzeigen
- MedChemBench zeigt eine Lücke zwischen der Rekonstruktion von Molekülen und der Auswahl, welche Verbindungen weiterentwickelt werden sollen.
- GPT-6 Astra erhielt 95,37 % der Gutschrift für Molekülstrukturen, aber nur 50,42 % für Ranking und Kandidatenauswahl.
- OpenAI räumt ein, dass der Benchmark nahe der Sättigung ist und nicht zeigen kann, dass Modelle reale Entscheidungen in der Arzneimittelentdeckung verbessern.
OpenAI stellte MedChemBench, einen Benchmark für die Medizinalchemie mit 99 Aufgaben, am 20. November 2026 vor und berichtete, dass GPT-6.2 Astra bei der Einstellung xhigh für den Denkaufwand 84,5 % der erreichbaren Punkte erzielte. Der Benchmark prüft, ob Modelle molekulare Strukturen mit experimentellen Befunden verknüpfen können, um Ergebnisse zu erklären, Verbindungen zu vergleichen und Eigenschaften vorherzusagen.
Die weiteren gemeldeten Ergebnisse bei xhigh lagen bei 83,3 % für GPT-6 Astra, 82,0 % für GPT-6.1 Sol und 58,2 % für GPT-5.6 Sol. Der Benchmark untersucht eine zentrale Schwierigkeit der Medizinalchemie: Eine Verbindung kann zwar gegen ein krankheitsrelevantes Protein wirksam sein, aber schlecht resorbiert werden oder zu schnell metabolisiert werden. Bei der Auswahl des nächsten Prüfkandidaten müssen daher konkurrierende Eigenschaften gegeneinander abgewogen werden, statt nur einen Messwert zu optimieren.
Wie MedChemBench Aufgaben erstellt und bewertet
Der Fachartikel beschreibt eine retrospektive Aufgabensammlung aus 117 Fachartikeln und Patenten mit insgesamt 761 unterschiedlichen bewerteten Molekülstrukturen. Die Prompts enden in der Regel an einem ausgewählten Entscheidungspunkt eines Forschungsprogramms und enthalten den biologischen Kontext, frühere Verbindungen sowie ausgewählte experimentelle Befunde. Spätere Ergebnisse werden zurückgehalten und zur Erstellung von Referenzantworten und Bewertungskriterien herangezogen.
Die Aufgaben decken in sieben Kategorien die präklinische Arzneimittelforschung ab, nicht jedoch die klinische Entwicklung. Dazu gehören die integrierte Auswahl von Leitstrukturen mit 48 Aufgaben, die Vorhersage von Struktur-Wirkungs-Beziehungen mit 26 Aufgaben sowie kleinere Gruppen zu ADME (Resorption, Verteilung, Metabolismus und Ausscheidung) und Wirkstoffverabreichung, Moleküldesign und systematischer Molekülgenerierung, Sicherheit und unerwünschten Eigenschaften, Retrosynthese sowie Assay-Biologie und Wirkmechanismus. 85 Aufgaben erstrecken sich über mehr als einen wissenschaftlichen Inhaltsbereich. Das spiegelt wider, dass die Wahl einer Leitstruktur gleichzeitig von Wirksamkeit, Selektivität, Zellassays, Metabolismus, Wirkstoffexposition und Sicherheit abhängen kann.
In einer Aufgabe zu PRMT5, einem Protein, das in der Krebsmedikamentenforschung untersucht wird, sollen die Modelle drei verwandte Verbindungen rekonstruieren und ihre zelluläre Wirksamkeit, Permeabilität, ihren Efflux sowie ihre Clearance in menschlichen Mikrosomen vorhersagen. Die zurückgehaltenen Ergebnisse veranschaulichen den Zielkonflikt: Verbindung 23 war in Zellen wirksamer, während Verbindung 24 eine Zellbarriere leichter passierte und in einem Leberenzymassay langsamer abgebaut wurde.
Die Bewertung kombiniert deterministische Prüfungen mit von Modellen bewerteten Kriterienrastern. Auf die molekulare Struktur und die wissenschaftliche Begründung entfallen 37,49 % beziehungsweise 35,78 % der erreichbaren Punkte; Rangfolge und Auswahl von Kandidaten machen 17,51 % aus, numerische oder kategorische Vorhersagen 8,92 %. Bei Strukturen wandelt RDKit eingereichte SMILES – eine Textdarstellung molekularer Graphen – in eine kanonische isomere Form um und erhält dabei Stereochemie und Isotope. Numerische Vorhersagen erhalten in der Regel Teilpunkte auf Grundlage des Fehlerfaktors. Ein separater GPT-6-Astra-Bewerter mit mittlerem Denkaufwand bewertet die Kriterien zur wissenschaftlichen Begründung mit null, der Hälfte oder der vollen Punktzahl.
Ergebnisse nach Komponenten und Strukturfehler
Für 11 GPT-Modelle und 61 Modell-Aufwand-Kombinationen berichtet der Fachartikel von 60.390 bewerteten Antworten, wobei für jede Aufgabe in jeder Kombination zehn Antworten berücksichtigt wurden. GPT-6.2 Astra gehört nicht zu diesen 11 Modellen; sein Ergebnis stammt aus der Ankündigung.
Für xhigh berichtet der Fachartikel, dass GPT-6 Astra 95,37 % der erreichbaren Punkte für molekulare Strukturen und 91,05 % für die wissenschaftliche Begründung erzielte. Für Rangfolge und Kandidatenauswahl waren es dagegen 50,42 %, für numerische Vorhersagen 47,02 %. Die Komponenten beziehen sich auf unterschiedliche einschlägige Aufgaben und Bewertungsregeln. Die Ergebnisse zeigen jedoch einen deutlichen Unterschied zwischen starker Rekonstruktion und Erklärung einerseits und schwächerer Verbindungswahl und quantitativer Prognose andererseits.
Eine im Fachartikel beschriebene Rekonstruktionsaufgabe macht die strukturellen Unterschiede anschaulich. Die Modelle mussten ausgehend von einer zentralen Struktur und zwei daran gebundenen Gruppen ein Molekül zusammensetzen und dabei einen Ring aus 18 Atomen erhalten. GPT-6 Astra erzeugte in allen zehn Antworten bei xhigh die korrekte Verbindung, während GPT-5.6 Sol und GPT-5.6 Luna in allen ihren jeweils zehn Antworten scheiterten. Die abgebildete Antwort von Sol enthielt einen Ring aus 15 Atomen, während Luna zwei nicht miteinander verbundene Fragmente lieferte. Solche Fehler verändern die Identität des Moleküls, noch bevor überhaupt Eigenschaften beurteilt werden.
Grenzen und vorgeschlagene Erweiterungen
OpenAI erklärt, dass die Ergebnisse nicht belegen, ob Modelle neue Medikamente entdecken oder Entscheidungen im Labor verbessern können. Jede Antwort war ein einzelner Versuch ohne Werkzeuge, Rückmeldungen oder neue Experimente, und die Aufgaben stützen sich auf historische Befunde statt auf prospektive Wirkstoffentdeckung. Auch lässt sich nicht ausschließen, dass die Modelle zuvor den veröffentlichten Quellen ausgesetzt waren.
Als heuristische Prüfung fügten die Autoren bei neun Modellen mit xhigh allen 99 Prompts die DOI- oder Patentkennungen der Quellen hinzu. Die mittleren Änderungen der Gesamtpunktzahl reichten von einem Rückgang um 0,23 Prozentpunkte bis zu einem Anstieg um 0,80 Punkte, und jedes modellspezifische 95%-Konfidenzintervall schloss null ein. Mit dieser Prüfung lässt sich nicht feststellen, ob Quellmaterial in den Trainingsdaten enthalten war.
Der Fachartikel beschreibt MedChemBench in seiner derzeitigen Form als nahezu gesättigt und merkt an, dass die Bewertung offener Entwürfe und Synthesen teilweise weiterhin an Referenzantworten gebunden ist, wodurch plausible Alternativen möglicherweise benachteiligt werden. Zu den vorgeschlagenen Erweiterungen gehören prospektive Fälle, die Begutachtung alternativer Antworten durch Fachleute, eine ausdrückliche Berücksichtigung der Unsicherheit von Assays sowie eine agentenbasierte Variante, die Abruf, Berechnungen, Strukturüberprüfung und mehrstufige Überarbeitung ermöglicht.
MedChemBench trennt daher das chemische Verständnis von der nachgewiesenen Wirkung auf die Arzneimittelentwicklung. Die besten Ergebnisse erzielen die Modelle bei der Rekonstruktion und Erklärung feststehender historischer Problemstellungen, während sie bei der Auswahl von Verbindungen und numerischen Prognosen zurückliegen. Die vorgeschlagenen prospektiven und agentenbasierten Evaluationen gehen der daraus entstehenden offenen Frage nach: Können Modelle bessere Forschungsentscheidungen treffen, wenn sie über mehrere Schritte hinweg Belege zusammentragen, Eigenschaften berechnen und ihre Antworten überarbeiten müssen?












