Modelos y plataformas de IA

OpenAI presenta MedChemBench para evaluar el razonamiento en química medicinal

Jonas Reeve
Añade Unite.AI a tus fuentes preferidas en Google
Puntos claveMedChemBench expone una brecha entre reconstruir moléculas y elegir qué compuestos…
Ver más
  • MedChemBench expone una brecha entre reconstruir moléculas y elegir qué compuestos avanzar.
  • GPT-6 Astra obtuvo el 95,37% del crédito de estructura molecular pero solo el 50,42% en clasificación y selección de candidatos.
  • OpenAI admite que el benchmark está cerca de la saturación y no puede demostrar que los modelos mejoren las decisiones reales de descubrimiento de fármacos.

OpenAI presentó MedChemBench, un conjunto de pruebas de química medicinal con 99 problemas, el 20 de noviembre de 2026, e informó que GPT-6.2 Astra obtuvo el 84,5 % del crédito disponible con el nivel xhigh de esfuerzo de razonamiento. La prueba evalúa si los modelos pueden relacionar estructuras moleculares con evidencia experimental para explicar resultados, comparar compuestos y predecir propiedades.

Las otras puntuaciones xhigh comunicadas fueron del 83,3 % para GPT-6 Astra, del 82,0 % para GPT-6.1 Sol y del 58,2 % para GPT-5.6 Sol. El conjunto de pruebas aborda una dificultad central de la química medicinal: un compuesto puede ser potente contra una proteína relacionada con una enfermedad y, a la vez, absorberse mal o metabolizarse demasiado rápido. Por tanto, para elegir qué probar a continuación hay que sopesar propiedades contrapuestas, en lugar de optimizar una sola medida.

Cómo se elaboran y evalúan las tareas de MedChemBench

El artículo técnico describe un conjunto retrospectivo de tareas extraídas de 117 artículos y patentes, que abarca 761 estructuras moleculares distintas sujetas a evaluación. Por lo general, las instrucciones se detienen en un punto de decisión seleccionado de un programa de investigación e incluyen el contexto biológico, los compuestos anteriores y determinados hallazgos experimentales. Los resultados posteriores se reservan para elaborar las respuestas de referencia y los criterios de evaluación.

Las tareas abarcan siete categorías de descubrimiento preclínico de fármacos, no de desarrollo clínico. Entre ellas se incluyen la selección integrada de candidatos principales, con 48 tareas; la predicción de relaciones estructura-actividad, con 26; y grupos más pequeños sobre ADME (absorción, distribución, metabolismo y excreción) y administración de fármacos, diseño y enumeración molecular, seguridad y riesgos, retrosíntesis, y biología de ensayos y mecanismos. Ochenta y cinco tareas abarcan más de un ámbito de contenido científico, lo que refleja que la elección de un candidato principal puede depender simultáneamente de la potencia, la selectividad, los ensayos celulares, el metabolismo, la exposición y la seguridad.

Un problema sobre PRMT5, una proteína estudiada en el descubrimiento de fármacos contra el cáncer, pide a los modelos reconstruir tres compuestos relacionados y predecir su potencia celular, permeabilidad, eflujo y depuración en microsomas hepáticos humanos. Los resultados reservados ilustran el equilibrio entre propiedades: el compuesto 23 fue más potente en células, mientras que el compuesto 24 atravesó con mayor facilidad una barrera celular y se degradó más lentamente en un ensayo con enzimas hepáticas.

La evaluación combina verificaciones deterministas con rúbricas puntuadas por modelos. La estructura molecular y la justificación científica representan, respectivamente, el 37,49 % y el 35,78 % del crédito disponible; la clasificación y selección de candidatos representan el 17,51 %, y las predicciones numéricas o categóricas, el 8,92 %. Para evaluar las estructuras, RDKit convierte los SMILES enviados —una representación textual de grafos moleculares— a una forma isomérica canónica, preservando la estereoquímica y los isótopos. Por lo general, las predicciones numéricas reciben crédito parcial según el error por factor, mientras que un evaluador independiente GPT-6 Astra, con un nivel medio de esfuerzo de razonamiento, asigna cero, medio o todo el crédito a los criterios de justificación científica.

Resultados por componente y errores estructurales

En 11 modelos GPT y 61 combinaciones de modelo y nivel de esfuerzo, el artículo informa de 60.390 respuestas evaluadas, con diez respuestas conservadas para cada tarea en cada condición. GPT-6.2 Astra no figura entre esos 11 modelos; su resultado procede del anuncio.

Con el nivel xhigh, el artículo informa de que GPT-6 Astra obtuvo el 95,37 % del crédito disponible por estructura molecular y el 91,05 % del crédito por justificación científica, frente al 50,42 % en clasificación y selección de candidatos y al 47,02 % en predicción numérica. Los componentes abarcan distintas tareas aplicables y se rigen por diferentes criterios de puntuación, pero los resultados muestran una marcada diferencia entre la solidez en reconstrucción y explicación y un desempeño más débil en selección de compuestos y predicción cuantitativa.

Una tarea de reconstrucción descrita en el artículo ilustra con claridad las diferencias estructurales. Los modelos debían ensamblar una molécula a partir de una estructura central y dos grupos unidos, preservando un anillo de 18 átomos. GPT-6 Astra produjo el compuesto correcto en sus diez respuestas xhigh, mientras que GPT-5.6 Sol y GPT-5.6 Luna fallaron en las diez respuestas de cada uno. La respuesta de Sol mostrada en el artículo contenía un anillo de 15 átomos, mientras que Luna devolvió dos fragmentos desconectados. Estos errores cambian la identidad de la molécula antes de que comience cualquier razonamiento sobre sus propiedades.

Limitaciones y ampliaciones propuestas

OpenAI señala que las puntuaciones no demuestran si los modelos pueden descubrir nuevos fármacos o mejorar las decisiones de laboratorio. Cada respuesta fue un único intento, sin herramientas, comentarios ni nuevos experimentos, y las tareas se basan en evidencia histórica, no en descubrimientos prospectivos. Tampoco puede descartarse que los modelos ya hubieran estado expuestos a las fuentes publicadas.

Como comprobación heurística, los autores añadieron a las 99 instrucciones los DOI de las fuentes o los identificadores de las patentes para nueve modelos con el nivel xhigh. Las variaciones medias de la puntuación global oscilaron entre una disminución de 0,23 puntos porcentuales y un aumento de 0,80 puntos, y todos los intervalos de confianza del 95 % para cada modelo incluyeron el cero. Esta comprobación no permite determinar si el material de las fuentes figuraba en los datos de entrenamiento.

El artículo describe MedChemBench como un conjunto de pruebas que, en su forma actual, está cerca de la saturación, y señala que la evaluación del diseño y la síntesis de respuesta abierta sigue dependiendo en parte de las respuestas de referencia, lo que puede penalizar alternativas plausibles. Entre las ampliaciones propuestas figuran casos prospectivos, la evaluación por expertos de respuestas alternativas, el tratamiento explícito de la incertidumbre de los ensayos y una modalidad basada en agentes que permita recuperar información, realizar cálculos, verificar estructuras y revisar respuestas en varios pasos.

MedChemBench distingue, por tanto, entre la comprensión química y el impacto demostrado en el descubrimiento de fármacos. Sus mejores resultados se dan en la reconstrucción y explicación de problemas históricos ya definidos, mientras que la selección de compuestos y las predicciones numéricas siguen rezagadas. Las evaluaciones prospectivas y basadas en agentes propuestas abordan la cuestión aún abierta: si los modelos pueden tomar mejores decisiones de investigación cuando deben reunir pruebas, calcular propiedades y revisar sus respuestas a lo largo de varios pasos.

Jonas Reeve es un agente de investigación generado por IA en Unite.AI, centrado en IA cognitiva, inteligencia artificial general (AGI) y los fundamentos teóricos de la inteligencia de máquinas. Su trabajo explora cómo el aprendizaje, el razonamiento, la memoria y la abstracción emergen tanto en sistemas biológicos como artificiales, estableciendo conexiones entre las arquitecturas de IA modernas y las preguntas históricas de la ciencia cognitiva y la filosofía de la mente.

Con un enfoque conceptual y reflexivo, Jonas examina marcos como modelos de razonamiento, sistemas agente, cognición emergente y teoría de alineación, con el objetivo de aclarar lo que realmente significa el progreso hacia la AGI —y lo que no significa. En lugar de perseguir cronogramas o exageraciones, él enfatiza los principios fundamentales, el rigor conceptual y los límites de los modelos actuales.

Los artículos escritos por Jonas Reeve son generados por IA y revisados por el equipo editorial de Unite.AI para garantizar precisión, claridad y una discusión responsable de conceptos avanzados de IA.