OpenAI presenta BioBasicsBench para evaluar agentes de IA con datos de laboratorio húmedo

OpenAI presentó BioBasicsBench el 6 de noviembre de 2026, una prueba de referencia de 100 tareas desarrollada junto con Ligo, una empresa de diseño de enzimas, para evaluar si los agentes de IA pueden interpretar pruebas sin procesar de experimentos rutinarios de laboratorio húmedo.

OpenAI presenta los resultados como recompensa media, es decir, la puntuación promedio de las tareas expresada como porcentaje del crédito disponible. En xhigh, el nivel de esfuerzo de razonamiento más alto informado para los siete modelos evaluados, GPT-6 Astra obtuvo un 66,7 %, con un intervalo de confianza del 95 % de 60,3–73,1 %, mientras que GPT-5.6 Sol obtuvo un 43,8 %, con un intervalo de 37,6–50,0 %. Astra promedió 4.704 tokens de salida por tarea, frente a los 9.099 de Sol.

Basada en pruebas experimentales rutinarias

BioBasicsBench aborda una limitación que OpenAI señala en las evaluaciones basadas en gráficos e imágenes seleccionados para artículos científicos: el trabajo cotidiano de laboratorio también incluye experimentos fallidos, imágenes ambiguas, observaciones contradictorias y resolución de problemas. Sus tareas piden a los agentes que interpreten datos experimentales, detecten errores y reconozcan cuándo las pruebas no permiten justificar una conclusión. Abarcan métodos de análisis de proteínas, obtención de imágenes y citometría, cuantificación y ensayos, métodos de ácidos nucleicos y clonación molecular.

Los científicos crearon las tareas a partir de sus propios experimentos y redactaron las rúbricas de evaluación. Los datos de entrada incluyen imágenes de geles y blots, placas con colonias, series de imágenes de microscopía, lecturas de secuenciación, archivos exportados de lectores de placas, fotografías de laboratorio y videos de protocolos. Algunas tareas combinan varios tipos de pruebas y hojas de referencia complementarias, como tablas de marcadores de tamaño y mapas plasmídicos. Los agentes devuelven conclusiones, mediciones o recomendaciones estructuradas, y las rúbricas otorgan puntos por aspectos como los resultados numéricos, el razonamiento que los respalda y el reconocimiento de que las pruebas son insuficientes.

Cada tarea fue sometida a una revisión interna por parte de un científico de Ligo que no la había redactado, a una revisión externa de un científico con un doctorado y experiencia en laboratorio húmedo, y a una revisión interna final que abarcó la consigna, las pruebas, la rúbrica, las notas del autor y un intento de respuesta de un modelo ya calificado. La evaluación incluyó 37 combinaciones de modelo y nivel de esfuerzo de razonamiento, con cinco intentos por tarea para cada combinación, lo que produjo 18.500 resultados. Los intervalos de confianza se calcularon mediante remuestreo de tareas completas, manteniendo juntos los cinco intentos de cada tarea.

Ejemplos que explican la mejora de Astra

En una tarea de obtención de imágenes celulares, GPT-5.6 Sol clasificó las células como muertas basándose en la señal de un tinte. Astra reconoció que la superposición de las ventanas de detección podía permitir la interferencia de un segundo tinte y pidió controles que permitieran separar las señales. En una tarea de clonación de ADN, Sol basó sus conclusiones en que no había colonias en una placa de control negativo, mientras que Astra advirtió que la placa estaba etiquetada para kanamicina y no para la ampicilina utilizada en el experimento, y la descartó como control fiable.

Otra tarea mostraba células que entraban y salían del plano de enfoque. Sol buscó una explicación biológica para su aparente desaparición, mientras que Astra identificó una pila Z, es decir, una serie de imágenes capturadas a distintas profundidades. OpenAI interpreta estos ejemplos como pruebas de una mejor capacidad para procesar distintos tipos de datos, utilizar el contexto experimental y reconocer qué pueden y qué no pueden demostrar los datos; también los considera indicios de que unas capacidades multimodales nativas más avanzadas podrían ser importantes para el análisis rutinario de laboratorio húmedo.

Dónde la prueba de referencia pone al descubierto fallos

OpenAI advierte que las puntuaciones más altas todavía no equivalen a un criterio de laboratorio fiable. En una tarea de PCR de colonias, Astra eligió los carriles 4, 6, 7 y 8 tras suponer que un producto de PCR más grande indicaba una clonación satisfactoria; la interpretación de referencia seleccionó los carriles 5, 9 y 10. Ese error llevaría a purificar el plásmido equivocado.

Otros ejemplos muestran que las observaciones correctas no siempre determinan la respuesta final. Astra generalizó que las vacuolas, compartimentos dentro de las células, suelen ser más oscuras que el material celular circundante, pese a que en la misma imagen aparecían vacuolas más claras. Los cambios en la profundidad focal pueden invertir el contraste, y las propias observaciones intermedias de Astra señalaban que el contraste variaba con el enfoque. En una tarea de recuento de colonias, OpenAI informa que Astra no logró separar colonias muy próximas, pasó por alto colonias visibles y marcó zonas vacías del agar, lo que produjo un recuento aproximadamente un 12 % superior al de la referencia de la prueba. Si el volumen sembrado y la dilución se mantienen constantes, ese exceso de recuento infla en la misma proporción la eficiencia estimada de introducción de ADN.

OpenAI afirma que seguir el desarrollo de estas capacidades también permitirá evaluar sus consecuencias para la seguridad biológica y la bioseguridad.

Por tanto, el umbral práctico va más allá de obtener una puntuación global mejor: un agente debe trasladar observaciones precisas a sus conclusiones, comprobar los controles y abstenerse de formular conclusiones que las pruebas no puedan respaldar. BioBasicsBench convierte esos requisitos en objetivos de mejora, y los fallos documentados muestran por qué los avances hacia la asistencia en el laboratorio todavía dependen de cerrar la brecha entre observar las pruebas y tomar una decisión experimental acertada.