OpenAI, AI 에이전트의 습식 실험실 데이터 해석 능력을 평가하는 BioBasicsBench 공개

OpenAI는 BioBasicsBench를 공개했다. 2026년 11월 6일 공개된 이 벤치마크는 효소 설계 기업 Ligo와 함께 개발한 100개 과제 평가 도구로, AI 에이전트가 일상적인 습식 실험실 실험에서 얻은 원시 증거를 해석할 수 있는지 평가한다.

OpenAI는 사용 가능한 점수에 대한 백분율로 나타낸 평균 과제 점수인 평균 보상으로 결과를 보고한다. 테스트한 7개 모델 모두에서 보고된 가장 높은 추론 노력 설정인 xhigh에서 GPT-6 Astra는 66.7%를 기록했으며, 95% 신뢰구간은 60.3~73.1%였다. GPT-5.6 Sol은 43.8%를 기록했고, 신뢰구간은 37.6~50.0%였다. Astra의 과제당 평균 출력 토큰 수는 4,704개로, Sol의 9,099개보다 적었다.

일상적인 실험 증거를 바탕으로 구축

BioBasicsBench는 과학 논문에 실린 차트와 이미지를 중심으로 구성된 평가의 한계를 보완한다. OpenAI는 일상적인 실험실 작업에는 실패한 실험, 모호한 이미지, 서로 상충하는 관찰 결과와 문제 해결도 포함된다고 지적한다. 이 벤치마크의 과제는 에이전트가 실험 데이터를 해석하고, 오류를 찾아내며, 증거만으로는 결론을 뒷받침할 수 없음을 알아차리도록 한다. 과제 분야는 단백질 실험법, 이미징과 세포 분석, 정량화와 분석법, 핵산 실험법, 분자 클로닝을 아우른다.

과학자들은 자신이 직접 수행한 실험을 바탕으로 과제를 만들고 채점 기준을 작성했다. 입력 자료에는 젤 및 블롯 이미지, 콜로니 배양 접시, 현미경 이미지 스택, 시퀀싱 리드, 플레이트 리더 출력 데이터, 실험대 사진, 프로토콜 동영상이 포함된다. 개별 과제에는 여러 유형의 증거와 사다리 차트, 플라스미드 지도 같은 참고 자료가 함께 포함될 수 있다. 에이전트는 구조화된 결론, 측정값 또는 권고 사항을 제시하며, 채점 기준은 수치 결과, 이를 뒷받침하는 추론, 증거가 불충분하다는 판단 등을 평가한다.

각 과제는 해당 과제를 작성하지 않은 Ligo 과학자의 내부 검토, 박사 학위를 보유한 습식 실험실 과학자의 외부 검토, 그리고 프롬프트, 증거, 채점 기준, 작성자 메모와 모델의 채점 완료 응답을 포괄하는 최종 내부 검토를 거쳤다. 평가는 모델과 추론 노력 설정을 조합한 37개 설정을 대상으로 진행했으며, 각 설정에서 모든 과제를 다섯 차례씩 시도해 총 18,500개의 결과를 얻었다. 신뢰구간은 과제별 다섯 번의 시도를 한데 묶어 유지하면서 과제 전체를 재표집해 계산했다.

Astra의 성능 향상을 보여주는 사례

세포 이미징 과제에서 GPT-5.6 Sol은 염료 신호를 근거로 세포를 죽은 세포로 분류했다. Astra는 검출 범위가 서로 겹쳐 두 번째 염료의 간섭이 발생할 수 있음을 알아차리고, 신호를 구분할 수 있는 대조군이 필요하다고 지적했다. DNA 클로닝 과제에서 Sol은 음성 대조군 배양 접시에 콜로니가 보이지 않는다는 점을 근거로 결론을 내렸다. 반면 Astra는 해당 접시에 실험에서 사용한 암피실린이 아니라 카나마이신이라고 표시된 것을 알아차리고, 신뢰할 수 있는 대조군으로 인정하지 않았다.

또 다른 과제에서는 세포가 초점 안팎으로 움직이는 모습이 제시됐다. Sol은 세포가 사라져 보이는 현상을 생물학적으로 설명하려 했지만, Astra는 이를 서로 다른 깊이에서 촬영한 일련의 이미지인 z-stack으로 파악했다. OpenAI는 이런 사례가 멀티모달 데이터 처리, 실험 맥락 활용, 데이터가 무엇을 입증할 수 있고 무엇을 입증할 수 없는지 판단하는 능력의 향상을 보여준다고 해석한다. 또한 일상적인 습식 실험실 분석에는 더욱 뛰어난 네이티브 멀티모달 기능이 중요할 수 있음을 시사한다고 본다.

벤치마크가 드러낸 실패 사례

OpenAI는 점수가 높아졌다고 해서 실험실에서 신뢰할 수 있는 판단을 내릴 수 있는 것은 아니라고 경고한다. 콜로니 PCR 과제에서 Astra는 PCR 산물이 클수록 클로닝에 성공한 것이라고 가정해 4, 6, 7, 8번 레인을 선택했다. 반면 기준 해석에서는 5, 9, 10번 레인을 선택했다. 이 실수로 잘못된 플라스미드를 정제하게 될 수 있다.

다른 사례에서는 관찰 자체는 정확했지만 최종 답변에 반영되지 못했다. Astra는 같은 이미지에서 더 밝게 보이는 액포가 있는데도, 세포 안의 구획인 액포는 대체로 주변 세포 물질보다 어둡다고 일반화했다. 초점 깊이를 바꾸면 명암 대비가 반전될 수 있으며, Astra의 자체 중간 관찰에도 초점에 따라 대비가 달라진다는 내용이 있었다. 콜로니 계수 과제에서 OpenAI가 보고한 바에 따르면 Astra는 서로 가까이 있는 콜로니를 구분하지 못하고, 눈에 보이는 콜로니를 놓치며, 한천 배지의 빈 곳에도 표시해 기준값보다 약 12% 많이 계수했다. 도말 부피와 희석 배수가 고정된 경우, 이처럼 과다 계수하면 DNA 도입 효율 추정치도 같은 비율만큼 부풀려진다.

OpenAI는 이러한 역량의 개발 과정을 추적하는 일도 생물안전과 생물보안 측면의 영향을 평가하는 데 도움이 될 것이라고 밝혔다.

따라서 실용화에 필요한 기준은 종합 점수를 높이는 것보다 더 엄격하다. 에이전트는 정확한 관찰 결과를 최종 결론까지 반영하고, 대조군을 확인하며, 증거로 뒷받침할 수 없는 결론은 유보해야 한다. BioBasicsBench는 이러한 요건을 개선 목표로 삼으며, 실제 실패 사례를 통해 실험실 지원을 향한 진전이 증거를 관찰하는 단계와 타당한 실험적 판단을 내리는 단계 사이의 간극을 좁히는 데 달려 있음을 보여준다.