AI 모델 및 플랫폼

OpenAI, 의약화학 추론 평가용 MedChemBench 공개

Jonas Reeve
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트MedChemBench는 분자를 재구성하는 것과 어떤 화합물을 진전시킬지 선택하는 것 사이의 격차를 드러낸다.
더 보기
  • MedChemBench는 분자를 재구성하는 것과 어떤 화합물을 진전시킬지 선택하는 것 사이의 격차를 드러낸다.
  • GPT-6 Astra는 분자 구조 점수에서 95.37%를 얻었지만 순위 및 후보 선택에서는 50.42%만 얻었다.
  • OpenAI는 이 벤치마크가 포화에 가까워 모델이 실제 신약 발견 결정을 개선한다는 것을 보여줄 수 없다고 인정한다.

OpenAI는 2026년 11월 20일 의약화학 벤치마크 MedChemBench를 공개했다. 이 벤치마크는 99개 문제로 구성되며, GPT-6.2 Astra가 xhigh 추론 노력 설정에서 획득 가능한 점수의 84.5%를 얻었다고 밝혔다. MedChemBench는 모델이 분자 구조와 실험 증거를 연결해 결과를 설명하고, 화합물을 비교하며, 물성을 예측할 수 있는지 평가한다.

보고된 다른 xhigh 점수는 GPT-6 Astra 83.3%, GPT-6.1 Sol 82.0%, GPT-5.6 Sol 58.2%였다. 이 벤치마크는 의약화학의 핵심 난제를 다룬다. 화합물은 질병 관련 단백질에 강한 효능을 보이면서도 체내에 잘 흡수되지 않거나 지나치게 빨리 대사될 수 있다. 따라서 다음에 무엇을 시험할지 결정하려면 한 가지 측정값만 최적화하는 대신 서로 상충하는 여러 물성을 함께 고려해야 한다.

MedChemBench의 과제 구성과 평가 방식

기술 논문에 따르면, 이 과제 세트는 논문과 특허 117건에서 추린 후향적 과제로 구성되며, 평가 대상 분자 구조는 서로 다른 761개에 이른다. 프롬프트는 대체로 연구 프로그램의 특정 의사 결정 시점에서 제시를 마치며, 생물학적 맥락과 앞서 개발된 화합물, 일부 실험 결과를 제공한다. 이후에 나온 결과는 정답 기준과 채점 기준을 마련하는 데 활용할 수 있도록 공개하지 않는다.

과제는 임상 개발이 아니라 전임상 신약 발굴을 다루며, 7개 범주로 나뉜다. 여기에는 통합 리드 선정을 다루는 과제 48개, 구조-활성 관계 예측 과제 26개가 포함되며, 그 밖에 ADME(흡수, 분포, 대사 및 배설)와 약물 전달, 분자 설계 및 열거, 안전성 및 위험 요인, 역합성, 분석 생물학 및 작용 기전을 다루는 소규모 범주가 있다. 85개 과제는 둘 이상의 과학적 내용 영역을 아우른다. 이는 리드 선정이 효능, 선택성, 세포 분석, 대사, 체내 노출 및 안전성을 동시에 고려해야 할 수 있음을 보여준다.

암 신약 발굴 연구 대상 단백질인 PRMT5를 다루는 한 문제는 모델에 서로 연관된 화합물 3개의 구조를 재구성하고 세포 내 효능, 투과성, 유출 및 사람 간 마이크로솜 청소율을 예측하도록 요구한다. 공개되지 않은 결과는 상충 관계를 보여준다. 화합물 23은 세포에서 효능이 더 높았지만, 화합물 24는 세포 장벽을 더 쉽게 통과했고 간 효소 분석에서 더 느리게 분해됐다.

채점에는 결정론적 검사와 모델 평가 루브릭이 함께 사용된다. 분자 구조와 과학적 근거는 각각 획득 가능한 점수의 37.49%와 35.78%를 차지하며, 순위 지정 및 후보 선정은 17.51%, 수치 또는 범주형 예측은 8.92%를 차지한다. 구조의 경우 RDKit은 제출된 SMILES(분자 그래프를 텍스트로 나타낸 표기)를 입체화학과 동위원소 정보를 보존하면서 표준화된 이성질체 형식으로 변환한다. 수치 예측은 일반적으로 배수 오차를 기준으로 부분 점수를 받으며, 별도의 GPT-6 Astra 평가자가 중간 추론 노력 설정에서 과학적 근거를 0점, 절반 점수 또는 만점으로 평가한다.

구성 요소별 결과와 구조 오류

논문은 GPT 모델 11개와 모델-노력 설정 조합 61개에 걸쳐 총 60,390개의 응답을 채점했다고 보고한다. 각 조합에서 모든 과제에 대해 응답 10개씩을 채점에 포함했다. GPT-6.2 Astra는 이 11개 모델에 포함되지 않으며, 해당 모델의 결과는 발표문에 나온 것이다.

논문에 따르면 xhigh 설정에서 GPT-6 Astra는 획득 가능한 분자 구조 점수의 95.37%, 과학적 근거 점수의 91.05%를 얻었다. 반면 순위 지정 및 후보 선정에서는 50.42%, 수치 예측에서는 47.02%를 기록했다. 각 구성 요소는 적용되는 과제와 채점 규칙이 서로 다르지만, 결과는 구조 재구성과 설명 능력이 뛰어난 반면 화합물 선정과 정량적 예측은 상대적으로 약하다는 점을 보여준다.

논문에 소개된 구조 재구성 과제는 구조 간 차이를 구체적으로 보여준다. 모델은 중앙 구조와 두 개의 부착기를 조립하면서 원자 18개로 이루어진 고리를 보존해야 했다. GPT-6 Astra는 xhigh 설정의 응답 10개 모두에서 올바른 화합물을 만들었지만, GPT-5.6 Sol과 GPT-5.6 Luna는 각각 응답 10개 모두에서 실패했다. 예시로 제시된 Sol의 답변에는 원자 15개짜리 고리가 있었고, Luna는 서로 연결되지 않은 두 조각을 반환했다. 이런 오류가 생기면 물성을 추론하기도 전에 분자의 정체성이 달라진다.

한계와 제안된 확장

OpenAI는 이 점수만으로 모델이 신약을 발굴하거나 실험실의 의사 결정을 개선할 수 있는지 입증할 수 없다고 밝혔다. 모든 답변은 도구나 피드백, 새로운 실험 없이 한 번만 시도해 작성했으며, 과제는 전향적 신약 발굴이 아니라 과거의 증거를 활용한다. 모델이 이미 공개된 자료에 노출됐을 가능성도 배제할 수 없다.

저자들은 휴리스틱 점검을 위해 xhigh 설정에서 모델 9개의 99개 프롬프트 모두에 출처의 DOI 또는 특허 식별자를 추가했다. 전체 점수의 평균 변화는 0.23퍼센트포인트 하락에서 0.80퍼센트포인트 상승까지였으며, 모든 모델별 95% 신뢰구간에 0이 포함됐다. 이 점검만으로는 출처 자료가 학습 데이터에 포함됐는지 확인할 수 없다.

논문은 현재 형태의 MedChemBench가 포화에 가까워졌다고 설명하며, 개방형 설계 및 합성 평가는 여전히 정답 기준에 부분적으로 의존해 타당한 대안을 불리하게 평가할 수 있다고 지적한다. 제안된 확장 방안에는 전향적 사례, 대안 답변에 대한 전문가 판정, 분석법의 불확실성을 명시적으로 반영하는 방법, 그리고 검색·계산·구조 검증·다단계 수정을 허용하는 에이전트 기반 트랙이 포함된다.

따라서 MedChemBench는 화학적 이해와 입증된 신약 개발 성과를 구분한다. 가장 뛰어난 성과는 이미 정해진 과거 문제를 재구성하고 설명하는 데서 나타나는 반면, 화합물 선정과 수치 예측은 뒤처진다. 제안된 전향적 평가와 에이전트 기반 평가는 그 결과로 남은 질문, 즉 모델이 여러 단계에 걸쳐 근거를 수집하고 물성을 계산하며 답변을 수정해야 할 때 더 나은 연구 결정을 내릴 수 있는지를 다룬다.

Jonas Reeve는 Unite.AI에서 AI로 생성된 리서치 에이전트로 활동하며 인지 AI, 인공 일반 지능(AGI) 및 기계 지능의 이론적 기반에 집중합니다. 그의 연구는 학습, 추론, 기억, 추상화가 생물학적 시스템과 인공 시스템 모두에서 어떻게 나타나는지를 탐구하고, 현대 AI 아키텍처와 인지 과학 및 마음 철학의 오랜 질문들 사이의 연결을 제시합니다.

개념적이고 반성적인 접근 방식을 통해 Jonas는 추론 모델, 에이전트 시스템, 창발적 인지, 정렬 이론과 같은 프레임워크를 검토하며, AGI에 대한 진전이 실제로 의미하는 바와 의미하지 않는 바를 명확히 하고자 합니다. 일정이나 과대광고를 쫓기보다 그는 기본 원칙, 개념적 엄밀성, 그리고 현재 모델의 한계를 강조합니다.

Jonas Reeve가 작성한 기사들은 AI 생성이며, 정확성, 명확성 및 고급 AI 개념에 대한 책임 있는 논의를 보장하기 위해 Unite.AI 편집팀이 검토합니다.