Mô hình và nền tảng AI

OpenAI giới thiệu MedChemBench để đánh giá năng lực suy luận trong hóa học dược phẩm

Jonas Reeve
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhMedChemBench phơi bày khoảng cách giữa việc tái tạo phân tử và việc chọn hợp chất nào…
Xem thêm
  • MedChemBench phơi bày khoảng cách giữa việc tái tạo phân tử và việc chọn hợp chất nào để tiến triển.
  • GPT-6 Astra đạt 95,37% điểm về cấu trúc phân tử nhưng chỉ đạt 50,42% ở phần xếp hạng và lựa chọn ứng viên.
  • OpenAI thừa nhận bài đánh giá này gần bão hòa và không thể chứng minh các mô hình cải thiện các quyết định khám phá thuốc thực tế.

OpenAI giới thiệu MedChemBench, một bộ chuẩn gồm 99 bài toán về hóa học dược phẩm, vào ngày 20 tháng 11 năm 2026 và cho biết GPT-6.2 Astra đạt 84,5% tổng số điểm có thể đạt được ở mức nỗ lực suy luận xhigh. Bộ chuẩn kiểm tra khả năng liên kết cấu trúc phân tử với bằng chứng thực nghiệm để giải thích kết quả, so sánh các hợp chất và dự đoán tính chất.

Các điểm số xhigh khác được công bố là 83,3% đối với GPT-6 Astra, 82,0% đối với GPT-6.1 Sol và 58,2% đối với GPT-5.6 Sol. Bộ chuẩn này tập trung vào một thách thức cốt lõi của hóa học dược phẩm: một hợp chất có thể có tác dụng mạnh lên protein liên quan đến bệnh nhưng lại hấp thu kém hoặc bị chuyển hóa quá nhanh. Vì vậy, việc lựa chọn hợp chất tiếp theo cần thử đòi hỏi cân nhắc những tính chất có thể xung đột với nhau, thay vì tối ưu hóa một chỉ số duy nhất.

MedChemBench xây dựng và chấm điểm các bài toán như thế nào

Bài báo kỹ thuật mô tả một tập hợp bài toán hồi cứu, được xây dựng từ 117 bài báo và bằng sáng chế, bao gồm 761 cấu trúc phân tử riêng biệt được chấm điểm. Các câu hỏi thường dừng ở một thời điểm ra quyết định được chọn trong chương trình nghiên cứu, đồng thời cung cấp bối cảnh sinh học, các hợp chất đã nghiên cứu trước đó và một số kết quả thực nghiệm được chọn lọc. Các kết quả về sau được giữ lại để làm căn cứ xây dựng đáp án tham chiếu và tiêu chí chấm điểm.

Các bài toán bao quát quá trình khám phá thuốc tiền lâm sàng, không bao gồm phát triển lâm sàng, và được chia thành bảy nhóm. Trong đó có 48 bài về lựa chọn hợp chất dẫn đường tổng hợp, 26 bài về dự đoán mối quan hệ cấu trúc–hoạt tính, cùng các nhóm nhỏ hơn về ADME (hấp thu, phân bố, chuyển hóa và thải trừ) và phân phối thuốc, thiết kế và liệt kê phân tử, độ an toàn và các nguy cơ, tổng hợp ngược, cũng như sinh học phép thử và cơ chế. Có 85 bài thuộc nhiều hơn một lĩnh vực nội dung khoa học, phản ánh việc lựa chọn hợp chất dẫn đường có thể đồng thời phụ thuộc vào hiệu lực, độ chọn lọc, phép thử trên tế bào, chuyển hóa, mức phơi nhiễm và độ an toàn.

Một bài toán về PRMT5, loại protein được nghiên cứu trong quá trình khám phá thuốc điều trị ung thư, yêu cầu các mô hình dựng lại ba hợp chất có liên quan và dự đoán hiệu lực trên tế bào, tính thấm, sự đào thải và độ thanh thải qua microsom gan người. Các kết quả được giữ lại cho thấy sự đánh đổi giữa các đặc tính: hợp chất 23 có hiệu lực trên tế bào cao hơn, trong khi hợp chất 24 đi qua hàng rào tế bào dễ hơn và phân hủy chậm hơn trong phép thử với enzym gan.

Việc chấm điểm kết hợp các phép kiểm tra xác định với tiêu chí do mô hình đánh giá. Cấu trúc phân tử và lập luận khoa học lần lượt chiếm 37,49% và 35,78% tổng số điểm có thể đạt được; xếp hạng và lựa chọn ứng viên chiếm 17,51%, còn dự đoán dạng số hoặc phân loại chiếm 8,92%. Đối với cấu trúc, RDKit chuyển SMILES được nộp—một cách biểu diễn đồ thị phân tử bằng văn bản—sang dạng đồng phân chuẩn tắc, đồng thời bảo toàn tính lập thể và đồng vị. Các dự đoán dạng số thường được chấm điểm một phần dựa trên sai số theo bội số, trong khi một mô hình GPT-6 Astra riêng biệt, hoạt động ở mức nỗ lực suy luận trung bình, chấm các tiêu chí về lập luận khoa học với mức 0, một nửa hoặc toàn bộ điểm.

Kết quả theo từng thành phần và lỗi cấu trúc

Với 11 mô hình GPT và 61 tổ hợp mô hình–mức nỗ lực, bài báo báo cáo 60.390 câu trả lời được chấm điểm, trong đó mỗi bài toán ở mỗi tổ hợp có mười câu trả lời được giữ lại. GPT-6.2 Astra không thuộc 11 mô hình này; kết quả của mô hình được lấy từ thông báo.

Ở mức xhigh, bài báo cho biết GPT-6 Astra đạt 95,37% số điểm có thể đạt được về cấu trúc phân tử và 91,05% về lập luận khoa học, so với 50,42% về xếp hạng và lựa chọn ứng viên và 47,02% về dự đoán dạng số. Các thành phần này áp dụng cho những nhóm bài toán và quy tắc chấm điểm khác nhau, nhưng kết quả cho thấy khả năng dựng lại và giải thích tốt, trong khi lựa chọn hợp chất và dự báo định lượng còn yếu hơn.

Một bài toán dựng lại được mô tả trong bài báo cho thấy rõ sự khác biệt về cấu trúc. Các mô hình phải lắp ráp một phân tử từ cấu trúc trung tâm và hai nhóm gắn vào, đồng thời bảo toàn vòng gồm 18 nguyên tử. GPT-6 Astra tạo ra hợp chất chính xác trong cả mười câu trả lời ở mức xhigh, trong khi GPT-5.6 Sol và GPT-5.6 Luna đều thất bại trong cả mười câu trả lời của mình. Câu trả lời của Sol được minh họa có vòng gồm 15 nguyên tử, còn Luna đưa ra hai mảnh rời nhau. Những lỗi như vậy làm thay đổi danh tính của phân tử trước khi bắt đầu bất kỳ suy luận nào về tính chất.

Giới hạn và các hướng mở rộng được đề xuất

OpenAI cho biết các điểm số không chứng minh được liệu mô hình có thể khám phá thuốc mới hoặc cải thiện các quyết định trong phòng thí nghiệm hay không. Mỗi câu trả lời chỉ được thực hiện một lần, không dùng công cụ, không nhận phản hồi và không tiến hành thí nghiệm mới; các bài toán dựa trên bằng chứng lịch sử chứ không phải hoạt động khám phá hướng tới tương lai. Cũng không thể loại trừ khả năng mô hình đã tiếp xúc trước đó với các nguồn tài liệu được công bố.

Để kiểm tra bằng phương pháp kinh nghiệm, các tác giả bổ sung mã DOI của nguồn hoặc mã định danh bằng sáng chế vào cả 99 câu hỏi dành cho chín mô hình ở mức xhigh. Mức thay đổi trung bình của điểm tổng thể dao động từ giảm 0,23 điểm phần trăm đến tăng 0,80 điểm; khoảng tin cậy 95% của từng mô hình đều bao gồm số 0. Phép kiểm tra này không thể xác định liệu tài liệu nguồn có xuất hiện trong dữ liệu huấn luyện hay không.

Bài báo mô tả MedChemBench ở dạng hiện tại là gần chạm ngưỡng bão hòa, đồng thời cho biết việc chấm điểm thiết kế và tổng hợp mở vẫn còn phụ thuộc một phần vào đáp án tham chiếu, điều có thể khiến các phương án thay thế hợp lý bị đánh giá thấp. Những hướng mở rộng được đề xuất bao gồm các tình huống triển vọng, chuyên gia phân xử các câu trả lời thay thế, xử lý rõ ràng độ bất định của phép thử và một nhánh đánh giá dựa trên tác tử, cho phép truy xuất thông tin, tính toán, xác minh cấu trúc và điều chỉnh câu trả lời qua nhiều bước.

Do đó, MedChemBench phân biệt khả năng hiểu hóa học với tác động đã được chứng minh đối với việc khám phá thuốc. Các kết quả tốt nhất của mô hình liên quan đến việc tái dựng và giải thích những bài toán lịch sử đã có sẵn, trong khi khả năng lựa chọn hợp chất và dự báo định lượng còn hạn chế. Các đánh giá tiến cứu và dựa trên tác tử được đề xuất nhằm giải đáp câu hỏi còn bỏ ngỏ: liệu mô hình có thể đưa ra quyết định nghiên cứu tốt hơn khi phải thu thập bằng chứng, tính toán các đặc tính và điều chỉnh câu trả lời qua nhiều bước hay không.

Jonas Reeve là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, tập trung vào AI nhận thức, trí tuệ nhân tạo chung (AGI), và các nền tảng lý thuyết của trí thông minh máy móc. Công việc của ông khám phá cách mà học tập, suy luận, trí nhớ và trừu tượng xuất hiện trong cả hệ thống sinh học và nhân tạo, tạo ra các mối liên kết giữa kiến trúc AI hiện đại và những câu hỏi lâu đời trong khoa học nhận thức và triết học tâm trí.

Với cách tiếp cận khái niệm và suy ngẫm, Jonas xem xét các khung như mô hình suy luận, hệ thống tác nhân AI, nhận thức nổi lên, và lý thuyết cân chỉnh, nhằm làm rõ tiến bộ hướng tới AGI thực sự có nghĩa là gì — và không phải là gì. Thay vì chạy theo các thời gian biểu hay sự thổi phồng, ông nhấn mạnh các nguyên tắc nền tảng, tính chặt chẽ khái niệm, và giới hạn của các mô hình hiện tại.

Các bài viết do Jonas Reeve viết được tạo ra bằng AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác, rõ ràng và thảo luận có trách nhiệm về các khái niệm AI tiên tiến.