OpenAI giới thiệu BioBasicsBench để kiểm tra các tác tử AI bằng dữ liệu từ phòng thí nghiệm thực nghiệm

OpenAI giới thiệu BioBasicsBench vào ngày 6 tháng 11 năm 2026. Đây là bộ chuẩn gồm 100 nhiệm vụ, được phát triển cùng Ligo, công ty thiết kế enzyme, nhằm kiểm tra liệu các tác tử AI có thể diễn giải bằng chứng thô từ những thí nghiệm thường quy trong phòng thí nghiệm thực nghiệm hay không.

OpenAI báo cáo kết quả dưới dạng phần thưởng trung bình, tức điểm trung bình của nhiệm vụ, được biểu thị bằng tỷ lệ phần trăm số điểm tối đa có thể đạt được. Ở mức xhigh, mức độ nỗ lực suy luận cao nhất được báo cáo cho cả bảy mô hình được thử nghiệm, GPT-6 Astra đạt 66.7%, với khoảng tin cậy 95% từ 60.3–73.1%, trong khi GPT-5.6 Sol đạt 43.8%, với khoảng tin cậy từ 37.6–50.0%. Astra tạo ra trung bình 4,704 token đầu ra cho mỗi nhiệm vụ, so với 9,099 token của Sol.

Được xây dựng từ bằng chứng thực nghiệm thường quy

BioBasicsBench giải quyết một hạn chế mà OpenAI chỉ ra ở các đánh giá dựa trên biểu đồ và hình ảnh được chọn lọc cho các bài báo khoa học: công việc thường ngày trong phòng thí nghiệm cũng bao gồm các thí nghiệm thất bại, hình ảnh khó diễn giải, những quan sát trái ngược và hoạt động khắc phục sự cố. Các nhiệm vụ yêu cầu tác tử diễn giải dữ liệu thực nghiệm, phát hiện lỗi và nhận ra khi bằng chứng không đủ để đưa ra kết luận. Các nhiệm vụ bao quát những phương pháp nghiên cứu protein, kỹ thuật tạo ảnh và đo tế bào, định lượng và xét nghiệm, phương pháp nghiên cứu axit nucleic, cũng như nhân dòng phân tử.

Các nhà khoa học xây dựng nhiệm vụ dựa trên chính những thí nghiệm của họ và soạn tiêu chí chấm điểm. Đầu vào bao gồm hình ảnh gel và blot, đĩa nuôi cấy khuẩn lạc, các chuỗi ảnh hiển vi, dữ liệu giải trình tự, tệp xuất từ máy đọc đĩa, ảnh chụp tại bàn thí nghiệm và video quy trình thí nghiệm. Mỗi nhiệm vụ có thể kết hợp nhiều loại bằng chứng cùng các tài liệu tham khảo hỗ trợ, chẳng hạn như biểu đồ thang chuẩn và bản đồ plasmid. Tác tử đưa ra kết luận, phép đo hoặc khuyến nghị theo cấu trúc; tiêu chí chấm điểm ghi nhận các yếu tố như kết quả bằng số, lập luận hỗ trợ và khả năng nhận ra bằng chứng chưa đủ.

Mỗi nhiệm vụ được một nhà khoa học của Ligo không tham gia soạn nhiệm vụ rà soát nội bộ, một nhà khoa học thực nghiệm có trình độ tiến sĩ đánh giá độc lập, rồi trải qua một vòng rà soát nội bộ cuối cùng đối với câu lệnh, bằng chứng, tiêu chí chấm điểm, ghi chú của tác giả và một bài làm của mô hình đã được chấm điểm. Đánh giá bao gồm 37 cấu hình mô hình và mức độ nỗ lực suy luận; mỗi cấu hình thực hiện mỗi nhiệm vụ năm lần, tạo ra 18,500 kết quả. Khoảng tin cậy được tính bằng phương pháp lấy mẫu lại toàn bộ nhiệm vụ, đồng thời giữ nguyên năm lần thử của từng nhiệm vụ trong cùng một nhóm.

Những ví dụ cho thấy Astra cải thiện ra sao

Trong một nhiệm vụ chụp ảnh tế bào, GPT-5.6 Sol phân loại các tế bào là đã chết dựa trên tín hiệu thuốc nhuộm. Astra nhận ra rằng các cửa sổ phát hiện chồng lấp có thể khiến thuốc nhuộm thứ hai gây nhiễu, đồng thời đề xuất cần có các đối chứng để phân tách tín hiệu. Trong một nhiệm vụ nhân dòng DNA, Sol đưa ra kết luận dựa trên việc không thấy khuẩn lạc nào trên đĩa đối chứng âm, trong khi Astra nhận thấy đĩa được ghi nhãn kanamycin chứ không phải ampicillin như đã dùng trong thí nghiệm, nên bác bỏ đĩa này vì không phải là đối chứng đáng tin cậy.

Một nhiệm vụ khác cho thấy các tế bào di chuyển ra vào vùng lấy nét. Sol tìm cách giải thích hiện tượng chúng dường như biến mất bằng nguyên nhân sinh học, trong khi Astra nhận diện được đó là một chồng ảnh theo trục z, gồm các ảnh được chụp ở những độ sâu khác nhau. OpenAI xem những ví dụ này là bằng chứng cho thấy khả năng xử lý đa phương thức tốt hơn, vận dụng bối cảnh thực nghiệm và nhận biết dữ liệu có thể cũng như không thể chứng minh điều gì; đồng thời, chúng cho thấy năng lực đa phương thức tích hợp mạnh hơn có thể rất quan trọng đối với việc phân tích thường quy trong phòng thí nghiệm thực nghiệm.

Những điểm yếu mà bộ chuẩn bộc lộ

OpenAI lưu ý rằng điểm số cao hơn chưa đồng nghĩa với khả năng đưa ra nhận định đáng tin cậy trong phòng thí nghiệm. Trong một nhiệm vụ PCR khuẩn lạc, Astra chọn các làn 4, 6, 7 và 8 vì cho rằng sản phẩm PCR lớn hơn là dấu hiệu nhân dòng thành công; cách diễn giải tham chiếu lại chọn các làn 5, 9 và 10. Sai lầm đó sẽ dẫn đến việc tinh sạch nhầm plasmid.

Các ví dụ khác cho thấy những quan sát chính xác không phải lúc nào cũng chi phối câu trả lời cuối cùng. Astra khái quát rằng không bào, các khoang bên trong tế bào, thường tối hơn vật chất xung quanh tế bào, dù trong chính hình ảnh đó có những không bào sáng hơn. Việc thay đổi độ sâu lấy nét có thể đảo ngược độ tương phản, và các quan sát trung gian của chính Astra cũng ghi nhận rằng độ tương phản thay đổi theo tiêu cự. Trong một nhiệm vụ đếm khuẩn lạc, OpenAI cho biết Astra không tách được các khuẩn lạc nằm sát nhau, bỏ sót những khuẩn lạc nhìn thấy được và đánh dấu cả những vùng thạch trống, khiến số lượng bị đếm cao hơn khoảng 12% so với số liệu tham chiếu của bộ chuẩn. Khi thể tích dịch cấy và độ pha loãng được giữ cố định, số lượng bị đếm cao hơn như vậy sẽ làm ước tính hiệu suất đưa DNA vào tế bào tăng tương ứng với cùng tỷ lệ.

OpenAI cho biết việc theo dõi sự phát triển của những năng lực này cũng sẽ giúp hãng đánh giá các hệ quả về an toàn sinh học và an ninh sinh học.

Vì vậy, tiêu chuẩn thực tế đòi hỏi nhiều hơn một điểm tổng hợp cao hơn: tác tử phải đưa những quan sát chính xác vào kết luận cuối cùng, kiểm tra các đối chứng và không đưa ra kết luận mà bằng chứng không thể hỗ trợ. BioBasicsBench biến những yêu cầu đó thành mục tiêu cải thiện; các ví dụ về những lần thất bại cho thấy để tiến tới hỗ trợ công việc trong phòng thí nghiệm, vẫn cần thu hẹp khoảng cách giữa việc quan sát bằng chứng và đưa ra quyết định thực nghiệm đúng đắn.