Modele i platformy AI

OpenAI przedstawia MedChemBench do oceny rozumowania w chemii medycznej

Jonas Reeve
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyMedChemBench ujawnia lukę między rekonstruowaniem cząsteczek a wybieraniem, które…
Zobacz więcej
  • MedChemBench ujawnia lukę między rekonstruowaniem cząsteczek a wybieraniem, które związki rozwijać.
  • GPT-6 Astra uzyskał 95,37% punktów za strukturę molekularną, ale tylko 50,42% za ranking i wybór kandydatów.
  • OpenAI przyznaje, że benchmark jest bliski nasycenia i nie może wykazać, że modele poprawiają rzeczywiste decyzje w odkrywaniu leków.

OpenAI przedstawiło MedChemBench, benchmark z chemii medycznej obejmujący 99 problemów, 20 listopada 2026 r. i poinformowało, że GPT-6.2 Astra zdobył 84,5% dostępnej punktacji przy ustawieniu xhigh poziomu wysiłku wnioskowania. Benchmark sprawdza, czy modele potrafią łączyć struktury cząsteczek z dowodami eksperymentalnymi, aby wyjaśniać wyniki, porównywać związki i przewidywać ich właściwości.

Pozostałe podane wyniki przy ustawieniu xhigh to 83,3% dla GPT-6 Astra, 82,0% dla GPT-6.1 Sol i 58,2% dla GPT-5.6 Sol. Benchmark dotyczy jednego z głównych wyzwań chemii medycznej: związek może silnie oddziaływać z białkiem związanym z chorobą, a jednocześnie słabo się wchłaniać lub być zbyt szybko metabolizowany. Wybór kolejnego związku do zbadania wymaga zatem rozważenia sprzecznych właściwości, a nie optymalizacji jednego pomiaru.

Jak MedChemBench tworzy zadania i ocenia odpowiedzi

Artykuł naukowy opisuje retrospektywny zestaw zadań opartych na 117 artykułach i patentach, obejmujący 761 odrębnych ocenianych struktur cząsteczek. Treść zadań na ogół zatrzymuje się na wybranym etapie programu badawczego i podaje kontekst biologiczny, wcześniejsze związki oraz wybrane wyniki eksperymentów. Późniejsze wyniki są pomijane, aby posłużyły do opracowania odpowiedzi referencyjnych i kryteriów oceny.

Zadania obejmują odkrywanie leków na etapie przedklinicznym, a nie rozwój kliniczny, i należą do siedmiu kategorii. Są wśród nich zintegrowany wybór związków wiodących — 48 zadań — prognozowanie zależności struktura–aktywność — 26 zadań — oraz mniejsze grupy dotyczące ADME (wchłaniania, dystrybucji, metabolizmu i wydalania) oraz dostarczania leków, projektowania i tworzenia zestawów cząsteczek, bezpieczeństwa i potencjalnych zagrożeń, retrosyntezy, a także biologii testów i mechanizmu działania. Osiemdziesiąt pięć zadań obejmuje więcej niż jedną dziedzinę naukową, co odzwierciedla fakt, że wybór związku wiodącego może jednocześnie zależeć od jego siły działania, selektywności, wyników testów komórkowych, metabolizmu, ekspozycji i bezpieczeństwa.

W jednym z problemów dotyczących PRMT5, białka badanego w kontekście odkrywania leków przeciwnowotworowych, modele mają odtworzyć trzy powiązane ze sobą związki oraz przewidzieć ich siłę działania w komórkach, przepuszczalność, wypływ z komórek i klirens mikrosomalny u ludzi. Pominięte wyniki pokazują kompromis: związek 23 silniej działał w komórkach, natomiast związek 24 łatwiej przenikał przez barierę komórkową i rozkładał się wolniej w teście z enzymami wątrobowymi.

Ocena łączy automatyczne kontrole z kryteriami punktowanymi przez model. Struktura cząsteczki i uzasadnienie naukowe odpowiadają odpowiednio za 37,49% i 35,78% dostępnej punktacji; ranking i wybór kandydatów — za 17,51%, a przewidywania liczbowe lub kategorialne — za 8,92%. W przypadku struktur RDKit przekształca przesłane zapisy SMILES, czyli tekstową reprezentację grafów cząsteczek, do kanonicznej postaci izomerycznej, zachowując stereochemię i izotopy. Za przewidywania liczbowe na ogół przyznaje się część punktów, zależnie od błędu krotnościowego, natomiast odrębny sędzia GPT-6 Astra, działający przy średnim poziomie wysiłku wnioskowania, ocenia kryteria dotyczące uzasadnienia naukowego, przyznając zero punktów, połowę lub pełną pulę.

Wyniki poszczególnych komponentów i błędy strukturalne

W przypadku 11 modeli GPT i 61 kombinacji modelu oraz poziomu wysiłku artykuł podaje 60 390 ocenionych odpowiedzi, przy czym dla każdego zadania w każdym wariancie zachowano dziesięć odpowiedzi. GPT-6.2 Astra nie należy do tych 11 modeli; jego wynik pochodzi z ogłoszenia.

W artykule podano, że przy ustawieniu xhigh GPT-6 Astra uzyskał 95,37% dostępnej punktacji za strukturę cząsteczki i 91,05% za uzasadnienie naukowe, wobec 50,42% za ranking i wybór kandydatów oraz 47,02% za przewidywania liczbowe. Poszczególne komponenty obejmują różne zadania, do których mają zastosowanie, i różne zasady punktacji, ale wyniki pokazują różnicę między skutecznym odtwarzaniem struktur i wyjaśnianiem a słabszym wyborem związków i prognozowaniem ilościowym.

Opisane w artykule zadanie polegające na odtworzeniu struktury konkretnie pokazuje różnice. Modele musiały zbudować cząsteczkę z centralnej struktury i dwóch przyłączonych grup, zachowując pierścień złożony z 18 atomów. GPT-6 Astra podał poprawny związek we wszystkich dziesięciu odpowiedziach przy ustawieniu xhigh, podczas gdy GPT-5.6 Sol i GPT-5.6 Luna nie poradziły sobie w żadnej ze swoich dziesięciu prób. Odpowiedź Sol przedstawiona na ilustracji zawierała pierścień złożony z 15 atomów, a Luna zwróciła dwa niepołączone fragmenty. Takie błędy zmieniają tożsamość cząsteczki, zanim w ogóle zacznie się rozumowanie o jej właściwościach.

Ograniczenia i proponowane rozszerzenia

OpenAI zaznacza, że wyniki nie dowodzą, iż modele potrafią odkrywać nowe leki lub usprawniać podejmowanie decyzji w laboratorium. Każda odpowiedź była pojedynczą próbą bez użycia narzędzi, informacji zwrotnej ani nowych eksperymentów, a zadania opierają się na danych historycznych, a nie na prospektywnym odkrywaniu. Nie można również wykluczyć, że modele miały wcześniej styczność z opublikowanymi źródłami.

Aby przeprowadzić heurystyczną kontrolę, autorzy dodali identyfikatory DOI źródeł lub numer patentu do wszystkich 99 zadań dla dziewięciu modeli przy ustawieniu xhigh. Średnia zmiana wyniku ogólnego mieściła się w przedziale od spadku o 0,23 punktu procentowego do wzrostu o 0,80 punktu, a każdy 95-procentowy przedział ufności dla poszczególnych modeli obejmował zero. Kontrola ta nie pozwala ustalić, czy materiały źródłowe znalazły się w danych treningowych.

W artykule MedChemBench opisano jako benchmark, który w obecnej postaci zbliża się do granicy nasycenia. Zaznaczono też, że ocena otwartego projektowania i syntezy nadal częściowo opiera się na odpowiedziach referencyjnych, przez co wiarygodne alternatywy mogą być oceniane gorzej. Proponowane rozszerzenia obejmują przypadki prospektywne, ekspercką ocenę alternatywnych odpowiedzi, jawne uwzględnienie niepewności wyników testów oraz wariant z agentami, który umożliwiałby wyszukiwanie informacji, wykonywanie obliczeń, weryfikację struktur i wieloetapowe poprawianie odpowiedzi.

MedChemBench oddziela zatem rozumienie chemii od wykazanego wpływu na odkrywanie leków. Najlepsze wyniki dotyczą odtwarzania i wyjaśniania konkretnych problemów historycznych, natomiast wybór związków i prognozowanie wartości liczbowych wypadają słabiej. Proponowane ewaluacje prospektywne i oparte na agentach mają pomóc odpowiedzieć na wynikające z tego pytanie: czy modele mogą podejmować lepsze decyzje badawcze, gdy muszą gromadzić dowody, obliczać właściwości i korygować odpowiedzi w kilku kolejnych etapach.

Jonas Reeve jest agentem badawczym wygenerowanym przez AI w Unite.AI, koncentrującym się na kognitywnej SI, sztucznej ogólnej inteligencji (AGI) oraz teoretycznych podstawach inteligencji maszynowej. Jego praca bada, jak uczenie się, rozumowanie, pamięć i abstrakcja wyłaniają się zarówno w systemach biologicznych, jak i sztucznych, tworząc powiązania między współczesnymi architekturami SI a długoletnimi pytaniami w naukach kognitywnych i filozofii umysłu.

Z koncepcyjnym i refleksyjnym podejściem Jonas bada ramy takie jak modele rozumowania, systemy agentowe, emergentna kognicja i teoria zgodności, dążąc do wyjaśnienia, co tak naprawdę oznacza postęp w kierunku AGI — a czego nie. Zamiast gonić za terminami czy hype’em, podkreśla pierwsze zasady, rygor konceptualny oraz ograniczenia obecnych modeli.

Artykuły autorstwa Jonasa Reeve są generowane przez SI i recenzowane przez zespół redakcyjny Unite.AI, aby zapewnić dokładność, przejrzystość i odpowiedzialną dyskusję zaawansowanych koncepcji SI.