Anthropic informuje, że agenci Claude złagodzili dziesięć usterek dopasowania

Anthropic opublikował badania 28 sierpnia 2026 roku, informując, że agenci AI oparte na modelach Claude autonomicznie opracowali metody treningowe, które złagodziły dziesięć typowych usterek dopasowania w modelach docelowych, w każdym przypadku poprawiając odpowiednie benchmarki bez pogarszania ogólnych możliwości. Firma opisała wyniki jako wczesny dowód na to, że automatyczne dopasowanie po treningu może stać się praktyczne w najbliższym czasie.

Raport, Automatyczni Badacze Mogą Rzetelnie Łagodzić Usterki Dopasowania, został poprowadzony przez Chena Yueh-Hana z programu Anthropic Fellows, wraz z Jiaxin Wen z UC Berkeley oraz Janem Hendrikiem Kirchnerem z Anthropic. Anthropic udostępnił również otwarto kod platformy badawczej automatycznego dopasowania, aby zewnętrzni badacze mogli na niej budować i dopasowywać własne modele.

Jak działają automatyczni badacze dopasowania

Badanie stworzyło automatycznych badaczy dopasowania, których autorzy nazywają AAR, z agentów napędzanych modelem Claude Opus 4.8. Każdy AAR zajmuje się jedną usterką dopasowania na raz, realizując pętlę: przeszukiwanie literatury naukowej, proponowanie metody treningowej wraz z danymi, pisanie krótkiego artykułu opisującego podejście, trenowanie modelu docelowego oraz przeglądanie uzyskanych wyników przed kolejną iteracją. Działania trwają do 48 godzin lub do momentu, gdy wydajność przestaje rosnąć, a pięć AAR‑ów pracuje równolegle nad tą samą usterką, dzieląc wyniki na wspólnym forum i rankingu.

Każda metoda otrzymuje ten sam stały budżet: jedną kartę graficzną H200 oraz około 30 minut treningu. Badane dziesięć usterek dopasowania to: pochlebstwo, jailbreaki, wstrzykiwanie promptów, dążenie do władzy, oszustwo, halucynacje, uprzedzenia społeczne, naruszenia prywatności, manipulacja nagrodą oraz ukrywanie niepewności, przy czym każda była mierzona przy użyciu zestawu trzech do pięciu publicznych benchmarków. Modele docelowe to otwarte modele dostosowane do instrukcji o rozmiarze od dwóch do siedmiu miliardów parametrów, w tym Gemma-2-2B, Qwen3.5-2B, Llama-3.2-3B, Phi-4-mini i Olmo-3-7B.

Sukces oceniano jako procent zamkniętej luki bezpieczeństwa, czyli jak bardzo metoda przesunęła model ucznia od jego punktu wyjściowego w stronę teoretycznego idealnego wyniku. Agent monitorujący czytał i zatwierdzał kod każdej proponowanej metody przed jej uruchomieniem, odrzucając wszelkie metody, które odtwarzały zachowanie z modelu na granicy możliwości, wykorzystywały dane benchmarków w treningu lub znacząco obniżały zdolności w testach z matematyki, wiedzy i wykonywania instrukcji.

Wyniki w porównaniu z ludzkimi bazami odniesienia i większymi modelami

Według raportu, odkryte metody uogólniły się poza benchmarki, które optymalizowały agenty. Najlepsza metoda dla każdej usterki poprawiła niewidziany wcześniej benchmark, uzyskała lepsze wyniki w narzędziu Petri, otwarto‑źródłowym, wieloetapowym narzędziu do audytu zachowań Anthropic, oraz pozostała skuteczna w modelach do 4,7‑krotnie większych niż modele dostrojone przez agenty.

Anthropic porównał również automatycznych badaczy z 28 doświadczonymi ludzkimi badaczami bezpieczeństwa, którzy średnio mieli 2,5 roku doświadczenia w dziedzinie AI safety i dysponowali maksymalnie ośmioma godzinami na zaproponowanie metody dla tych samych benchmarków. Raport stwierdza, że we wszystkich siedmiu usterek dopasowania, w których ludzie przedstawili pomysły, najlepsza metoda AAR zamknęła większą część luki bezpieczeństwa niż najlepszy pomysł ludzki, osiągając ten wynik po średnio 6,4 godzinie intensywnego poszukiwania. W przypadku oszustwa, najlepsza metoda Claude była o 20 % lepsza od najlepszej ludzkiej propozycji. Autorzy ostrzegają, że porównanie nie jest bezpośrednie, ponieważ ludzie nie mogli iterować swoich zgłoszeń, i przedstawiają wynik jako dowód na podział pracy, w którym systemy automatyczne identyfikują obiecujące metody, które następnie są udoskonalane przez ludzi.

Artykuł podaje również porównanie kosztów: „AAR kosztuje około 4 USD za godzinę w inferencji API, w porównaniu do 150 USD za godzinę, które płacimy naszym ludzkim badaczom.”

W odrębnym eksperymencie zespół zasiał nowe uruchomienia AAR kierunkami badawczymi napisanymi przez ludzi i odkrył, że wskazówki nie poprawiły wydajności, co autorzy uznali za wskazówkę, że obecni automatyczni badacze mogą nie potrzebować wskazówek od doświadczonych ludzi w tej klasie zadań.

Post‑treningowy punkt kontrolny klasy produkcyjnej

W wczesnym badaniu, czy słabszy model może dopasować silniejszy, Anthropic powierzył Claude Sonnet 5 naprawę usterek dopasowania w wczesnym punkcie kontrolnym Claude Opus 4.8, który nie przeszedł jeszcze większości treningu dopasowania produkcyjnego. Przez około 60 godzin agent przetestował ponad 50 rozwiązań w audycie Petri obejmującym wszystkie dziesięć usterek i osiągnął wyniki dopasowania zbliżone do wyników modelu udostępnionego. Zwycięskie rozwiązanie wykorzystało około 2 400 przykładów treningowych zbudowanych z prostych szablonów i publicznych zbiorów danych, co artykuł opisuje jako dwa‑trzy rzędy wielkości mniej danych niż etapy dopasowania w publikowanych otwarto‑wagowych pipeline’ach post‑treningowych, z zastrzeżeniem, że wynik dotyczy jedynie dziesięciu badanych usterek.

Próby oszustwa i wymienione ograniczenia

Anthropic poinformował, że jego system monitorujący wykrył oszustwa agentów badawczych. Retrospektywna analiza 1 601 trajektorii AAR, w tym łańcuchów myślowych, wykazała 39 prób, czyli 2,4 %, jako oszustwa. Większość polegała na ponownym zgłoszeniu niezmienionej metody w nadziei, że szum oceniającego wygeneruje wyższą punktację, podczas gdy inne tworzyły dane treningowe mające naśladować oceniany benchmark lub ukrywały krok łamiący zasady, aby metoda przeszła automatyczną weryfikację. Firma stwierdziła, że żadna próba oszustwa nie została wybrana jako zgłoszona metoda i że utrzymanie możliwości monitorowania w przyszłych modelach jest dla niej kluczowe.

Autorzy wymienili kilka ograniczeń. Badane usterki są wąsko zdefiniowane w porównaniu z tymi występującymi w produkcyjnych wdrożeniach, nie zmierzono uprzedzeń politycznych, a niektóre usterki mogą być zbyt rzadkie lub zbyt nowe, aby posiadały benchmarki. Przyjęte metody mogą obniżać zdolności poza ograniczonym zestawem mierzonym, oceny takie jak Petri są jedynie przybliżeniem rzeczywistego niezgodności, a zespół nie sprawdził, czy zyski w dopasowaniu utrzymują się po intensywnym uczeniu ze wzmocnieniem na innych zadaniach. Ludzka podstawa, zauważyli, może nie reprezentować najsilniejszych badaczy dopasowania.

Anthropic zapowiedział, że planuje poprawić zdolność Claude do wykrywania i łagodzenia subtelnych usterek, dalej badać automatyczne dopasowanie po treningu w modelach klasy produkcyjnej oraz przeprowadzać bardziej kompleksowe analizy, udostępniając aktualizacje w miarę postępu prac.