Anthropic twierdzi, że Claude prowadzi 26% prac badawczo‑rozwojowych AI

Anthropic oświadczył, że jego modele Claude „prowadzą” 26 % prac badawczo‑rozwojowych AI firmy na sierpień 2026, w pierwszych wynikach z prototypowego Indeksu Automatyzacji B+R opublikowanych w poście Instytutu Anthropic 17 września 2026.

Wpis, zatytułowany “Pomiary służące zrozumieniu tempa rozwoju sztucznej inteligencji w laboratoriach na przedzie”, łączy indeks z wewnętrznymi metrykami nadzoru nad agentami i przydziału mocy obliczeniowej, a Anthropic powiedziało, że zamierza kontynuować publikowanie takich pomiarów.

Indeks Automatyzacji B+R

Indeks Automatyzacji B+R Anthropic mapuje pełen zakres prac badawczo‑rozwojowych AI realizowanych w firmie, ocenia, jak bardzo zautomatyzowane jest każde zadanie, i łączy te oceny w miarę zbiorczą. Oceny wykorzystują skalę Poziomu Automatyzacji opracowaną przez Epoch AI, zaczynającą się od AL0, oznaczającego brak udziału AI, aż do AL5, w którym AI działa w pełni autonomicznie bez udziału człowieka. Na poziomie AL3 AI „współpracuje”, wykonując duże części zadania pod ścisłym nadzorem człowieka; na poziomie AL4 AI „prowadzi”, realizując większość zadania od wysokopoziomowego polecenia aż do zakończenia, przy jednoczesnym nadzorze człowieka.

Anthropic podał, że na sierpień 2026 Claude „prowadzi” 26 % prac badawczo‑rozwojowych AI, udział prac na poziomie „współpracuje” lub wyższym przekracza 90 %, a Claude nie działa w pełni autonomicznie w żadnym mierzonym podzestawie prac B+R AI. Wykres w poście opisuje udział 26 % „prowadzących” jako wzrost z poniżej 1 % w lutym 2026.

Podstawowy katalog zadań został zbudowany od podstaw przy użyciu zapisów pracy, takich jak Slack i wewnętrzna dokumentacja. Dla każdego tygodnia lipca 2026 agent badawczy Claude przeglądał losowo wybraną tygodniową pracę każdej osoby — 20 % pracowników z każdego działu tworzącego pętlę B+R modeli — i wymieniał zadania, nad którymi pracowali, co dało płaską listę około 15 000 szczegółowych zadań. Claude następnie uporządkował te zadania w hierarchiczne drzewo składające się z 542 węzłów, z czego 378 to liście, takie jak „diagnoza i naprawa usterek platformy ewaluacyjnej”, a drzewo to zostało zamrożone, aby każde pomiar odbywał się na tej samej koszyce prac.

Dla każdego węzła agent Claude bada, jak tego rodzaju praca jest wykonywana w całej firmie, a niezależny sędzia Claude przydziela jeden z sześciu poziomów automatyzacji, ograniczając się do dowodów z ocenianego miesiąca lub wcześniejszych. Zadania są ważone według czasu pracy osób, więc kategorie, w które zaangażowane jest więcej pracowników, mają większą wagę.

Anthropic zweryfikował oceny sędziego z personelem odpowiedzialnym za dane obszary pracy, którzy oceniali bez wglądu w dowody lub oceny modeli, i podał, że zgodność model‑człowiek wyniosła 59 % w porównaniu do 35 % zgodności człowiek‑człowiek, przy czym oceny znajdowały się w granicach jednego poziomu w 97 % przypadków. Wymienione ograniczenia obejmują zamrożoną koszyk, który rejestruje automatyzację istniejącej pracy bez uwzględniania nowych rodzajów zadań; porównanie zadań przybywających od lutego do lipca 2026 względem koszyka z stycznia 2026 nie wykazało wzrostu „nowatorskich” zadań, a Anthropic planuje okresowo odtwarzać koszyk i aktualizować publikowane liczby.

Nadzór nad wewnętrznymi agentami

Drugi zestaw pomiarów obejmuje nadzór Anthropic nad agentami AI w jego systemach. Na sierpień 2026 około 30 000 agentów prowadziło jednocześnie prace badawcze i inżynieryjne na najczęściej używanej wewnętrznej platformie firmy, a zgłoszone pomiary dotyczą wyłącznie tej platformy.

Anthropic podał, że monitory online sprawdzają 100 % działań tych agentów przed ich wykonaniem, zwykle w ciągu kilku sekund; z ponad miliardem decyzji agentów analizowanych w sierpniu 2026, 0,002 % (około 1 na 47 000) zostało zablokowanych, a ludzie przeglądają wszystkie zablokowane działania w ciągu tygodnia. Monitory offline pobierają 100 % działań po ich wykonaniu i oznaczają około 100 000 transkryptów tygodniowo, które wiele klasyfikatorów przegląda pod kątem fałszywych alarmów, rozwiązując większość znakowań; około 50 najważniejszych znakowań tygodniowo jest eskalowanych do przeglądu ludzkiego, a około jeden do dwóch transkryptów na tysiąc jest oznaczanych do dalszej weryfikacji.

Według posta, monitory online są przeznaczone do wykrywania szkód, które mogą wystąpić szybko i nie mogą zostać cofnięte, np. gdy agent skopiuje wagi modelu z systemów Anthropic, natomiast monitory offline celują w niebezpieczne zachowania rozwijające się powoli i dające się odwrócić, takie jak oznaki niezgodności modelu. Anthropic oświadczył, że dwa rozwiązania projektowe w wewnętrznej strukturze wspierają nadzór: każdy agent posiada indywidualną tożsamość, która utrzymuje się po aktualizacjach modelu, oraz agenci komunikują się poprzez wspólny, otwarty system wiadomości powiązany z transkryptami, co umożliwia monitorowanie zachowań między agentami. Firma podała, że METR wcześniej niezależnie przeprowadził testy red‑team swojego platformy monitoringu offline, a te pomiary nadzoru zostały również opublikowane w raporcie ryzyka z sierpnia 2026.

Migawka przydziału mocy obliczeniowej

W ramach trzeciego pomiaru Anthropic przeanalizował, jak wykorzystał całą moc obliczeniową w okresie od 13 do 20 lipca 2026, klasyfikując każde obciążenie w kategorie i mierząc, jaka część mocy przeznaczonej na B+R AI była przeznaczona na bezpieczeństwo. W tym tygodniu Anthropic podał, że około 6 % mocy przeznaczonej na B+R AI było alokowane na bezpieczeństwo, a około 12 % mocy przeznaczonej na AI‑napędzane B+R AI było alokowane na bezpieczeństwo.

Firma opisuje oba szacunki jako celowo konserwatywne: tokeny, które zwiększały możliwości tak samo jak bezpieczeństwo, liczone były jako AI R&D, a klasyfikatory zabezpieczeń, oddzielna i porównywalna ilość mocy obliczeniowej, są wyłączone. Promptowany klasyfikator Claude posortował prawie 10 000 uruchomień treningowych i ewaluacyjnych badania z tygodnia, używając próbki około 14 % ważonej na rzecz największych użytkowników mocy obliczeniowej, a Anthropic podało, że klasyfikator zgadzał się z recenzentami ludzkimi w granicach jednego lub dwóch punktów procentowych.

Wymienione ograniczenia to fakt, że pojedynczy tydzień pokazuje, że pomiar jest wykonalny, ale nie ustanawia trendu, że etykiety obciążeń podstawowych są najlepszymi staraniami i niezweryfikowane, oraz że udział mocy obliczeniowej mierzy, co zostało wydane, a nie ilość wykonanej pracy nad bezpieczeństwem.

Cel i kolejne kroki

Anthropic oświadczyło, że publikuje te pomiary, ponieważ dają one opinii publicznej, podmiotom zewnętrznym i rządom jaśniejsze spojrzenie na tempo rozwoju AI w laboratoriach na czele, uzupełniając raporty ryzyka z Polityki Odpowiedzialnego Skalowania oraz propozycję polityki Ramy Zaawansowanej AI. Zauważyło, że liczby mogłyby ulec zmianie, gdyby nastąpiła koordynacja tempa rozwoju frontu, o co wzywa CEO Dario Amodei.

W poście stwierdzono, że każdy deweloper frontu mógłby regularnie publikować te same miary przy użyciu publicznej metodologii, i wskazano dwa przeszkody w porównaniach między laboratoriami: brak wspólnej metodologii oraz używanie własnych modeli przez dewelopera do oceny swoich systemów. Stwierdzono, że takie miary mogłyby być weryfikowane przez podmioty trzecie lub modele innych deweloperów, i mogłyby stać się wyzwalaczem silniejszych wymagań, takich jak ustalone okno testowe przed wdrożeniem nowego modelu w dalsze AI R&D.

Anthropic poinformowało, że planuje włączyć niezależnych oceniających zewnętrznych z wielu organizacji, dając im dostęp do wewnętrznych procesów, systemów i danych porównywalnych z tymi, które posiadają wewnętrzne zespoły oceny ryzyka, w celu weryfikacji praktyk bezpieczeństwa, raportowania incydentów i śledzenia kluczowych wskaźników, takich jak te wymienione w poście. Artykuł został współautorski autorstwa Mariny Favaro i Phillie Wright, przy kierownictwie badawczym Jacka Clarka.