Pewnie źle: Dlaczego najbardziej zaawansowane modele AI są najgorsze w korygowaniu samych siebie

Wiele osób w społeczności AI wierzy, że następna wielka rewolucja będzie erą samodoskonalącego się AI, w której AI będzie mogło się doskonalić bez interwencji człowieka. Argument brzmi: im modele stają się bardziej zaawansowane, tym będą uczyć się nie tylko z danych, ale także od siebie. Każda iteracja będzie udoskonalać poprzednią. Błędy będą wykrywane, korygowane i eliminowane. Z czasem ten kumulatywny postęp może wywołać wybuch inteligencji, w którym AI zacznie budować AI. Ten wizja leży u podstawy entuzjazmu wokół rekurencyjnego AI, autonomicznych agentów i długo oczekiwanego wybuchu inteligencji. W centrum tej wizji leży zdolność systemów AI do niezawodnego korygowania własnych błędów. Jednak bez solidnej samokorekty, samodoskonalenie nie może być osiągnięte. System, który nie może rozpoznać, kiedy jest źle, nie może w sposób znaczący uczyć się ze swoich własnych wyników, niezależnie od tego, jak potężny wydaje się.

Przeważające założenie było takie, że samokorekta pojawi się naturalnie, gdy modele staną się bardziej zaawansowane. To przekonanie wydaje się intuicyjne. Przecież silniejsze modele wiedzą więcej, lepiej rozumieją i dobrze radzą sobie z zadaniami. Jednak najnowsze badania ujawniają sprzeczne odkrycie, że bardziej zaawansowane modele często mają trudności w korygowaniu własnych błędów, podczas gdy słabsze modele radzą sobie lepiej z samokorektą. To zjawisko, znane jako paradoks dokładności-korekty, zmusza nas do przemyślenia nie tylko tego, jak systemy AI rozumują, ale także jak bardzo jesteśmy naprawdę przygotowani do samodoskonalącego się AI.

Poznanie samodoskonalącego się AI

Samodoskonalące się AI odnosi się do systemu AI, który może identyfikować własne błędy, uczyć się z nich i iteratywnie udoskonalać swoje zachowanie. W przeciwieństwie do tradycyjnych modeli, które polegają wyłącznie na danych szkoleniowych opracowanych przez ludzi, samodoskonalące się AI aktywnie oceniają własne wyniki i adaptują się w czasie. W teorii tworzy to pętlę sprzężenia zwrotnego, w której każdy cykl uczenia się opiera się na poprzednim, dając początek temu, co często nazywa się wybuchem inteligencji.

Ale osiągnięcie tego celu jest daleko od trywialnego. Samodoskonalenie wymaga więcej niż surowa moc obliczeniowa lub większe zestawy danych. Wymaga niezawodnej samooceny, w tym zdolności do wykrywania błędów, identyfikowania ich źródeł i generowania poprawionych rozwiązań. Bez tych zdolności model nie może odróżnić drogi rozumowania poprawnej od błędnej. Iterowanie nad błędnym rozwiązaniem, niezależnie od tego, jak szybko, tylko wzmacnia błędy, zamiast poprawiać wyniki.

To rozróżnienie jest krytyczne. U ludzi uczenie się z błędów często wiąże się z refleksją, testowaniem hipotez i korektą kursu. Dla AI te procesy muszą być zakodowane w samym systemie. Jeśli model nie może niezawodnie rozpoznać i skorygować swoje błędy, nie może wziąć udziału w znaczący sposób w pętli samodoskonalenia, a obietnica rekurencyjnej inteligencji pozostaje teoretyczna, a nie praktyczna.

Paradoks dokładności-korekty

Samokorekta jest często traktowana jako pojedyncza zdolność, ale w rzeczywistości łączy kilka odrębnych zdolności, które muszą być rozważane oddzielnie. Co najmniej możemy je podzielić na trzy mierzalne podzdolności: wykrywanie błędów, lokalizację błędów lub wykrywanie źródła, oraz korektę błędów. Wykrywanie błędów pyta, czy model może rozpoznać, że jego wynik jest niepoprawny. Lokalizacja błędów koncentruje się na identyfikowaniu, gdzie występuje błąd. Korekta błędów odnosi się do zdolności do generowania poprawionego rozwiązania.

Poprzez mierzenie tych zdolności oddzielnie, badacze ujawniają ważne spostrzeżenia na temat ograniczeń obecnych systemów. Pokazują one, że modele znacznie różnią się w tych zdolnościach. Niektóre modele są dobre w wykrywaniu błędów, ale słabe w ich korygowaniu. Inne ledwo rozpoznają błędy, a jednak udaje im się je skorygować poprzez powtarzające się próby. Co więcej, te spostrzeżenia ujawniają, że poprawa w jednej dziedzinie nie gwarantuje poprawy w innych.

Gdy badacze testowali zaawansowane modele na złożonych zadaniach rozumowania matematycznego, te modele popełniały mniej błędów. To było oczekiwane. Co było nieoczekiwane, to fakt, że: gdy te modele popełniały błędy, były mniej skłonne do ich samodzielnego korygowania. Odwrotnie, słabsze modele, pomimo popełniania więcej błędów, były znacznie lepsze w ich korygowaniu bez zewnętrznej informacji zwrotnej. Innymi słowy, badacze stwierdzili, że dokładność i samokorekta poruszają się w przeciwnych kierunkach, paradoks, który nazywają paradoksem dokładności-korekty. To odkrycie kwestionuje głęboko utrwalone przekonanie w rozwoju AI. Często zakładamy, że skalowanie modeli poprawia każdy aspekt inteligencji. Paradoks pokazuje, że to założenie nie zawsze jest prawdziwe, szczególnie dla introspekcyjnych zdolności.

Hipoteza głębokości błędu

Ten paradoks podnosi oczywiste pytanie: dlaczego słabsze modele przewyższają silniejsze w samokorekcie? Badacze znajdują odpowiedź, badając typ błędów, które popełniają modele. Stwierdzili, że silniejsze modele popełniają mniej błędów, ale błędy, które popełniają, są “głębsze” i bardziej odporne na korektę. Odwrotnie, słabsze modele popełniają “płytsze” błędy, które są łatwo naprawialne podczas drugiego przejścia.

Badacze nazywają to spostrzeżenie hipotezą głębokości błędu. Kategoryzują błędy na błędy ustawień, błędy logiczne i błędy obliczeniowe. Błędy ustawień dotyczą nieprawidłowej interpretacji problemu. Błędy logiczne występują, gdy ścieżka rozumowania jest strukturalnie wadliwa. Błędy obliczeniowe są proste pomyłki arytmetyczne. Dla GPT-3.5 większość błędów (62%) to proste błędy obliczeniowe. Są to płytsze błędy. Gdy model jest nakłoniony do “starannego sprawdzenia”, często może znaleźć błąd arytmetyczny i go skorygować. Dla DeepSeek 77% błędów to błędy ustawień lub błędy logiczne. Są to głębokie błędy. Wymagają one, aby model fundamentalnie przemyślał swoje podejście. Silne modele mają trudności z tym, ponieważ mają tendencję do kotwiczenia w swojej pierwotnej ścieżce rozumowania. Im model staje się bardziej inteligentny, tym tylko najbardziej wytrzymałe i trudne błędy pozostają.

Dlaczego wykrywanie błędów nie gwarantuje ich korekty

Jednym z najbardziej zaskakujących odkryć badania jest to, że wykrywanie błędów nie koreluje z możliwością ich korekty. Model może poprawnie zidentyfikować, że jego odpowiedź jest błędna, a jednak nie być w stanie jej skorygować. Inny model może ledwo wykryć błędy, a jednak poprawiać się poprzez powtarzające się rozwiązywanie. Claude-3-Haiku dostarcza najbardziej dramatyczny przykład. Claude wykrył tylko 10,1% swoich własnych błędów, najniższy poziom wśród wszystkich przetestowanych modeli. Pomimo tego słabego wykrywania, osiągnął najwyższy wewnętrzny wskaźnik korekty na poziomie 29,1%. W porównaniu GPT-3.5 wykrył 81,5% swoich błędów, ale skorygował tylko 26,8%.

To sugeruje, że niektóre modele mogą “przypadkowo” skorygować swoje błędy, po prostu rozwiązując problem przez inną ścieżkę próbkowania, nawet jeśli nie rozpoznają, że pierwsza próba była błędna. To rozłączenie jest niebezpieczne dla wdrożenia w świecie rzeczywistym. Gdy model jest zbyt pewny siebie i nie potrafi wykryć swoich własnych błędów logicznych, może przedstawić prawdopodobne, ale całkowicie błędne wyjaśnienie jako prawdę. W niektórych przypadkach nakłonienie modelu do identyfikacji własnych błędów może pogorszyć sytuację. Gdy model błędnie identyfikuje, gdzie popełnił błąd, kotwiczy się w błędnym wyjaśnieniu i utrwala błąd. Zamiast pomagać, samogenerowane wskazówki mogą zamknąć model w błędnej ścieżce rozumowania. To zachowanie przypomina ludzkie skrzywienie poznawcze. Gdy już wierzymy, że wiemy, co poszło nie tak, przestajemy szukać głębszych przyczyn.

Iteracja pomaga, ale nie równo

Badanie pokazuje również, że iteracyjna refleksja często poprawia wyniki, ale nie wszystkie modele korzystają z tego w tym samym stopniu. Słabsze modele korzystają znacznie z wielu rund przemyśleń, ponieważ każda iteracja daje im kolejną szansę na skorygowanie powierzchniowych problemów. Silniejsze modele pokazują znacznie mniejsze zyski z iteracji. Ich błędy nie są łatwo rozwiązywalne przez powtarzanie. Bez zewnętrznej wskazówki, dodatkowe próby często odtwarzają tę samą wadliwą ścieżkę rozumowania w innych słowach. To spostrzeżenie sugeruje, że techniki samodoskonalenia nie są powszechnie skuteczne. Ich powodzenie zależy od natury popełnianych błędów, a nie tylko od inteligencji modelu.

Co to oznacza dla projektowania systemów AI

Te spostrzeżenia niosą praktyczne implikacje. Po pierwsze, powinniśmy przestać zakładać, że wyższa dokładność oznacza lepszą samokorektę. Systemy, które polegają na autonomicznym samodoskonaleniu, muszą być testowane wyraźnie pod kątem zachowania korekty, a nie tylko końcowych wyników. Po drugie, różne modele mogą wymagać różnych strategii interwencji. Słabsze modele mogą korzystać z prostych weryfikacji i iteracji. Silniejsze modele mogą wymagać zewnętrznej informacji zwrotnej, strukturalnej weryfikacji lub narzędziowych kontroli, aby pokonać głębokie błędy logiczne. Po trzecie, potoki samokorekty powinny być świadome błędów. Zrozumienie, czy zadanie jest podatne na płytsze czy głębsze błędy, może poinformować, czy samokorekta jest prawdopodobnie skuteczna. Wreszcie, wskaźniki oceny powinny oddzielać wykrywanie, lokalizację i korektę. Traktowanie ich jako jednej miary ukrywa krytyczne słabości, które mają znaczenie w wdrożeniach w świecie rzeczywistym.

Podsumowanie

Samodoskonalące się AI zależą nie tylko od generowania poprawnych odpowiedzi, ale także od zdolności do rozpoznania, zdiagnozowania i skorygowania niepoprawnych. Paradoks dokładności-korekty ujawnia, że silniejsze modele nie są automatycznie lepsze w tym zadaniu. Im modele stają się bardziej zaawansowane, tym ich błędy stają się głębsze, trudniejsze do wykrycia i bardziej odporne na samokorektę. To oznacza, że postęp w skalowaniu modeli sam w sobie nie jest wystarczający. Jeśli chcemy systemów AI, które mogą naprawdę uczyć się ze swoich własnych błędów, samokorekta musi być traktowana jako odrębna zdolność, wyraźnie mierzona, trenowana i wspierana.