Sám sobě jistý, ale špatný: Proč nejchytřejší modely AI jsou nejhorší v korekci svých vlastních chyb

Mnozí v komunitě AI věřili, že další velkou revolucí bude éra samo-vylepšujícího se AI, kde AI bude moci vylepšovat sama sebe bez lidského zásahu. Argument je: jak modely rostou v schopnostech, nakonec se naučí nejen z dat, ale i ze samých sebe. Každá iterace by vylepšila předchozí. Chyby by byly identifikovány, opraveny a odstraněny. S časem by toto zdokonalování mohlo spustit inteligentní explozi, kde AI začne budovat AI. Tento pohled je základem velké části vzrušení kolem rekurentního AI, autonomních agentů a dlouho očekávané inteligentní exploze. V centru tohoto pohledu leží schopnost AI systémů spolehlivě opravovat své vlastní chyby. Bez robustní samo-korekce však nelze dosáhnout samo-vylepšení. Systém, který nemůže rozpoznat, kdy je špatný, nemůže smysluplně se učit ze svých vlastních výstupů, bez ohledu na to, jak moc vypadá.

Předpokládalo se, že samo-korekce by přirozeně vznikla, jakmile modely porostou v schopnostech. Tento předpoklad se zdá intuitivní. Silnější modely znají více, lépe rozumí a fungují dobře napříč úkoly. Nicméně nový výzkum odhalil protichůdný výsledek, že pokročilejší modely často zápasí s opravou svých vlastních chyb, zatímco slabší modely fungují lépe při samo-korekci. Tento jev, známý jako paradox přesnosti a korekce, nás nutí přehodnotit, jak AI systémy rozumí a jak jsme skutečně připraveni na samo-vylepšující se AI.

Pochopení samo-vylepšujícího se AI

Samo-vylepšující se AI se týká AI systému, který může identifikovat své vlastní chyby, naučit se z nich a iterativně vylepšovat své chování. Na rozdíl od tradičních modelů, které se spoléhají pouze na trénovací data vytvořená lidmi, samo-vylepšující se AI by aktivně vyhodnocovalo své vlastní výstupy a přizpůsobovalo se s časem. Teoreticky to vytváří zpětnou smyčku, kde každá učící se smyčka staví na předchozí, vedoucí k tomu, co je často popisováno jako inteligentní exploze.

Ale dosažení tohoto cíle je daleko od triviálního. Samo-vylepšení vyžaduje více než pouhý výpočetní výkon nebo větší datové sady. Vyžaduje spolehlivou samo-hodnocení, včetně schopnosti detekovat chyby, identifikovat jejich zdroje a produkovat opravená řešení. Bez těchto schopností nemůže model rozlišit mezi správnou a chybnou cestou. Iterace na špatném řešení, bez ohledu na to, jak rychle, pouze posiluje chyby místo zlepšování výkonu.

Tento rozdíl je kritický. U lidí se učení z chyb často účastní reflexe, testování hypotéz a korekce. Pro AI musí tyto procesy být zakódovány v systému samotném. Pokud model nemůže spolehlivě rozpoznat a opravit své chyby, nemůže se účastnit smysluplně samo-vylepšující se smyčky, a slib rekurentní inteligence zůstává teoretický spíše než praktický.

Paradox přesnosti a korekce

Samo-korekce je často považována za jedinou schopnost, ale ve skutečnosti kombinuje několik různých schopností, které musí být považovány samostatně. Minimálně můžeme rozdělit na tři měřitelné sub-schopnosti: detekci chyb, lokalizaci chyb nebo detekci zdroje a opravu chyb. Detekce chyb se ptá, zda model může rozpoznat, že jeho výstup je nesprávný. Lokalizace chyb se zaměřuje na identifikaci, kde chyba nastává. Oprava chyb se týká schopnosti produkovat opravené řešení.

Pomocí měření těchto schopností samostatně výzkumníci odhalují důležité poznatky o omezeních současných systémů. Ukazují, že modely se liší široce napříč těmito schopnostmi. Některé modely jsou dobré v detekci chyb, ale špatné v opravě. Jiné modely téměř nerozpoznají chyby, ale přesto je opraví prostřednictvím opakovaných pokusů. Více důležitě, tyto poznatky ukazují, že zlepšení v jedné oblasti nezaručuje zlepšení v ostatních.

Když výzkumníci testovali pokročilejší modely na složitých úkolech matematického uvažování, tyto modely udělaly méně chyb. To bylo očekávané. Co bylo neočekávané, bylo zjištění, že: když tyto modely udělaly chyby, byly méně pravděpodobně opravit je samy. Naopak slabší modely, navzdory tomu, že udělaly více chyb, byly významně lepší v opravě svých chyb bez vnější zpětné vazby. Jinými slovy, výzkumníci zjistili, že přesnost a samo-korekce se pohybují v opačných směrech, paradox, který nazývají paradoxem přesnosti a korekce. Tento výsledek zpochybňuje hluboce zakořeněný předpoklad ve vývoji AI. Často předpokládáme, že škálování modelů zlepšuje každý aspekt inteligence. Paradox ukazuje, že tento předpoklad neplatí vždy, zejména pro introspektivní schopnosti.

Hypotéza o hloubce chyb

Tento paradox vyvolává zjevnou otázku: proč slabší modely překonávají silnější modely v samo-korekci? Výzkumníci našli odpověď zkoumáním typu chyb, které modely dělají. Zjistili, že silnější modely dělají méně chyb, ale chyby, které dělají, jsou “hlubší” a více odolné vůči opravě. Naopak slabší modely dělají “mělké” chyby, které jsou snadno opravíveis během druhého pokusu.

Výzkumníci nazývají tento poznatek hypotézou o hloubce chyb. Kategorizují chyby do tří typů: chyby nastavení, logické chyby a chyby výpočtu. Chyby nastavení zahrnují nesprávnou interpretaci problému. Logické chyby nastávají, když je strukturálně poškozená cesta uvažování. Chyby výpočtu jsou jednoduché aritmetické chyby. Pro GPT-3.5 je většina chyb (62%) jednoduché chyby výpočtu. Tyto jsou mělké chyby. Když je model vyzván k “pečlivému ověření”, často najde chybu a opraví ji. Pro DeepSeek je však 77% chyb chyby nastavení nebo logické chyby. Tyto hluboké chyby vyžadují, aby model fundamentálně přehodnotil svůj přístup. Silné modely s tím mají potíže, protože tendují k ukotvení na svou počáteční cestu uvažování. Jak modely rostou v inteligenci, zůstávají pouze nejodolnější a nejobtížnější chyby.

Proč detekce chyb nezaručuje jejich opravu

Jedním z nejvíce překvapivých zjištění výzkumu je, že detekce chyb nekoreluje se schopností opravovat chyby. Model může správně identifikovat, že jeho odpověď je špatná, a přesto selhat v její opravě. Jiný model může stěží detekovat chyby, ale přesto se zlepšit prostřednictvím opakovaných pokusů. Claude-3-Haiku poskytuje nejvíce dramatický příklad. Claude detekoval pouze 10,1% svých vlastních chyb, nejnižší ze všech testovaných modelů. Navzdory této slabé detekci dosáhl nejvyšší vnitřní korekční míry 29,1%. V porovnání s tím GPT-3.5 detekoval 81,5% svých chyb, ale opravil pouze 26,8%.

To naznačuje, že některé modely mohou “náhodně” opravovat své chyby jednoduše řešením problému prostřednictvím jiné cesty výběru, i když nerozpoznají, že první pokus byl špatný. Tento rozpor je nebezpečný pro nasazení v reálném světě. Když je model příliš sebevědomý a selhává v detekci svých vlastních logických chyb, může prezentovat přesvědčivé, ale zcela nesprávné vysvětlení jako pravdu. V některých případech může vyzvání modelu k identifikaci svých vlastních chyb situaci zhoršit. Když model nesprávně identifikuje, kde šel špatně, ukotví se k poškozenému vysvětlení a zdvojnásobí chybu. Místo pomoci může samo-generovaná nápověda uzamknout model do chybné cesty uvažování. Toto chování odráží lidskou kognitivní předpojatost. Jakmile jsme přesvědčeni, že víme, co šlo špatně, přestáváme hledat hlubší příčiny.

Iterace pomáhá, ale ne stejně

Výzkum také ukazuje, že iterativní reflexe často zlepšuje výsledky, ale ne všechny modely se zlepšují stejným způsobem. Slabší modely se zlepšují významně prostřednictvím opakovaných kol rethinking, protože každé kolo jim dává další šanci opravit své povrchové problémy. Silnější modely ukazují mnohem menší zlepšení z iterace. Jejich chyby nejsou snadno řešitelné prostřednictvím opakování. Bez vnějšího vedení další pokusy často reprodukují stejnou chybnou cestu uvažování v různých slovech. Tento poznatek naznačuje, že techniky samo-vylepšení nejsou univerzálně účinné. Jejich úspěch závisí na povaze chyb, které jsou dělány, ne jen na inteligenci modelu.

Co to znamená pro návrh AI systémů

Tyto poznatky mají praktické důsledky. Zaprvé bychom měli přestat předpokládat, že vyšší přesnost implikuje lepší samo-korekci. Systémy, které se spoléhají na autonomní samo-vylepšení, musí být testovány explicitně pro korekční chování, ne jen pro konečný výkon. Zadruhé mohou různé modely vyžadovat různé intervenční strategie. Slabší modely mohou profitovat z jednoduché verifikace a iterace. Silnější modely mohou vyžadovat vnější zpětnou vazbu, strukturovanou verifikaci nebo nástrojové kontroly, aby překonaly hluboké chyby uvažování. Zatřetí by samo-korekční potrubí měla být chybově vědomá. Pochopení, zda je úloha náchylná k mělkým nebo hlubokým chybám, může informovat, zda samo-korekce pravděpodobně funguje. Nakonec by hodnocení měřítka měla oddělit detekci, lokalizaci a opravu. Zacházení s nimi jako s jediným měřítkem skrývá kritické slabosti, které záleží v reálném nasazení.

Závěrečné shrnutí

Samo-vylepšující se AI závisí nejen na produkci správných odpovědí, ale také na schopnosti rozpoznat, diagnostikovat a revidovat nesprávné odpovědi. Paradox přesnosti a korekce odhaluje, že silnější modely nejsou automaticky lepší v tomto úkolu. Jak modely rostou v schopnostech, jejich chyby rostou hlouběji, jsou těžší k detekci a více odolné vůči samo-korekci. To znamená, že pokrok v škálování modelů sám o sobě nestačí. Pokud chceme AI systémy, které mohou skutečně se učit ze svých vlastních chyb, samo-korekce musí být považována za samostatnou schopnost, explicitně měřenou, trénovanou a podporovanou.