Modely a platformy AI
Meta’s COCONUT: Metoda AI, která myslí bez jazyka
Přidejte Unite.AI mezi své preferované zdroje na Google
Když výzkumníci poprvé objevili, že velké jazykové modely (LLM) mohou “myslet” krok za krokem prostřednictvím řetězové myšlení, byla to průlomová chvíle – konečně jsme mohli nahlédnout do myšlení těchto černých skříněk. Ale co když vám řeknu, že nutit AI modely myslet v přirozeném jazyce může být omezující?
To je to, co výzkumníci z Meta a UC San Diego objevili se svou novou metodou COCONUT (Chain of Continuous Thought).
Představte si, že se snažíte vyřešit složitý matematický problém, zatímco musíte vyslovit každý jednotlivý krok nahlas. Otravné, že?
Když nutíme AI modely myslet v přirozeném jazyce:
- Většina tokenů, které generují, jsou pouze lingvistické spojky – slova jako “proto”, “další” a “v důsledku”, která přidávají nulovou hodnotu myšlení
- Kritické rozhodovací body jsou omezeny potřebou závazku ke specifickým slovům
- Model tráví značné výpočetní úsilí na udržování gramatické koherence místo skutečného řešení problému
Výzkumníci objevili něco zajímavého ve svých neuroimagingových studiích: když lidé řeší složitá myšlení, jazykové centra našich mozků jsou často překvapivě tichá. Ale my jsme stavěli AI systémy, které dělají opak – nutí je přeložit každý myšlení krok do slov.
Zamyslete se, jak řešíte puzzle. Vaše mysl pravděpodobně prozkoumává multiple možnosti současně, udržuje fuzzy hypotézy a pouze krystalizuje své myšlenky do jazyka, když sdílíte řešení. Ale tradiční řetězové myšlení nutí AI modely verbalizovat každý mezilehlý krok, vytvářející “lingvistickou láhevku.”
Tato myšlenka vedla k přesvědčivé otázce: Co kdybychom mohli nechat AI modely myslet v jejich přirozeném “jazyce” – kontinuálním, vysokodimenzionálním prostoru jejich skrytých stavů – místo nutit je přeložit vše do tokenů?
Pochopení inovace COCONUT
Představte si rozdíl mezi vyslovením svých myšlenek nahlas a skutečným mentálním procesem, který se děje ve vašem mozku. Ta mezera – mezi verbalizovanými myšlenkami a neuronální aktivitou – je přesně to, co výzkumníci z Meta objevili s COCONUT.
Skutečný průlom COCONUT spočívá v tom, že umožňuje AI modelům myslet dvěma rozdílnými způsoby, podobně jako lidé. Zamyslete se, když řešíte složitý puzzle – nemluvите každý možný krok v hlavě, že?
- Přijetí problému: Přijmete informace (jako čtení pravidel puzzle)
- Myslení potichu: Vaše mozek prozkoumává multiple možnosti bez toho, aby je vyjádřil slovy
- Sdílení řešení: Teprve poté vyjádříte své myšlení ostatním
COCONUT dává AI modelům tuto samou přirozenou flexibilitu. Místo nutit je “mluvit” každý myšlenkový proces (jako tradiční metody) umožňuje jim myslet v jejich přirozeném neuronálním prostoru – co výzkumníci nazývají “latentním prostorem.”
Model hladce přepíná mezi dvěma režimy:
- Když potřebuje pochopit otázky nebo poskytnout odpovědi, používá běžný jazyk
- Ale pro skutečný myšlení proces? Používá čisté neuronové vzory, volné od omezení slov
Obrázek: Meta
Cesta školení
Jedním z nejzajímavějších aspektů COCONUT je jeho školicí program. Co dělá tento program speciálním, je to, že odráží přirozený postup učení. Zamyslete se, jak učíme komplexní dovednosti – nevrháme někoho do hluboké vody okamžitě. Postupně přidáváme složitost, jakmile zvládne každý level.
Výzkumníci použili přesně tento přístup s COCONUT:
Stupeň 1: Základ
Nejdříve se model učí jako každý jiný AI – prostřednictvím tradičního řetězového myšlení. To mu dává pevné základní pochopení.
Stupeň 2: Přechod
Zde se věci stávají zajímavými. Postupně se psané myšlení kroky nahrazují kontinuálními myšlenkami. Představte si, že pomalu odstraňujete tréninková kola, dovolíte modelu vyvinout své vlastní vnitřní myšlení vzory.
Stupeň 3: Rovnováha
Nakonec se model učí hladce přepínat mezi hlubokým myšlením v latentním prostoru a komunikací svých poznatků v jasném jazyce.
Během školení model vyvinul schopnosti, které nikdo výslovně nenaprogramoval – jako například zvažování více myšlení cest současně. Tato vznikající chování je zvláště zajímavá, protože naznačuje, že můžeme být blíže k více přirozeným formám AI myšlení. Jsou to tyto neočekávané vývojové procesy, které často vedou k největším průlomům.
Pamatujete si ty neuroimagingové studie, o kterých jsem zmínil dříve? Ukázaly, že lidské mozek často zpracovávají složitá myšlení úkoly bez silného zapojení jazykových center. COCONUT se zdá být vyvíjí podobné vzory – hluboké myšlení v jeho přirozeném neuronálním prostoru a pouze převádí do jazyka, když je to potřeba pro komunikaci.
Čísla vyprávějí příběh
Několik dalších klíčových zjištění vyniká z výzkumu:
- Matematické slovní problémy (GSM8k): Zde COCONUT dosáhl 34,1% přesnosti. I když to klesá pod tradiční Chain-of-Thought (42,9%), je to výrazně lepší než základní přístupy.
- Logické dedukce (ProntoQA): COCONUT dosáhl 99,8% přesnosti, překonává tradiční Chain-of-Thought (98,8%). Ale tady je ten háček – udělal to, zatímco používal pouze 9 tokenů ve srovnání s CoT (92,5).
- Složitý plán (ProsQA): Nejlepší výsledky přišly z tohoto pokročilého testu myšlení. COCONUT dosáhl 97% přesnosti, zatímco tradiční metody dosáhly pouze 77,5%. A opět, udělal to s pozoruhodnou efektivitou – 14,2 tokenů ve srovnání s 49,4.
Co dělá tyto výsledky slibnými, není pouze číselná hodnota – je to to, co odhalují o různých typech myšlení. Zatímco COCONUT může stále hledat své místo v matematickém myšlení, vyniká v úkolech, které vyžadují komplexní logické plánování a dedukci.
COCONUT reprezentuje fundamentální přehodnocení toho, jak AI systémy mohou myslet, a přivádí nás blíže k více přirozeným, efektivním a silným formám umělých inteligencí. Cesta od jazykového myšlení k kontinuálnímu myšlení je krokem směrem k více schopným a efektivním AI systémům.
