Modele și platforme AI
Metoda COCONUT a lui Meta: Metoda de inteligență artificială care gândește fără limbaj
Adaugă Unite.AI la sursele tale preferate pe Google
Când cercetătorii au descoperit pentru prima dată că modelele lingvistice mari (LLM) pot “gândi” pas cu pas prin intermediul lanțului de gândire, a fost un moment deosebit – în sfârșit, am putut să aruncăm o privire în procesul de raționament al acestor cutii negre. Dar ce dacă v-aș spune că faptul de a face modelele de inteligență artificială să gândească în limbaj natural ar putea să le împiedice?
Acesta este ceea ce au descoperit cercetătorii de la Meta și UC San Diego cu noua metodă COCONUT (Lanț de gândire continuă).
Imaginați-vă încercând să rezolvați o problemă matematică complexă, fiind forțați să narrați fiecare pas cu voce tare. Înfricoșător, nu?
Când facem modelele de inteligență artificială să raționeze prin limbaj natural:
- Majoritatea token-urilor pe care le generează sunt doar “lipici” lingvistic – cuvinte precum “prin urmare”, “următorul” și “în consecință” care nu adaugă nicio valoare de raționament
- Punctele critice de decizie sunt blocate de nevoia de a se angaja în cuvinte specifice
- Modelul cheltuie o cantitate semnificativă de efort computațional pentru a menține coerența gramaticală, în loc de rezolvarea reală a problemelor
Cercetătorii au descoperit ceva interesant în studiile lor de neuroimagistică: atunci când oamenii abordează sarcini complexe de raționament, centrele lingvistice ale creierului nostru rămân adesea surprinzător de liniștite. Și totuși, am construit sisteme de inteligență artificială care fac exact opusul – forțându-le să traducă fiecare pas de raționament în cuvinte.
Gândiți-vă la modul în care rezolvați o puzzle. Mintea dvs. probabil explorează multiple posibilități simultan, menține ipoteze fuzzy și cristalizează gândurile în limbaj doar atunci când împărtășiți soluția. Dar abordările tradiționale de lanț de gândire forțează modelele de inteligență artificială să verbalizeze fiecare pas intermediar, creând un “bottleneck lingvistic”.
Această idee a condus la o întrebare convingătoare: și dacă am putea lăsa modelele de inteligență artificială să raționeze în “limbajul” lor nativ – spațiul continuu, de înaltă dimensiune, al stărilor lor ascunse – în loc de a le forța să traducă totul în token-uri?
Înțelegerea inovației COCONUT
Imaginați-vă diferența dintre a exprima gândurile cu voce tare și procesul mental real care are loc în creier. Acea diferență – între gândurile verbalizate și activitatea neurală – este exact ceea ce cercetătorii de la Meta au descoperit cu COCONUT.
Adevărata inovație a COCONUT constă în faptul că permite modelelor de inteligență artificială să gândească în două moduri distincte, la fel ca oamenii. Gândiți-vă la momentul în care rezolvați o puzzle complexă – nu narrați fiecare mutare posibilă în mintea dvs., nu?
- Absorbiți problema: Luați în considerare informațiile (cum ar fi citirea regulilor puzzle-ului)
- Gândiți-vă în tăcere: Creierul dvs. explorează multiple posibilități fără a le pune în cuvinte
- Comunicați soluția: Abia atunci explicați gândirea dvs. altora
COCONUT oferă modelelor de inteligență artificială aceeași flexibilitate naturală. În loc de a le forța să “vorbească” fiecare gând cu voce tare (cum fac metodele tradiționale), le permite să gândească în spațiul neural nativ – ceea ce cercetătorii numesc “spațiul latent”.
Modelul trece lin între două moduri:
- Când trebuie să înțeleagă întrebări sau să ofere răspunsuri, folosește limbajul obișnuit
- Dar pentru procesul real de gândire? Folosește pur și simplu modele neurale, eliberate de constrângerile cuvintelor
Imagine: Meta
Călătoria de antrenament
Unul dintre cele mai fascinante aspecte ale COCONUT este curriculumul său de antrenament. Ceea ce face acesta special este modul în care reflectă progresia naturală a învățării. Gândiți-vă la modul în care învățăm abilități complexe – nu aruncați pe cineva direct în apă, ci îl faceți să progreseze gradual, adăugând complexitate pe măsură ce stăpânește fiecare nivel.
Cercetătorii au adoptat exact această abordare cu COCONUT:
Etapa 1: Fundația
Mai întâi, modelul învață ca orice alt model de inteligență artificială – prin raționamentul tradițional de lanț de gândire. Acesta îi oferă o bază solidă de înțelegere.
Etapa 2: Tranziția
Aici lucrurile devin interesante. Treptat, pașii de raționament scriși devin înlocuiți cu gânduri continue. Imaginați-vă îndepărtând încet roțile de antrenament, permițând modelului să dezvolte propriile sale modele de gândire interne.
Etapa 3: Echilibrul
În final, modelul învață să treacă fără efort între gândirea profundă în spațiul latent și comunicarea insight-urilor sale în limbaj clar.
Pe parcursul antrenamentului, modelul a dezvoltat abilități pe care nimeni nu le-a programat explicit – cum ar fi considerarea simultană a mai multor căi de raționament. Acest comportament emergent este deosebit de interesant, deoarece sugerează că ne putem apropia de forme mai naturale de raționament al inteligenței artificiale. Sunt aceste dezvoltări neașteptate care duc adesea la cele mai mari descoperiri.
Amintiți-vă studiile de neuroimagistică pe care le-am menționat mai devreme? Ele au arătat că creierul uman procesează adesea sarcini complexe de raționament fără a implica puternic centrele lingvistice. COCONUT pare să dezvolte modele similare – gândind profund în spațiul neural nativ și convertind în limbaj doar atunci când este necesar pentru comunicare.
Numerele spun o poveste
Câteva descoperiri cheie mai ies în evidență din cercetare:
- Probleme de matematică cu cuvinte (GSM8k): Aici, COCONUT a obținut o acuratețe de 34,1%. Deși acest lucru este sub acuratețea tradițională a lanțului de gândire (42,9%), este semnificativ mai bun decât abordările de bază.
- Deducție logică (ProntoQA): COCONUT a atins o acuratețe de 99,8%, depășind ușor acuratețea tradițională a lanțului de gândire (98,8%). Dar aici este partea interesantă – a făcut acest lucru folosind doar 9 token-uri, comparativ cu 92,5 ale CoT.
- Planificare complexă (ProsQA): Rezultatele cele mai impresionante au venit din testul avansat de raționament. COCONUT a obținut o acuratețe de 97%, în timp ce metodele tradiționale au atins doar 77,5%. Și din nou, a făcut acest lucru cu o eficiență remarcabilă – 14,2 token-uri versus 49,4.
Ceea ce face aceste rezultate promițătoare nu este doar numărul brut, ci și ceea ce dezvăluie despre diferitele tipuri de gândire. În timp ce COCONUT poate încă să-și găsească picioarele în ceea ce privește raționamentul matematic, excelează la sarcini care necesită planificare logică complexă și deducție.
COCONUT reprezintă o reevaluare fundamentală a modului în care sistemele de inteligență artificială pot raționa și ne apropie de forme mai naturale, mai eficiente și mai puternice de inteligență artificială. Călătoria de la raționamentul bazat pe limbaj la gândire continuă este un pas către sisteme de inteligență artificială mai capabile și mai eficiente.
