Test-Time Scaling: Secretul din spatele noii valuri de modele de raționament de nivel PhD

Domeniul inteligenței artificiale a ajuns la un punct în care simpla adăugare de date sau creșterea dimensiunii unui model nu mai este cea mai bună modalitate de a-l face mai inteligent. În ultimii ani, am crezut că, dacă construim rețele neuronale mai mari și le hrănim cu mai mult conținut de pe internet, ele vor deveni în cele din urmă mai inteligente. Această abordare, cunoscută sub numele de legi de scalare, a funcționat remarcabil de bine. Ne-a oferit modele care pot scrie poezii, traduce limbi și promovează examenele de barou. Cu toate acestea, aceste modele au avut adesea dificultăți cu logica profundă, matematica complexă și problemele științifice cu mai multe etape. Ei au fost excelenți la recunoașterea modelelor, dar adesea au eșuat la problemele care necesită raționament multi-etapă.

În ultima vreme, a apărut o nouă tendință care schimbă modul în care gândim despre capacitățile AI. Această tendință se numește scalare la momentul testării. În loc de a se concentra doar pe cât învață un model în timpul fazei de antrenament, cercetătorii se concentrează acum pe cât “gândește” modelul atunci când răspunde la o întrebare. Această schimbare este secretul din spatele noii valuri de modele de raționament, cum ar fi seria o1 de la OpenAI, care acum funcționează la nivelul studenților PhD în subiecte dificile, cum ar fi fizica, chimia și biologia.

Trecerea de la scalarea antrenamentului la scalarea inferenței

Pentru a înțelege de ce aceasta este o schimbare majoră, trebuie să privim la modul în care a fost construită inteligența artificială până acum. În mod tradițional, “inteligența” unui model a fost determinată pe baza antrenamentului său. Acest lucru a implicat cheltuirea de luni și milioane de dolari pentru a rula cantități masive de date prin mii de GPU. Odată ce antrenamentul a fost finalizat, modelul a fost, în esență, înghețat. Când îi puneai o întrebare, el oferea un răspuns aproape instantaneu, pe baza modelelor pe care le învățase deja. Acesta este ceea ce numim inferență sau testare.

Problema cu această abordare tradițională este că modelul are doar o singură șansă de a oferi răspunsul corect. El procesează promptul și generează tokeni unul după altul, fără a avea posibilitatea de a “gândi” sau “verifica” logica sa înainte de a răspunde. Scalarea la momentul testării schimbă această dinamică. Ea permite modelului să utilizeze mai multă putere de calcul în timpul fazei de inferență. La fel cum un om ar putea lua câteva secunde pentru a răspunde la o întrebare simplă, dar câteva minute sau ore pentru a rezolva o problemă matematică complexă, modelele de inteligență artificială sunt acum proiectate pentru a-și scala efortul în funcție de dificultatea sarcinii.

Definirea conceptului de scalare la momentul testării

Scalarea la momentul testării se referă la tehnicile care permit unui model de inteligență artificială să utilizeze resurse de calcul suplimentare pentru a procesa o solicitare în momentul livrării. În termeni simpli, aceasta înseamnă oferirea modelului mai mult “timp de gândire”. Acest lucru nu se referă la faptul de a face modelul mai mare; se referă la faptul de a face modelul mai deliberat. Când un model utilizează scalarea la momentul testării, el nu produce doar primul răspuns care îi vine în minte. În schimb, el poate explora diferite căi, verifica erorile din propria logică și rafina răspunsul înainte ca utilizatorul să îl vadă.

Acest concept este adesea comparat cu modul în care funcționează creierul uman. Psihologii vorbesc adesea despre “Sistemul 1” și “Sistemul 2” de gândire. Sistemul 1 este rapid, instinctiv și emoțional. Este ceea ce folosiți atunci când recunoașteți un chip sau conduceți o mașină pe o rută familiară. Sistemul 2 este mai lent, mai deliberat și logic. Este ceea ce folosiți atunci când rezolvați o ecuație matematică dificilă sau planificați un proiect complex. Până de curând, modelele de limbaj mare erau în principal gânditori de tip Sistem 1. Scalarea la momentul testării este podul care le permite să acceseze gândirea de tip Sistem 2.

Mecanica procesului de raționament

Există mai multe moduri în care cercetătorii realizează scalarea la momentul testării. Una dintre cele mai comune metode se numește Lanț de gânduri (CoT) promptări, dar în aceste noi modele, este integrat direct în sistem, în loc să fie ceva pe care utilizatorul trebuie să o solicite. Modelul este antrenat să descompună o problemă în etape logice mai mici. Prin aceasta, modelul poate verifica fiecare parte a soluției înainte de a trece la următoarea.

O altă tehnică importantă implică algoritmi de căutare, cum ar fi Căutarea Monte Carlo Tree. În loc de a prezice doar următorul cuvânt cel mai probabil, modelul generează multiple căi posibile pentru un răspuns. El evaluează aceste căi și determină care dintre ele este cel mai probabil să ducă la o soluție corectă. Dacă ajunge la un impas sau realizează că o etapă anterioară a fost greșită, el poate reveni și încerca o abordare diferită. Această capacitate de “a privi înainte” este foarte similară cu modul în care un motor de șah evaluează mii de mutări posibile înainte de a alege cea mai bună. Prin căutarea în multiple posibilități în timpul fazei de inferență, modelul poate rezolva probleme mult mai complexe decât cele care pot fi rezolvate direct utilizând un model de limbaj mare standard.

De ce raționamentul de nivel PhD necesită mai mult decât memoria

Motivul pentru care acest lucru este atât de important este că raționamentul de nivel înalt în știință și matematică nu poate fi rezolvat doar prin memorie. La un examen de fizică de nivel PhD, nu poți doar repeta un fapt pe care l-ai citit într-un manual. Trebuie să aplicați principii complexe la o situație nouă și unică. Modelele standard adesea “halucinează” în aceste scenarii, deoarece încearcă să prezică următorul cuvânt pe baza probabilității, în loc de logică.

Scalarea la momentul testării permite modelului să acționeze mai mult ca un cercetător. El poate testa ipoteze intern. De exemplu, dacă un model este solicitat să scrie un cod complex, el poate “rula” logica în lanțul său ascuns de gânduri, identifica o posibilă eroare și o corecta înainte de a prezenta codul final. Această capacitate de auto-corectare este ceea ce permite noii valuri de modele să obțină scoruri ridicate la benchmark-uri precum Examenul de matematică invitational american (AIME) sau GPQA (un test științific dificil, proiectat de experți). Ei nu doar ghicesc; ei verifică.

Schimbul de eficiență și costuri de calcul

În timp ce scalarea la momentul testării este puternică, ea vine cu un cost semnificativ. În modul tradițional de a face lucrurile, partea cea mai scumpă a inteligenței artificiale a fost antrenamentul. Odată ce modelul a fost implementat, rularea lui a fost relativ ieftină și rapidă. Cu scalarea la momentul testării, costul se deplasează către solicitarea utilizatorului. Deoarece modelul face mai multă muncă, generând multiple căi și verificând propria sa muncă, el necesită mai mult timp pentru a răspunde și necesită resurse hardware suplimentare.

Acest lucru creează o nouă economie pentru inteligența artificială. Ne îndreptăm către o situație în care “costul pe solicitare” poate varia foarte mult. O întrebare simplă despre vreme poate costa o fracțiune de cent și poate dura o secundă. O anchetă științifică profundă poate costa câteva dolari în timp de calcul și poate dura o oră pentru a fi procesată. Acest schimb este necesar pentru a obține un raționament de nivel înalt, dar el înseamnă și că dezvoltatorii trebuie să găsească modalități de a face aceste modele eficiente, astfel încât ele să poată fi utilizate la scară în industrii precum medicina sau ingineria.

Impactul asupra viitorului inteligenței artificiale

Apariția scalării la momentul testării sugerează că putem intra într-o nouă eră de dezvoltare a inteligenței artificiale. De ani de zile, a existat o îngrijorare că, în cele din urmă, vom rămâne fără date de înaltă calitate pentru a antrena modele. Dacă modelele învață doar din ceea ce au scris oamenii, ele ar putea atinge un plafon. Cu toate acestea, scalarea la momentul testării arată că modelele pot îmbunătăți performanța lor, gândind mai mult, nu doar citind mai mult.

Acest lucru deschide ușa pentru ca inteligența artificială să facă propriile descoperiri. Dacă un model poate raționa printr-o problemă pe care nu a văzut-o niciodată înainte, el poate, în mod potențial, găsi soluții noi în știința materialelor, descoperirea de medicamente sau energia regenerabilă. El mută inteligența artificială de la a fi un asistent util care rezumă textul la a fi un colaborator digital care poate ajuta la rezolvarea problemelor cele mai grele ale lumii. Ne mișcăm de la “generativ” către “raționament” în inteligența artificială.

Rezumatul

Scalarea la momentul testării se dovedește a fi legătura lipsă în căutarea inteligenței artificiale avansate. Permițând modelelor să utilizeze mai multă putere de calcul în momentul inferenței, am deblocat un nivel de performanță care se credea a fi la ani distanță. Aceste modele încep să demonstreze un tip de logică care se apropie mult mai mult de inteligența umană decât simpla recunoaștere a modelelor din trecut.

Pe măsură ce ne continuăm drumul, provocarea va fi să rafinăm aceste tehnici. Trebuie să facem raționamentul mai rapid și mai accesibil, găsind echilibrul corect între “rapid” și “lent”. Secretul nu mai este doar mărimea modelului sau cantitatea de date pe care a văzut-o. Secretul este modul în care modelul utilizează timpul său pentru a gândi. Pentru oricine urmărește progresul inteligenței artificiale, este clar că accentul s-a schimbat. Cursa nu mai este doar despre cine are cel mai mare model, ci despre cine are modelul care poate raționa cel mai bine. Această schimbare va defini, probabil, următorul deceniu de inovație în domeniu.