Când inteligența artificială gândește ca oamenii: explorarea minții LLM și a agenților

Astăzi, LLM și agenții învață, analizează și iau decizii în moduri care pot estompa linia dintre “gândirea” lor algoritmică și mintea umană. Abordările pe care sunt construiți deja imită procesele noastre cognitive, iar scala instruirii lor depășește experiența umană cu ordine de mărime. Acest lucru ridică întrebarea: creăm un instrument care ne extinde capacitățile sau dăm naștere unei noi tipuri de minți a căror consecințe sunt încă imposibil de prezis?

Cum gândesc modelele

Este important să distingem între conceptele de LLM și agenți. Pentru a face o analogie cu un computer, un LLM poate fi comparat cu una dintre componentele sale, de exemplu, procesorul. Un agent, însă, este întregul sistem, o “placă de bază” la care sunt conectate diverse module: memorie, placă grafică și rețea. Similar, un agent este un sistem complex care poate încorpora unul sau mai multe LLM, completate cu mecanisme de luare a deciziilor și instrumente pentru interacțiunea cu mediul extern.

Dacă considerăm funcționarea unui singur LLM, totul se reduce la recunoașterea pattern-urilor. Cu toate acestea, atunci când un agent lansează multiple LLM, putem spune că “gândește”, deși acest proces este încă construit pe pattern-uri. Agentul construiește logica interacțiunii dintre modele: de exemplu, un LLM analizează sarcina, iar pe baza acestei analize, agentul determină ce acțiune ar trebui să efectueze alt LLM.

Gândirea umană funcționează în mod similar: ne bazăm pe cunoștințele și pattern-urile acumulate, le selectăm la momentul potrivit, le procesăm și formulăm concluzii. Acest proces se numește raționament.

ChatGPT, la fel ca un om, are două tipuri de memorie: pe termen scurt și pe termen lung. Diferența este că, la oameni, accesul la aceste niveluri de memorie este mai complex și nu întotdeauna liniar.

Memoria pe termen scurt este informația cu care lucrăm în acest moment. Pentru o persoană, ar putea fi ceea ce ai spus cu cinci minute în urmă: s-ar putea să-ți amintești sau nu. GPT, însă, ia întotdeauna în considerare tot ceea ce se află în “fereastra de context” – nu poate sări sau să ignore aceste date.

Memoria pe termen lung la oameni constă în amintiri care nu sunt întotdeauna active și pot apărea doar cu declanșatori specifici: o amintire din copilărie, un traumatism sau, de exemplu, lucrul cu un psiholog. GPT are o logică similară: nu “recuperează” informații din proprie inițiativă, decât dacă este activat în mod specific. De exemplu, o instrucțiune precum “Niciodată nu-mi pune această întrebare din nou” sau “Întotdeauna adresează-mă formal” poate fi stocată în memoria pe termen lung și aplicată la fiecare sesiune.

Un alt exemplu de memorie pe termen lung este reprezentat de documentele salvate. Să presupunem că ai încărcat în GPT o instrucțiune pentru efectuarea cercetărilor de marketing. Modelul poate stoca această informație în memorie, dar acest lucru nu înseamnă că va face referire la acel document la fiecare întrebare. Dacă întrebi “Poți să arunci lumină pe Lună?”, GPT va ignora instrucțiunea. Dar dacă solicitarea conține cuvinte cheie care corespund textului documentului, modelul poate “recupera” informația.

Acest mecanism este implementat prin RAG (Retrieval-Augmented Generation), o abordare în care modelul obține acces la informații stocate, declanșate de stimuli relevanți prin baze de date vectoriale.

Prin urmare, se poate spune că modelul are, într-adevăr, memorie, dar funcționează în conformitate cu o logică diferită, mai formalizată, distinctă de memoria umană.

De ce o conversație cu IA poate fi, uneori, terapeutică, iar alteori rece și robotică?

Modelele lingvistice moderne sunt extrem de mari: stochează o cantitate uriașă de date, cunoștințe și context. Toate aceste informații sunt organizate în așa-numite “cluster”-e, zone tematice și semantice. Modelul a fost instruit pe surse diverse, de la ficțiune și articole științifice până la comentarii de pe YouTube.

Când interacționezi cu IA, întrebarea ta (prompt) direcționează, în esență, modelul către un anumit cluster.

De exemplu, dacă scrii: “Ești un avocat imobiliar din New York, cu 20 de ani de experiență, ajută-mă să cumpăr un apartament”, modelul activează simultan mai multe cluster-e: avocat → New York → imobiliar. Ca rezultat, primești un răspuns coerent, relevant și realist, ca și cum ai consulta, într-adevăr, un profesionist experimentat.

Dacă întrebarea se referă la subiecte mai personale sau filosofice, cum ar fi dezvoltarea personală sau emoțiile, modelul “trece” la alte cluster-e, cum ar fi psihologia, filosofia sau munca interioară. În acest caz, răspunsurile sale pot părea surprinzător de umane și chiar terapeutice.

Însă, cu o formulare prea generală sau vagă, modelul se “pierde” în structura sa de cluster și oferă un răspuns implicit, formal, detașat și lipsit de ton emoțional.

Stilul și profunzimea răspunsului IA depind de cluster-ul pe care îl direcționezi cu prompt-ul tău.

Filosofia instruirii modelului și a RLHF

Inteligența artificială are diferite abordări ale învățării. Nu este atât de mult o filosofie, cât o strategie.

Opțiunea clasică este învățarea supravegheată, în care modelul primește o întrebare și răspunsul corect. Învață prin observarea a ceea ce se consideră corect și, ulterior, reproduce soluții similare în viitor.

Însă o altă abordare este RLHF (Reinforcement Learning from Human Feedback). Aceasta este o strategie diferită: modelul încearcă ceva, primește o “recompensă” pentru acțiunile de succes și ajustează comportamentul său. Treptat, dezvoltă o strategie eficientă.

RLHF poate fi comparat cu procesul de transformare a materiei prime într-un produs finit. Pentru a crea un model care să fie convenabil de utilizat, este necesar un volum uriaș de muncă cu feedback-ul uman.

Imaginați-vă că vă arăt un obiect fără a-l numi direct. Vă ezitați: “Este o cutie de cigarette? Un suport de carduri?” Vă ofer doar indicii precum: “Mai aproape”, “Mai departe”, “60% da”. După sute de astfel de iterații, ghiciți: “Ah, este un portofel”.

LLM-urile sunt instruite în acest mod. Oamenii, annotatorii și profesioniștii, în general, evaluează: acest răspuns este bun, acesta este rău și atribuie punctaje. Companii precum Keymakr, care se specializează în annotarea și validarea datelor de înaltă calitate, joacă un rol cheie în acest proces. Feedback-ul vine și de la utilizatorii obișnuiți: aprecieri, reclamații și reacții. Modelul interpretează aceste semnale, formând pattern-uri comportamentale.

Cum arată instruirea modelului în practică

Un exemplu elocvent este experimentul OpenAI de instruire a agenților folosind învățarea prin întărire în jocul “Ascunse și căutate”.

La experiment au participat două echipe: “căutătorii” (roșu) și “ascunșii” (albastru). Regulile erau simple: dacă un căutător prinde un ascuns, primește un punct; dacă nu, pierde un punct. Inițial, agenții aveau doar abilități fizice de bază, fără strategii predefinite.

La început, căutătorii acționau haotic, iar prinderea adversarilor se întâmpla din întâmplare. Dar, după milioane de iterații, comportamentul lor a evoluat. Ascunșii au început să utilizeze obiectele din jur pentru a bloca ușile și a construi bariere. Aceste abilități au apărut fără programare directă, pur și simplu prin încercări repetate și recompense pentru succes.

În răspuns, căutătorii au început să utilizeze săritura, o capacitate disponibilă din start, dar anterior ignorată. După o serie de eșecuri, utilizarea aleatorie a săriturii a revelat valoarea sa tactică. Apoi, ascunșii au complicat și mai mult apărarea, îndepărtând obiectele din linia de vedere a căutătorilor și construind adăposturi mai sigure.

Experimentul a demonstrat că, prin miliarde de cicluri de încercare, eroare, recompense și penalități, poate apărea un comportament cooperativ complex fără intervenția dezvoltatorilor. Mai mult, agenții au început să acționeze în coordonare, chiar dacă mecanismele de comunicare nu au fost programate, pur și simplu pentru că lucrul în echipă s-a dovedit a fi mai eficient.

La fel este și cu modelele lingvistice mari. Este imposibil să se scrie toate scenariile: există prea multe situații și prea multă variabilitate în lume. Prin urmare, nu învățăm modelul reguli fixe; îi învățăm cum să învețe.

Acesta este valorile RLHF. Fără ea, un LLM și agenții rămân doar o bibliotecă de texte. Cu ea, devine un partener de conversație capabil să se adapteze, să se corecteze și, în esență, să evolueze.

Ce urmează?

Mulți se întreabă dacă dezvoltarea LLM și a agenților ar putea duce la consecințe nedorite sau chiar periculoase.

Este important să înțelegem că ceea ce vedem astăzi nu este nici măcar o versiune minimă, ci doar un prototip.

Revolutionarea reală nu va fi despre a ajuta la scrierea unei scrisori frumoase sau a o traduce în franceză. Acestea sunt lucruri mici. Direcția principală este automatizarea micro-întâlnirilor și a proceselor rutiniere, lăsând oamenilor doar sarcinile cu adevărat creative, intelectuale sau timp de odihnă.

Inovațiile reale se concentrează în jurul agenților, sistemelor care pot gândi, acționa și lua decizii independent, în locul unei persoane. Aici se concentrează eforturile companiilor precum OpenAI, Google, Meta și altele, în prezent.

Modelele lingvistice mari sunt doar fundația. Viitorul adevărat se află în agenții instruiți să trăiască într-o lume dinamică, să primească feedback și să se adapteze la schimbări.