Cum gândește Claude? Încercarea Anthropic de a descuia cutia neagră a IA

Modelele de limbaj mare (LLM) precum Claude au schimbat modul în care utilizăm tehnologia. Ei alimentează instrumente precum chatbot-urile, ajută la scrierea de eseuri și chiar creează poezie. Dar, în ciuda capacităților lor uimitoare, aceste modele rămân un mister în multe feluri. Oamenii le numesc adesea “cutie neagră” pentru că putem vedea ce spun, dar nu cum ajung la acea concluzie. Lipsa de înțelegere creează probleme, în special în domenii importante precum medicină sau drept, unde greșelile sau prejudecățile ascunse ar putea cauza prejudicii reale.

Înțelegerea modului în care funcționează LLM-urile este esențială pentru a construi încredere. Dacă nu putem explica de ce un model a dat un anumit răspuns, este greu să ne încredem în rezultatele sale, mai ales în domenii sensibile. Interpretabilitatea ajută, de asemenea, la identificarea și corectarea prejudecăților sau erorilor, asigurând că modelele sunt sigure și etice. De exemplu, dacă un model favorizează constant anumite puncte de vedere, știind de ce poate ajuta dezvoltatorii să îl corecteze. Această nevoie de claritate este ceea ce impulsionează cercetarea pentru a face aceste modele mai transparente.

Compania Anthropic, care se află în spatele Claude, a lucrat la deschiderea acestei cutii negre. Ei au făcut progrese interesante în înțelegerea modului în care LLM-urile gândesc, iar acest articol explorează progresele lor în facerea proceselor lui Claude mai ușor de înțeles.

Hartografierea gândirii lui Claude

La mijlocul anului 2024, echipa Anthropic a făcut o descoperire interesantă. Ei au creat o hartă de bază a modului în care Claude procesează informații. Utilizând o tehnică numită învățare de dicționar, ei au găsit milioane de modele în “creierul” lui Claude – rețeaua sa neuronală. Fiecare model, sau “caracteristică”, se conectează la o idee specifică. De exemplu, unele caracteristici ajută Claude să identifice orașe, persoane celebre sau greșeli de codare. Altele se leagă de subiecte mai complexe, cum ar fi prejudecățile de gen sau secretul.

Cercetătorii au descoperit că aceste idei nu sunt izolate în neuroni individuali. În schimb, ele sunt răspândite pe mai mulți neuroni ai rețelei lui Claude, fiecare neuron contribuind la diverse idei. Această suprapunere a făcut dificilă înțelegerea inițială a acestor idei. Dar, prin identificarea acestor modele recurente, cercetătorii Anthropic au început să decodeze modul în care Claude organizează gândurile sale.

Urmarirea raționamentului lui Claude

Următorul pas al Anthropic a fost să vadă cum Claude utilizează aceste gânduri pentru a lua decizii. Ei au construit recent un instrument numit grafice de atribuire, care funcționează ca o ghidare pas cu pas a procesului de gândire al lui Claude. Fiecare punct de pe grafic reprezintă o idee care se activează în mintea lui Claude, iar săgețile arată cum o idee conduce la următoarea. Acest grafic permite cercetătorilor să urmărească modul în care Claude transformă o întrebare într-un răspuns.

Pentru a înțelege mai bine funcționarea graficelor de atribuire, considerați următorul exemplu: atunci când i se cere “Care este capitala statului cu Dallas?”, Claude trebuie să realizeze că Dallas se află în Texas, apoi să-și amintească că capitala Texasului este Austin. Graficul de atribuire a arătat exact acest proces – o parte a lui Claude a marcat “Texas”, ceea ce a condus la o altă parte care a selectat “Austin”. Echipa a testat și acest lucru, modificând partea “Texas”, și, într-adevăr, a schimbat răspunsul. Acest lucru demonstrează că Claude nu doar ghicește – el lucrează prin problema și, acum, putem vedea cum se întâmplă acest lucru.

De ce contează: O analogie din științele biologice

Pentru a înțelege de ce aceasta contează, este util să ne gândim la unele dezvoltări majore din științele biologice. La fel cum inventarea microscopului a permis oamenilor de știință să descopere celulele – blocurile ascunse ale vieții – aceste instrumente de interpretare permit cercetătorilor în IA să descopere blocurile de construcție ale gândirii din interiorul modelelor. Și, la fel cum cartografierea circuitelor neuronale din creier sau secvențierea genomului a deschis calea pentru descoperiri în medicină, cartografierea funcționării interne a lui Claude ar putea deschide calea pentru o inteligență mașinilor mai fiabilă și controlabilă. Aceste instrumente de interpretare ar putea juca un rol vital, ajutându-ne să privim în procesul de gândire al modelelor de IA.

Provocările

Chiar și cu toate aceste progrese, suntem încă departe de a înțelege pe deplin LLM-urile precum Claude. În prezent, graficele de atribuire pot explica doar aproximativ o din patru decizii ale lui Claude. Deși harta caracteristicilor sale este impresionantă, ea acoperă doar o parte a ceea ce se întâmplă în interiorul creierului lui Claude. Cu miliarde de parametri, Claude și alte LLM-uri efectuează calcule nesfârșite pentru fiecare sarcină. Urmărirea fiecăruia pentru a vedea cum se formează un răspuns este ca și cum ai încerca să urmărești fiecare neuron care se activează în creierul uman în timpul unei singure gândiri.

Există și provocarea ” halucinației“. Uneori, modelele de IA generează răspunsuri care sună plauzibile, dar sunt, de fapt, false – de exemplu, afirmând cu încredere un fapt incorect. Acest lucru se întâmplă pentru că modelele se bazează pe modele din datele de antrenament, mai degrabă decât pe o înțelegere reală a lumii. Înțelegerea de ce ajung la fabricații rămâne o problemă dificilă, subliniind lacunele din înțelegerea funcționării lor interne.

Prejudecata este o altă piedică semnificativă. Modelele de IA învață din seturi de date vaste, extrase de pe internet, care, în mod inerent, poartă prejudecăți umane – stereotipuri, prejudecăți și alte defecte sociale. Dacă Claude preia aceste prejudecăți din datele de antrenament, el poate reflecta aceste prejudecăți în răspunsurile sale. Dezvăluirea originii acestor prejudecăți și a modului în care influențează raționamentul modelului rămâne o provocare complexă care necesită atât soluții tehnice, cât și o considerație atentă a datelor și a eticii.

Rezumatul

Lucrarea Anthropic de a face modelele de limbaj mare (LLM) precum Claude mai ușor de înțeles este un pas important înainte în transparența IA. Prin dezvăluirea modului în care Claude procesează informații și ia decizii, ei fac progrese în abordarea problemelor cheie legate de răspunderea IA. Acest progres deschide ușa pentru integrarea în siguranță a LLM-urilor în sectoare critice, cum ar fi sănătatea și dreptul, unde încrederea și etica sunt vitale.

Pe măsură ce se dezvoltă metodele pentru îmbunătățirea interpretării, industriile care au fost precaute în adoptarea IA pot reconsidera acum. Modelele transparente, precum Claude, oferă o cale clară către viitorul IA – mașini care nu numai că replică inteligența umană, dar și explică raționamentul lor.