Abordarea problemelor actuale din cadrul LLM-urilor și perspectivele pentru ceea ce urmează

Astăzi, există zeci de modele de limbaj mare (LLM) disponibile public, cum ar fi GPT-3, GPT-4, LaMDA sau Bard, și numărul este în constantă creștere, pe măsură ce sunt lansate noi modele. LLM-urile au revoluționat inteligența artificială, modificând complet modul în care interacționăm cu tehnologia în diverse industrii. Aceste modele ne permit să învățăm din multe seturi de date de limbaj uman și au deschis noi oportunități pentru inovare, creativitate și eficiență.

Cu toate acestea, puterea mare vine cu complexitate mare. Există provocări și probleme etice inerente legate de LLM-uri, care trebuie abordate înainte de a le putea utiliza la potențialul lor maxim. De exemplu, un studiu recent de la Stanford a descoperit prejudecăți rasiale și de gen atunci când a observat ChatGPT-4 pentru modul în care tratează anumite întrebări care includ nume și prenume sugestive pentru rasă sau gen. În acest studiu, programul a fost solicitat să ofere sfaturi cu privire la cât ar trebui să plătească pentru o bicicletă second-hand vândută de cineva numit Jamal Washington, ceea ce a generat o sumă mult mai mică, comparativ cu când vânzătorul era numit Logan Becker. Pe măsură ce aceste descoperiri continuă să apară, nevoia de a aborda provocările LLM-urilor nu face decât să crească.

Cum să mitigăm preocupările comune legate de LLM

Prejudecăți

Una dintre cele mai discutate probleme printre LLM-uri este prejudecata și echitatea. Într-un studiu recent, experții au testat patru LLM-uri publicate recent și au descoperit că toate au exprimat presupuneri prejudecate despre bărbați și femei, în special cele aliniate cu percepțiile oamenilor, mai degrabă decât cele bazate pe fapte. În acest context, prejudecata se referă la tratamentul inegal sau la rezultatele inegale între diferite grupuri sociale, probabil din cauza dezechilibrelor istorice sau structurale de putere.

În LLM-uri, prejudecata este cauzată de selecția datelor, demografia creatorilor și înclinația lingvistică sau culturală. Prejudecata de selecție a datelor apare atunci când textele selectate pentru antrenarea LLM-urilor nu reprezintă diversitatea deplină a limbajului utilizat pe web. LLM-urile antrenate pe seturi de date extinse, dar limitate, pot moșteni prejudecățile deja existente în aceste texte. Cu demografia creatorilor, anumite grupuri demografice sunt evidențiate mai des decât altele, ceea ce exemplifică nevoia de mai multă diversitate și incluzivitate în crearea de conținut pentru a reduce prejudecata. De exemplu, Wikipedia, o sursă comună de date de antrenare, prezintă un dezechilibru demografic remarcabil printre editorii săi, cu o majoritate de bărbați (84%). Acest lucru este similar cu înclinația găsită pentru limbă și cultură. Multe surse pe care LLM-urile sunt antrenate sunt înclinate, fiind centrate pe limba engleză, ceea ce se traduce uneori corect în alte limbi și culturi.

Este imperativ ca LLM-urile să fie antrenate pe date filtrate și ca să existe măsuri de protecție pentru a suprima subiectele care nu sunt reprezentări consistente ale datelor. O modalitate de a face acest lucru este prin tehnici bazate pe augmentarea datelor. Puteți adăuga exemple din grupuri subreprezentate la datele de antrenare, lărgind astfel diversitatea setului de date. O altă tactică de mitigare este filtrarea și reponderarea datelor, care se concentrează în primul rând pe țintirea precisă a exemplelor subreprezentate dintr-un set de date existent.

Halucinații

În contextul LLM-urilor, halucinațiile sunt un fenomen caracterizat prin producerea unui text care, deși este gramatical corect și pare coerent, se abate de la acuratețea factuală sau de la intenția materialului sursă. De fapt, rapoarte recente au descoperit că un proces legat de o lege din Minnesota este direct afectat de halucinațiile LLM. O declarație depusă pentru a susține legea a fost găsită să conțină surse inexistente care ar fi putut fi halucinate de ChatGPT sau de un alt LLM. Aceste halucinații pot reduce cu ușurință fiabilitatea unui LLM.

Există trei forme primare de halucinații:

1. Halucinația conflictuală cu intrarea: Acest lucru se întâmplă atunci când ieșirea unui LLM se abate de la intrarea furnizată de utilizator, care de obicei include instrucțiunile de sarcină și conținutul real care trebuie procesat.
2. Halucinația conflictuală cu contextul: LLM-urile pot genera răspunsuri intern inconsistent în scenarii care implică dialog prelungit sau multiple schimburi. Acest lucru sugerează o posibilă deficiență a capacității modelului de a urmări contextul sau de a menține coerența pe parcursul mai multor interacțiuni.
3. Halucinația conflictuală cu faptele: Această formă de halucinație apare atunci când un LLM produce conținut care este în contradicție cu cunoștințele factuale stabilite. Originea acestor erori este diversă și poate apărea la diferite etape ale ciclului de viață al unui LLM.

Mulți factori au contribuit la acest fenomen, cum ar fi deficiențele de cunoaștere, care explică modul în care LLM-urile pot lipsi cunoașterea sau capacitatea de a asimila informații corect în timpul preantrenării. De asemenea, prejudecata din datele de antrenare sau strategia de generare secvențială a LLM-urilor, supranumită “zăpada de halucinații”, poate crea halucinații.

Există modalități de a mitigă halucinațiile, deși acestea vor fi întotdeauna o caracteristică a LLM-urilor. Strategiile utile de mitigare a halucinațiilor sunt mitigarea în timpul preantrenării (rafinarea manuală a datelor utilizând tehnici de filtrare) sau a reglării fine (curățarea datelor de antrenare). Cu toate acestea, mitigarea în timpul inferenței este cea mai bună soluție, datorită eficienței sale în ceea ce privește costul și controlul.

Confidențialitate

Odată cu apariția internetului, accesibilitatea crescută a informațiilor personale și a altor date private a devenit o preocupare larg recunoscută. Un studiu a descoperit că 80% dintre consumatorii americani sunt îngrijorați că datele lor sunt utilizate pentru a antrena modele de inteligență artificială. Deoarece cele mai proeminente LLM-uri sunt surse de pe site-urile web, trebuie să luăm în considerare modul în care acest lucru prezintă riscuri pentru confidențialitate și rămâne o problemă în mare parte nerezolvată pentru LLM-uri.

Cea mai simplă modalitate de a preveni ca LLM-urile să distribuie informații personale este de a le curăța din datele de antrenare. Cu toate acestea, având în vedere cantitatea imensă de date implicate în LLM-uri, este aproape imposibil să se garanteze că toate informațiile private sunt eradicate. O altă alternativă comună pentru organizațiile care se bazează pe modele externe este să aleagă un LLM cu sursă deschisă în loc de un serviciu precum ChatGPT.

Prin această abordare, o copie a modelului poate fi implementată intern. Prompturile utilizatorilor rămân securizate în rețeaua organizației, în loc să fie expuse la servicii terțe. Deși acest lucru reduce semnificativ riscul de scurgere a datelor sensibile, adaugă și complexitate semnificativă. Având în vedere dificultățile de a garanta pe deplin protecția datelor private, este esențial pentru dezvoltatorii de aplicații să ia în considerare modul în care aceste modele ar putea pune utilizatorii în pericol.

Frontiera următoare pentru LLM-uri

Pe măsură ce continuăm să creștem și să dăm formă evoluțiilor ulterioare ale LLM-urilor, prin mitigarea riscurilor actuale, ar trebui să ne așteptăm la apariția agenților LLM, pe care îi vedem deja la companii precum H cu Runner H, care încep să lanseze produse. Trecerea de la modele de limbaj pur la arhitecturi agențice reprezintă o schimbare în proiectarea sistemelor de inteligență artificială; industria va trece dincolo de limitările inerente ale interfețelor de chat și ale generării simplificate. Aceste noi cadre de agenți vor avea module de planificare sofisticate care descompun obiective complexe în subtaskuri atomice, mențin memoria episodică pentru raționamentul contextual și utilizează instrumente specializate prin API-uri bine definite. Acest lucru creează o abordare mai robustă pentru automatizarea sarcinilor.

Pe lângă LLM-uri, va exista o concentrare mai mare pe antrenarea unor modele de limbaj mai mici, datorită eficienței lor în ceea ce privește costul, accesibilitatea și ușurința de implementare. De exemplu, modelele de limbaj specializate pe domenii se specializează în anumite industrii sau domenii. Aceste modele sunt fin reglate cu date și terminologie specifice domeniului, făcându-le ideale pentru medii complexe și reglementate, cum ar fi domeniul medical sau juridic, unde precizia este esențială. Acestă abordare țintită reduce probabilitatea erorilor și a halucinațiilor pe care modelele generale le pot produce atunci când se confruntă cu conținut specializat.

Pe măsură ce continuăm să explorăm noi frontiere în LLM-uri, este esențial să împingem limitele inovării și să abordăm și să mitigăm riscurile potențiale asociate cu dezvoltarea și implementarea lor. Numai prin identificarea și abordarea proactivă a provocărilor legate de prejudecăți, halucinații și confidențialitate putem crea o bază mai solidă pentru LLM-uri, care să prospere în diverse domenii.