Ce sunt halucinațiile LLM? Cauze, preocupare etică și prevenire

Modelele de limbaj mari (LLM) sunt sisteme de inteligență artificială capabile să analizeze și să genereze text asemănător omului. Dar au o problemă – LLM-urile halucinează, adică inventează lucruri. Halucinațiile LLM i-au făcut pe cercetători îngrijorați de progresul în acest domeniu, deoarece, dacă cercetătorii nu pot controla rezultatul modelelor, atunci nu pot construi sisteme critice pentru a servi omenirii. Mai multe despre asta mai târziu.

În general, LLM-urile folosesc cantități mari de date de instruire și algoritmi de învățare complecși pentru a genera rezultate realiste. In unele cazuri, se folosește învățarea în context pentru a instrui aceste modele folosind doar câteva exemple. LLM-urile devin din ce în ce mai populare în diverse domenii de aplicație, de la traducerea automată, analiza sentimentelor, asistența virtuală AI, adnotarea imaginilor, prelucrarea limbajului natural, Etc

În ciuda naturii de ultimă oră a LLM-urilor, acestea sunt încă predispuse la părtiniri, erori și halucinații. Yann LeCun, actualul om de știință șef AI la Meta, a menționat recent că defect central în LLM care provoacă halucinații: „Modelele de limbaj mari nu au nicio idee despre realitatea de bază pe care o descrie limbajul. Acele sisteme generează text care sună bine, din punct de vedere gramatical și semantic, dar nu au cu adevărat un fel de obiectiv în afară de satisfacerea consistenței statistice cu promptul”.

Halucinații la LLM

Halucinațiile se referă la modelul care generează rezultate care sunt corecte din punct de vedere sintactic și semantic, dar sunt deconectate de realitate și se bazează pe presupuneri false. Halucinația este una dintre preocupări etice majore ale LLM-urilorși poate avea consecințe dăunătoare, deoarece utilizatorii fără cunoștințe adecvate de domeniu încep să se bazeze excesiv pe aceste modele lingvistice din ce în ce mai convingătoare.

Un anumit grad de halucinație este inevitabil în toate LLM-urile autoregresive. De exemplu, un model poate atribui un citat contrafăcut unei celebrități care nu a fost niciodată spus. Ei pot afirma ceva despre un anumit subiect care este incorect din punct de vedere faptic sau pot cita surse inexistente în lucrările de cercetare, răspândind astfel dezinformări.

Cu toate acestea, a face modele AI să halucineze nu are întotdeauna efecte adverse. De exemplu, a sugerează un nou studiu oamenii de știință descoperă „proteine ​​noi cu o gamă nelimitată de proprietăți” prin intermediul LLM-urilor halucinante.

Ce cauzează halucinațiile LLM?

LLM-urile pot halucina din cauza diverșilor factori, de la erori de supraadaptare în codificare și decodare până la prejudecățile de antrenament.

Suprapunere

Supraadaptarea este o problemă în care un model AI se potrivește prea bine cu datele de antrenament. Totuși, nu poate reprezenta pe deplin întreaga gamă de intrări pe care le poate întâlni, adică nu reuşeşte să-şi generalizeze puterea de predicţie la date noi, nevăzute. Supraadaptarea poate duce la modelul să producă conținut halucinat.

Erori de codificare și decodare

Dacă există erori în codificarea și decodificarea textului și a reprezentărilor sale ulterioare, acest lucru poate determina, de asemenea, modelul să genereze rezultate nesensate și eronate.

Prejudecata de antrenament

Un alt factor este prezența anumitor părtiniri în datele de antrenament, ceea ce poate face ca modelul să dea rezultate care reprezintă acele părtiniri mai degrabă decât natura reală a datelor. Acest lucru este similar cu lipsa de diversitate a datelor de antrenament, ceea ce limitează capacitatea modelului de a se generaliza la date noi.

Structura complexă a LLM-urilor face ca cercetătorii și practicienii AI să fie destul de dificil să identifice, să interpreteze și să corecteze aceste cauze subiacente ale halucinațiilor.

Preocupări etice ale halucinațiilor LLM

LLM-urile pot perpetua și amplifica părtinirile dăunătoare prin halucinații și pot, la rândul lor, să aibă un impact negativ asupra utilizatorilor și să aibă consecințe sociale dăunătoare. Unele dintre aceste preocupări etice cele mai importante sunt enumerate mai jos:

Conținut discriminatoriu și toxic

Deoarece datele de formare LLM sunt adesea pline de stereotipuri socioculturale din cauza părtinirilor inerente și a lipsei de diversitate. LLM-urile pot, astfel, produce și întărește aceste idei dăunătoare împotriva grupurilor defavorizate din societate.

Ei pot genera acest conținut discriminator și plin de ură bazat pe rasă, gen, religie, etnie etc.

Probleme de confidențialitate

LLM-urile sunt instruite pe un corpus masiv de formare care include adesea informațiile personale ale indivizilor. Au fost cazuri în care astfel de modele au a încălcat intimitatea oamenilor. Ele pot scurge informații specifice, cum ar fi numere de securitate socială, adrese de domiciliu, numere de telefon mobil și detalii medicale.

Dezinformare și dezinformare

Modelele de limbaj pot produce conținut asemănător omului care pare exact, dar este, de fapt, fals și nu este susținut de dovezi empirice. Acest lucru poate fi accidental, ducând la dezinformări, sau poate avea intenții rău intenționate în spate de a răspândi dezinformarea cu bună știință. Dacă acest lucru nu este controlat, poate crea tendințe socio-culturale-economice-politice adverse.

Prevenirea halucinațiilor LLM

Cercetătorii și practicienii adoptă diverse abordări pentru a aborda problema halucinațiilor în LLM. Printre acestea se numără îmbunătățirea diversității datelor de antrenament, eliminarea părtinirilor inerente, utilizarea unor tehnici de regularizare mai bune și utilizarea antrenamentului advers și a învățării de întărire, printre altele:

• Dezvoltarea unor tehnici de regularizare mai bune este esențialul abordării halucinațiilor. Ele ajută la prevenirea supraadaptarii și a altor probleme care provoacă halucinații.
• Mărirea datelor poate reduce frecvența halucinațiilor, așa cum demonstrează a studiu de cercetare. Mărirea datelor implică mărirea setului de antrenament prin adăugarea unui simbol aleator oriunde în propoziție. Dublează dimensiunea setului de antrenament și provoacă o scădere a frecvenței halucinațiilor.
• OpenAI și DeepMind de la Google au dezvoltat o tehnică numită învățare prin consolidare cu feedback uman (RLHF) pentru a aborda problema halucinațiilor a lui ChatGPT. Acesta implică un evaluator uman care revizuiește frecvent răspunsurile modelului și alege cele mai potrivite pentru solicitările utilizatorului. Acest feedback este apoi folosit pentru a ajusta comportamentul modelului. Ilya Sutskever, om de știință șef al OpenAI, a menționat recent că această abordare poate poate rezolva halucinațiile în ChatGPT: „Sunt destul de încrezător că, pur și simplu, îmbunătățind această învățare de întărire ulterioară din pasul de feedback uman, îl putem învăța să nu halucineze”.
• Identificarea conținutului halucinat pentru a fi folosit ca exemplu pentru formarea viitoare este, de asemenea, o metodă folosită pentru a aborda halucinațiile. A tehnică nouă în acest sens detectează halucinații la nivel de jeton și prezice dacă fiecare jeton din ieșire este halucinat. Include, de asemenea, o metodă de învățare nesupravegheată a detectorilor de halucinații.

Mai simplu spus, halucinațiile LLM sunt o preocupare tot mai mare. Și, în ciuda eforturilor, mai trebuie depusă multă muncă pentru a rezolva problema. Complexitatea acestor modele înseamnă că, în general, este dificil să identifici și să remediezi corect cauzele inerente ale halucinațiilor.

Cu toate acestea, cu cercetarea și dezvoltarea continuă, este posibilă atenuarea halucinațiilor în LLM și reducerea consecințelor lor etice.

Dacă doriți să aflați mai multe despre LLM-uri și tehnicile preventive dezvoltate pentru a rectifica halucinațiile LLM-urilor, consultați uniţi.ai pentru a vă extinde cunoștințele.