Sunt RAG-urile soluția pentru halucinațiile IA?

IA, prin proiectare, are o “mintea proprie”. Unul dintre dezavantajele acestui fapt este că modelele de inteligență artificială generativă vor fabrica, ocazional, informații într-un fenomen numit “halucinații ale IA”, unul dintre primele exemple ale acestui fenomen apărând în atenția publică atunci când un judecător din New York a sancționat avocați pentru utilizarea unui memoriu juridic scris de ChatGPT care făcea referire la cauze neexistente. Mai recent, au existat incidente în care motoare de căutare generate de IA au sfătuit utilizatorii să consume pietre pentru beneficii pentru sănătate sau să utilizeze clei netoxici pentru a ajuta brânza să adere la pizza.

Pe măsură ce GenIA devine tot mai ubicuă, este important ca adoptatorii să recunoască faptul că halucinațiile sunt, în acest moment, un aspect inevitabil al soluțiilor GenIA. Bazate pe modele de limbaj mare (LLM), aceste soluții sunt adesea informate de cantități mari de surse disparate care sunt probabil să conțină cel puțin unele informații inexacte sau învechite – aceste răspunsuri fabricate reprezintă între 3% și 10% din răspunsurile generate de chatbot-urile IA la prompturile utilizatorilor. În lumina naturii “cutiei negre” a IA – în care, ca oameni, avem o dificultate extraordinară în a examina exact cum IA generează rezultatele sale – aceste halucinații pot fi aproape imposibil de urmărit și înțeles de către dezvoltatori.

Halucinațiile IA sunt frustrante, în cel mai bun caz, periculoase și imorale, în cel mai rău caz.

În multiple sectoare, inclusiv sănătate, finanțe și siguranță publică, implicațiile halucinațiilor includ totul, de la răspândirea de informații false și compromiterea datelor sensibile până la accidente care pot pune viața în pericol. Dacă halucinațiile continuă să nu fie controlate, starea utilizatorilor și încrederea societală în sistemele IA vor fi ambele compromise.

Prin urmare, este imperativ ca cei care gestionează această tehnologie puternică să recunoască și să abordeze riscurile halucinațiilor IA pentru a asigura credibilitatea ieșirilor generate de LLM.

RAG-urile ca punct de plecare pentru soluționarea halucinațiilor

O metodă care a apărut în prim-plan pentru a atenua halucinațiile este generarea îmbunătățită prin recuperare, sau RAG. Această soluție îmbunătățește fiabilitatea LLM prin integrarea unor magazine de informații externe – extrăgând informații relevante dintr-o bază de date de încredere, aleasă în funcție de natura cererii – pentru a asigura răspunsuri mai fiabile la anumite întrebări.

Unii experți din industrie au susținut că RAG singură poate soluționa halucinațiile. Dar bazele de date integrate prin RAG pot conține încă date învechite, ceea ce ar putea genera informații false sau înșelătoare. În anumite cazuri, integrarea datelor externe prin RAG poate chiar crește probabilitatea de halucinații în modelele de limbaj mare: Dacă un model IA se bazează în mod disproporționat pe o bază de date învechită pe care o consideră a fi complet actualizată, amploarea halucinațiilor poate deveni și mai severă.

Barierelor de protecție IA – Podul peste lacunele RAG

Așa cum se poate vedea, RAG-urile oferă perspective pentru a atenua halucinațiile IA. Cu toate acestea, industriile și întreprinderile care se îndreaptă spre aceste soluții trebuie să înțeleagă și limitele lor inerente. Într-adevăr, atunci când sunt utilizate în tandem cu RAG-urile, există metodologii complementare care ar trebui să fie utilizate atunci când se abordează halucinațiile LLM.

De exemplu, întreprinderile pot utiliza bariere de protecție IA în timp real pentru a securiza ieșirile LLM și a atenua halucinațiile IA. Barierelor de protecție acționează ca o plasă care verifică toate ieșirile LLM pentru conținut fabricat, profan sau în afara subiectului, înainte de a ajunge la utilizatori. Acestă abordare proactivă de middleware asigură fiabilitatea și relevanța recuperării în sistemele RAG, sporind astfel încrederea utilizatorilor și asigurând interacțiuni sigure care se aliniază cu marca unei companii.

Alternativ, există abordarea “ingineriei prompturilor”, care necesită ca inginerul să modifice promptul principal din spate. Prin adăugarea de constrângeri pre-determinate la prompturi acceptabile – cu alte cuvinte, monitorizând nu numai de unde LLM obține informații, ci și cum utilizatorii solicită răspunsuri – prompturile inginerizate pot ghida LLM-urile către rezultate mai fiabile. Principalul dezavantaj al acestei abordări este că această inginerie a prompturilor poate fi o sarcină incredibil de consumatoare de timp pentru programatori, care sunt adesea deja limitați de timp și resurse.

Abordarea “reglării fine” implică antrenarea LLM-urilor pe seturi de date specializate pentru a rafină performanța și a atenua riscul de halucinații. Această metodă antrenează LLM-uri specializate pe sarcini pentru a extrage din domenii specifice și de încredere, îmbunătățind astfel acuratețea și fiabilitatea ieșirilor.

De asemenea, este important să se ia în considerare impactul lungimii de intrare asupra performanței de raționament a LLM-urilor – într-adevăr, mulți utilizatori tind să creadă că, cu cât promptul este mai extins și mai plin de parametri, cu atât ieșirile vor fi mai precise. Cu toate acestea, o studiu recent a arătat că acuratețea ieșirilor LLM scade pe măsură ce crește lungimea intrării. Prin urmare, creșterea numărului de linii directoare atribuite oricărui prompt nu garantează o fiabilitate constantă în generarea de aplicații IA generative de încredere.

Acest fenomen, cunoscut sub numele de “suprasarcină a promptului”, subliniază riscurile inerente ale proiectării prompturilor complexe – cu cât un prompt este formulat mai larg, cu atât mai multe uși se deschid către informații inexacte și halucinații, pe măsură ce LLM încearcă să îndeplinească fiecare parametru.

Ingineria prompturilor necesită actualizări și reglări fine constante și totuși luptă pentru a preveni eficient halucinațiile sau răspunsurile fără sens. Barierelor de protecție, pe de altă parte, nu vor crea riscuri suplimentare de ieșiri fabricate, făcându-le o opțiune atractivă pentru protejarea IA. În contrast cu ingineria prompturilor, barierelor de protecție oferă o soluție în timp real, cuprinzătoare, care asigură că IA generativă va crea ieșiri numai din interiorul unor limite predefinite.

În timp ce nu este o soluție în sine, feedback-ul utilizatorilor poate, de asemenea, să ajute la atenuarea halucinațiilor prin acțiuni precum voturile și voturile care ajută la rafinarea modelelor, la îmbunătățirea acurateței ieșirilor și la reducerea riscului de halucinații.

Pe cont propriu, soluțiile RAG necesită experimentări extinse pentru a obține rezultate precise. Dar atunci când sunt asociate cu reglarea fină, ingineria prompturilor și barierelor de protecție, ele pot oferi soluții mai țintite și mai eficiente pentru abordarea halucinațiilor. Explorarea acestor strategii complementare va continua să îmbunătățească atenuarea halucinațiilor în LLM, ajutând la dezvoltarea unor modele mai fiabile și mai de încredere în diverse aplicații.

RAG-urile nu sunt soluția pentru halucinațiile IA

Soluțiile RAG adaugă o valoare imensă LLM-urilor prin îmbogățirea lor cu cunoștințe externe. Dar, având în vedere că există atât de multe lucruri necunoscute despre IA generativă, halucinațiile rămân o provocare inerentă. Cheia pentru a combate halucinațiile nu constă în încercarea de a le elimina, ci mai degrabă în atenuarea influenței lor prin combinarea strategică a barierelor de protecție, proceselor de verificare și prompturilor reglate fin.

Cu cât ne putem încrede mai mult în ceea ce ne spune GenIA, cu atât vom putea să o valorificăm mai eficient și mai eficace potențialul puternic.