Negħlbu l-alluċinazzjonijiet LLM bl-użu tal-Ġenerazzjoni Augmented Retrieval (RAG)

Mudelli Kbar tal-Lingwa (LLMs) qed jirrivoluzzjonaw kif nipproċessaw u niġġeneraw il-lingwa, iżda huma imperfetti. L-istess bħalma l-bnedmin jistgħu jaraw forom fis-sħab jew uċuħ fuq il-qamar, l-LLMs jistgħu wkoll 'jalluċinaw', u joħolqu informazzjoni li mhix preċiża. Dan il-fenomenu, magħruf bħala Alluċinazzjonijiet LLM, joħloq tħassib dejjem jikber hekk kif l-użu tal-LLMs jespandi.

L-iżbalji jistgħu jħawdu lill-utenti u, f'xi każijiet, saħansitra jwasslu għal problemi legali għall-kumpaniji. Pereżempju, fl-2023, Jeffery Battle veteran tal-Forza tal-Ajru (magħruf bħala The Aerospace Professor) fetaħ kawża kontra Microsoft meta sab li t-tfittxija tal-Bing li taħdem bil-ChatGPT tal-Microsoft kultant tagħti informazzjoni fattwalment mhux preċiża u ta’ ħsara dwar it-tfittxija ta’ ismu. Il-magna tat-tiftix tħawwadlu ma’ kriminal kkundannat Jeffery Leon Battle.

Biex tindirizza l-alluċinazzjonijiet, Ġenerazzjoni tal-Irkupru-Agmentata (RAG) ħareġ bħala soluzzjoni promettenti. Jinkorpora għarfien minn databases esterni biex ittejjeb il-preċiżjoni tar-riżultat u l-kredibbiltà tal-LLMs. Ejja nagħtu ħarsa aktar mill-qrib lejn kif RAG jagħmel l-LLMs aktar preċiżi u affidabbli. Aħna ser niddiskutu wkoll jekk RAG jistax effettivament jikkontrobatti l-kwistjoni tal-alluċinazzjoni LLM.

Nifhmu Alluċinazzjonijiet LLM: Kawżi u Eżempji

LLMs, inklużi mudelli rinomati bħal Chat GPT, ChatGLM, u Claude, huma mħarrġa fuq settijiet ta' dejta testwali estensivi iżda mhumiex immuni milli jipproduċu outputs fattwalment mhux korretti, fenomenu msejjaħ 'alluċinazzjonijiet.' L-alluċinazzjonijiet iseħħu minħabba li l-LLMs huma mħarrġa biex joħolqu reazzjonijiet sinifikanti bbażati fuq regoli tal-lingwa sottostanti, irrispettivament mill-eżattezza fattwali tagħhom.

A Studju Tidio sabet li filwaqt li 72% tal-utenti jemmnu li l-LLMs huma affidabbli, 75% irċevew informazzjoni mhux korretta mill-AI tal-inqas darba. Anki l-mudelli LLM l-aktar promettenti bħal GPT-3.5 u GPT-4 kultant jistgħu jipproduċu kontenut mhux preċiż jew bla sens.

Hawn ħarsa ġenerali qasira tat-tipi komuni ta' alluċinazzjonijiet LLM:

Tipi Komuni ta' Alluċinazzjoni AI:

1. Tagħqid tas-Sors: Dan iseħħ meta mudell jingħaqad dettalji minn sorsi varji, li jwassal għal kontradizzjonijiet jew saħansitra sorsi fabbrikati.
2. Żbalji fattwali: LLMs jistgħu jiġġeneraw kontenut b'bażi ​​fattwali mhux preċiża, speċjalment minħabba l-ineżattezzi inerenti tal-internet
3. Informazzjoni bla sens: LLMs ibassru l-kelma li jmiss ibbażata fuq il-probabbiltà. Jista' jirriżulta f'test grammatikament korrett iżda bla sens, li jqarraq bl-utenti dwar l-awtorità tal-kontenut.

Sena li għaddiet, żewġ avukati ffaċċjaw sanzjonijiet possibbli talli rreferenzjaw sitt każijiet ineżistenti fid-dokumenti legali tagħhom, imqarrqa minn informazzjoni ġġenerata minn ChatGPT. Dan l-eżempju jenfasizza l-importanza li l-kontenut iġġenerat mill-LLM jiġi avviċinat b'għajn kritika, u jenfasizza l-ħtieġa għal verifika biex tiġi żgurata l-affidabbiltà. Filwaqt li l-kapaċità kreattiva tagħha tibbenefika applikazzjonijiet bħall-istejjer, hija toħloq sfidi għal kompiti li jeħtieġu aderenza stretta mal-fatti, bħat-twettiq ta’ riċerka akkademika, il-kitba ta’ rapporti ta’ analiżi medika u finanzjarja, u l-għoti ta’ pariri legali.

Nesploraw is-Soluzzjoni għal Alluċinazzjonijiet LLM: Kif Taħdem Ġenerazzjoni Augmented Retrieval (RAG)

Fl 2020, riċerkaturi LLM introduċa teknika msejħa Ġenerazzjoni Augmentata ta' Rkupru (RAG) biex itaffu l-alluċinazzjonijiet LLM billi jintegra sors ta' dejta estern. B'differenza mill-LLMs tradizzjonali li jiddependu biss fuq l-għarfien imħarreġ minn qabel tagħhom, il-mudelli tal-LLM ibbażati fuq RAG jiġġeneraw tweġibiet fattwalment preċiżi billi jġibu dinamikament informazzjoni rilevanti minn database esterna qabel ma jwieġbu mistoqsijiet jew jiġġeneraw test.

Tqassim tal-Proċess RAG:

Passi tal-Proċess RAG: sors

Pass 1: Irkupru

Is-sistema tfittex bażi ta' għarfien speċifika għal informazzjoni relatata mal-mistoqsija tal-utent. Pereżempju, jekk xi ħadd jistaqsi dwar l-aħħar rebbieħ tat-Tazza tad-Dinja tal-futbol, ​​ifittex l-aktar informazzjoni rilevanti dwar il-futbol.

Pass 2: Żieda

Il-mistoqsija oriġinali mbagħad tissaħħaħ bl-informazzjoni misjuba. Bl-użu tal-eżempju tal-futbol, ​​il-mistoqsija "Min rebaħ it-tazza tad-dinja tal-futbol?" hija aġġornata b'dettalji speċifiċi bħal "L-Arġentina rebħet it-tazza tad-dinja tal-futbol."

Pass 3: Ġenerazzjoni

Bil-mistoqsija arrikkita, l-LLM jiġġenera rispons dettaljat u preċiż. Fil-każ tagħna, se jfassal rispons ibbażat fuq l-informazzjoni miżjuda dwar ir-rebħ tal-Arġentina tat-Tazza tad-Dinja.

Dan il-metodu jgħin biex jitnaqqsu l-ineżattezzi u jiżgura li t-tweġibiet tal-LLM huma aktar affidabbli u bbażati fuq data preċiża.

Vantaġġi u Żvantaġġi ta 'RAG fit-Tnaqqis ta' Alluċinazzjonijiet

RAG wera wegħda fit-tnaqqis tal-alluċinazzjonijiet billi jiffissa l-proċess tal-ġenerazzjoni. Dan il-mekkaniżmu jippermetti lill-mudelli RAG jipprovdu informazzjoni aktar preċiża, aġġornata u rilevanti għall-kuntest.

Ċertament, id-diskussjoni tal-Ġenerazzjoni Augmented Retrieval (RAG) f'sens aktar ġenerali tippermetti fehim usa' tal-vantaġġi u l-limitazzjonijiet tagħha f'diversi implimentazzjonijiet.

Vantaġġi tar-RAG:

• Tiftix ta' Informazzjoni Aħjar: RAG malajr isib informazzjoni preċiża minn sorsi ta’ data kbira.
• Kontenut Imtejjeb: Joħloq kontenut ċar u imqabbel sew għal dak li għandhom bżonn l-utenti.
• Użu Flessibbli: L-utenti jistgħu jaġġustaw ir-RAG biex taqdi r-rekwiżiti speċifiċi tagħhom, bħall-użu tas-sorsi tad-dejta proprjetarji tagħhom, u jżidu l-effettività.

Sfidi tar-RAG:

• Jeħtieġ Data Speċifika: Jista' jkun diffiċli li tifhem b'mod preċiż il-kuntest tal-mistoqsija biex tipprovdi informazzjoni rilevanti u preċiża.
• Skalabbiltà: L-espansjoni tal-mudell biex timmaniġġja settijiet ta' dejta u mistoqsijiet kbar filwaqt li tinżamm il-prestazzjoni hija diffiċli.
• Aġġornament Kontinwu: L-aġġornament awtomatiku tad-dataset tal-għarfien bl-aħħar informazzjoni huwa intensiv fir-riżorsi.

Nesploraw Alternattivi għar-RAG

Minbarra RAG, hawn ftit metodi promettenti oħra li jippermettu lir-riċerkaturi tal-LLM inaqqsu l-alluċinazzjonijiet:

• G-EVAL: Jivverifika b'mod inkroċjat l-eżattezza tal-kontenut iġġenerat b'sett ta' dejta fdat, u jsaħħaħ l-affidabbiltà.
• SelfCheckGPT: Awtomatikament jikkontrolla u jiffissa l-iżbalji tiegħu stess biex iżomm l-outputs preċiżi u konsistenti.
• Inġinerija fil-pront: Jgħin lill-utenti jiddisinjaw inputs preċiżi biex jiggwidaw mudelli lejn tweġibiet preċiżi u rilevanti.
• Irfinar: Jaġġusta l-mudell għal settijiet ta' dejta speċifiċi għall-kompitu għal prestazzjoni mtejba speċifika għad-dominju.
• LoRA (Adattament ta' grad baxx): Dan il-metodu jimmodifika parti żgħira mill-parametri tal-mudell għal adattament speċifiku għall-kompitu, u jsaħħaħ l-effiċjenza.

L-esplorazzjoni tar-RAG u l-alternattivi tagħha tenfasizza l-approċċ dinamiku u multidimensjonali għat-titjib tal-preċiżjoni u l-affidabbiltà tal-LLM. Hekk kif navvanzaw, l-innovazzjoni kontinwa f'teknoloġiji bħal RAG hija essenzjali biex jiġu indirizzati l-isfidi inerenti tal-alluċinazzjonijiet LLM.

Biex tibqa' aġġornata bl-aħħar żviluppi fl-AI u t-tagħlim tal-magni, inklużi analiżi u aħbarijiet fil-fond, żur jgħaqqdu.ai.