Sügav sukeldumine LLM-i otsimisega laiendatud põlvkonda

Kujutage ette, et olete analüütik ja teil on juurdepääs suure keele mudelile. Olete põnevil väljavaadete üle, mida see teie töövoogu toob. Kuid siis küsite sellelt viimaste aktsiahindade või praeguse inflatsioonimäära kohta ja see tabab teid:

„Vabandust, kuid ma ei saa anda reaalajas ega katkestusjärgseid andmeid. Minu viimased treeninguandmed ulatuvad 2022. aasta jaanuarini.

Suurel keelemudelil puudub kogu oma keelelise jõu tõttu võime mõistanüüd'. Ja kiires tempos maailmasnüüd' on kõik.

Uuringud on näidanud, et suured eelkoolitatud keelemudelid (LLM) on ka faktiteadmiste hoidlad.

Neid on koolitatud nii palju andmeid, et nad on neelanud palju fakte ja arve. Täpsustatuna võivad need saavutada märkimisväärseid tulemusi mitmesugustes NLP ülesannetes.

Kuid siin on konks: nende võime neile salvestatud teadmistele juurde pääseda ja nendega manipuleerida ei ole mõnikord täiuslik. Eriti kui käesolev ülesanne on teadmistemahukas, võivad need mudelid spetsialiseeritud arhitektuuridest maha jääda. See on nagu raamatukogu, kus on kõik maailma raamatud, kuid puudub kataloog, kust seda leida.

OpenAI ChatGPT saab sirvimise versiooniuuenduse

OpenAI hiljutine teade ChatGPT sirvimisvõimaluse kohta on märkimisväärne hüpe taasesitatud genereerimise (RAG) suunas. Kuna ChatGPT on nüüd võimeline otsima Internetist praegust ja autoriteetset teavet, peegeldab see RAG-i lähenemisviisi, mille käigus kogutakse dünaamiliselt andmeid välistest allikatest, et pakkuda rikastatud vastuseid.

ChatGPT saab nüüd Internetti sirvida, et pakkuda teile praegust ja usaldusväärset teavet koos otselinkidega allikatele. See ei piirdu enam 2021. aasta septembri eelsete andmetega. pic.twitter.com/pyj8a9HWkB

- OpenAI (@OpenAI) September 27, 2023

Praegu Plus- ja Enterprise-kasutajatele saadaval olev OpenAI kavatseb selle funktsiooni peagi kõigile kasutajatele kasutusele võtta. Kasutajad saavad selle aktiveerida, valides suvandi GPT-4 alt „Browse with Bing”.

 Kiire projekteerimine on tõhus, kuid ebapiisav

Viibad on värav LLM-i teadmistele. Nad juhivad mudelit, andes suuna vastuseks. Tõhusa viipe koostamine ei ole aga täisväärtuslik lahendus, et saada LLM-ilt seda, mida soovite. Vaatame siiski läbi mõned head tavad, mida viipa kirjutamisel arvestada:

1. selgus: täpselt määratletud viip kõrvaldab ebaselgused. See peaks olema otsekohene, tagades, et mudel mõistab kasutaja kavatsusi. See selgus tähendab sageli ühtsemaid ja asjakohasemaid vastuseid.
2. kontekst: Eriti ulatuslike sisendite puhul võib käsu paigutus mõjutada väljundit. Näiteks võib juhise viimine pika viipa lõppu sageli anda paremaid tulemusi.
3. Täpsus juhendamisel: Küsimuse jõud, mida sageli edastatakse raamistiku „kes, mida, kus, millal, miks, kuidas” kaudu, võib suunata mudelit keskendunud vastuse poole. Lisaks võib soovitud väljundvormingu või suuruse määramine mudeli väljundit veelgi täpsustada.
4. Ebakindluse käsitlemine: Mudelile on oluline suunata, kuidas reageerida, kui ta pole kindel. Näiteks kui anda mudelile käsk vastata "ei tea", kui see pole kindel, võib see takistada ebatäpse või "hallutsineeritud” vastused.
5. Samm-sammuline mõtlemine: Keeruliste juhiste korral võib mudeli süstemaatilisele mõtlemisele suunamine või ülesande alamülesanneteks jaotamine viia põhjalikumate ja täpsemate väljunditeni.

Seoses viipade tähtsusega ChatGPT juhendamisel leiate põhjaliku artikli artiklist aadressil Unite.ai.

Generatiivsete AI mudelite väljakutsed

Kiire projekteerimine hõlmab teie mudelile antud juhiste peenhäälestamist, et parandada selle jõudlust. See on väga kulutõhus viis generatiivse tehisintellekti rakenduse täpsuse suurendamiseks, nõudes vaid väikseid koodimuutusi. Kuigi kiire projekteerimine võib väljundeid märkimisväärselt parandada, on ülioluline mõista suurte keelemudelite (LLM) olemuslikke piiranguid. Kaks peamist väljakutset on hallutsinatsioonid ja teadmiste piirid.

• hallutsinatsioonid: see viitab juhtumitele, kus mudel tagastab enesekindlalt vale või väljamõeldud vastuse. Kuigi täiustatud LLM-il on selliste väljundite äratundmiseks ja vältimiseks sisseehitatud mehhanismid.

• Teadmiste piirid: Igal LLM-mudelil on koolituse lõppkuupäev, mille postitus ei ole sündmustest ega arengutest teadlik. See piirang tähendab, et mudeli teadmised on viimase koolituse kuupäeval külmunud. Näiteks kuni 2022. aastani koolitatud modell ei teaks 2023. aasta sündmusi.

Otsimisega täiendatud põlvkond (RAG) pakub neile väljakutsetele lahendust. See võimaldab mudelitel pääseda juurde välisele teabele, leevendades hallutsinatsioonidega seotud probleeme, pakkudes juurdepääsu omandiõigusega või domeenispetsiifilistele andmetele. Teadmiste piiramiseks pääseb RAG juurde praegusele teabele pärast mudeli koolituskuupäeva, tagades väljundi ajakohasuse.

Samuti võimaldab see LLM-il reaalajas hankida andmeid erinevatest välistest allikatest. See võib olla teadmistebaasid, andmebaasid või isegi Interneti tohutu laius.

Sissejuhatus allalaadimisega laiendatud generatsiooni

Retrieval-augmented generation (RAG) on raamistik, mitte konkreetne tehnoloogia, mis võimaldab suurtel keelemudelitel kasutada andmeid, mille kohta nad ei saanud koolitust. RAG-i rakendamiseks on mitu võimalust ja parim sobivus sõltub teie konkreetsest ülesandest ja teie andmete olemusest.

RAGi raamistik toimib struktureeritud viisil:

Kiire sisend

Protsess algab kasutaja sisendi või viipaga. See võib olla küsimus või avaldus, milles otsitakse konkreetset teavet.

Otsimine välistest allikatest

Selle asemel, et genereerida otse koolituse põhjal vastust, otsib mudel retriiveri komponendi abil väliseid andmeallikaid. Need allikad võivad ulatuda teadmistebaasidest, andmebaasidest ja dokumendihoidlatest kuni Interneti kaudu juurdepääsetavate andmeteni.

Otsimise mõistmine

Oma olemuselt peegeldab otsimine otsingutoimingut. See on kõige asjakohasema teabe hankimine vastuseks kasutaja sisendile. Selle protsessi saab jagada kaheks etapiks:

1. Indekseerimine: Väidetavalt on kogu RAG-teekonna kõige keerulisem osa teie teadmistebaasi indekseerimine. Indekseerimisprotsessi võib laias laastus jagada kaheks faasiks: laadimine ja poolitamine. Sellistes tööriistades nagu LangChain nimetatakse neid protsesse "laadurid"Ja"jagajad“. Laadijad toovad sisu erinevatest allikatest, olgu selleks veebilehed või PDF-id. Pärast toomist jagavad jaoturid selle sisu väikesteks tükkideks, optimeerides neid manustamiseks ja otsimiseks.
2. Päring: see toiming on otsingutermini põhjal kõige asjakohasemate teadmiste fragmentide eraldamine.

Kuigi otsingule lähenemiseks on palju viise, alates lihtsast teksti sobitamisest kuni otsingumootorite (nt Google) kasutamiseni, toetuvad tänapäevased RAG (Retrieval-Augmented Generation) süsteemid semantilisele otsingule. Semantilise otsingu keskmes on manustamise kontseptsioon.

Manustused on keskse tähtsusega selles, kuidas suured keelemudelid (LLM) keelt mõistavad. Kui inimesed püüavad sõnastada, kuidas nad sõnadest tähenduse saavad, ulatub seletus sageli tagasi loomupärase mõistmiseni. Sügaval oma kognitiivsetes struktuurides mõistame, et "laps" ja "laps" on sünonüümid või et "punane" ja "roheline" tähistavad mõlemad värve.

Viipa suurendamine

Seejärel kombineeritakse hangitud teave algse viipaga, luues täiendatud või laiendatud viipa. See täiendatud viip annab mudelile täiendava konteksti, mis on eriti väärtuslik, kui andmed on domeenispetsiifilised või ei kuulu mudeli algsesse koolituskorpusesse.

Lõpetamise genereerimine

Kui laiendatud viip käes, genereerib mudel lõpetamise või vastuse. See vastus ei põhine ainult mudeli koolitusel, vaid seda teavitavad ka hangitud reaalajas andmed.

Esimese RAG LLM-i arhitektuur

2020. aastal avaldatud Meta uurimistöö "Otsimisega täiendatud genereerimine teadmistemahukate NLP-ülesannete jaoks” annab selle tehnika põhjaliku ülevaate. Retrieval-Augmented Generation mudel täiendab traditsioonilist genereerimisprotsessi välise otsingu- või otsingumehhanismiga. See võimaldab mudelil koguda asjakohast teavet suurest andmekorpusest, suurendades selle võimet genereerida kontekstuaalselt täpseid vastuseid.

See toimib järgmiselt:

1. Parameetriline mälu: see on teie traditsiooniline keelemudel, näiteks seq2seq mudel. Seda on koolitatud tohutul hulgal andmemahtudel ja ta teab palju.
2. Mitteparameetriline mälu: Mõelge sellele kui otsingumootorile. See on näiteks Wikipedia tihe vektorindeks, millele pääseb ligi närviretriiveri abil.

Kombineerides loovad need kaks täpse mudeli. RAG-mudel hangib esmalt asjakohase teabe oma mitteparameetrilisest mälust ja kasutab seejärel oma parameetrilisi teadmisi sidusa vastuse andmiseks.

1. Kaheetapiline protsess:

RAG LLM toimib kaheetapilise protsessina:

• Väljatoomine: mudel otsib esmalt asjakohaseid dokumente või lõike suurest andmekogumist. Seda tehakse tiheda otsingumehhanismi abil, mis kasutab nii päringu kui ka dokumentide esitamiseks manuseid. Manuseid kasutatakse seejärel sarnasuse skooride arvutamiseks ja parima asetusega dokumendid tuuakse välja.
• Põlvkond: kui käes on k kõige olulisemat asjakohast dokumenti, suunatakse need koos esialgse päringuga järjestuse jada generaatorisse. See generaator koostab seejärel lõpliku väljundi, joonistades konteksti nii päringust kui ka toodud dokumentidest.

2. Tihe otsimine:

Traditsioonilised otsingusüsteemid tuginevad sageli hõredatele esitustele, nagu TF-IDF. Kuid RAG LLM kasutab tihedaid esitusi, kus nii päring kui ka dokumendid on manustatud pidevatesse vektorruumidesse. See võimaldab nüansirikkamaid sarnasuste võrdlusi, jäädvustades semantilisi seoseid peale pelga märksõnade sobitamise.

3. Järjestusest järjestuse genereerimine:

Otsitud dokumendid toimivad genereerimismudeli laiendatud kontekstina. See mudel, mis põhineb sageli sellistel arhitektuuridel nagu Transformers, genereerib seejärel lõpliku väljundi, tagades selle sidususe ja kontekstipõhise asjakohasuse.

Dokumentide otsing

Dokumentide indekseerimine ja otsimine

Tõhusaks teabe hankimiseks, eriti suurtest dokumentidest, salvestatakse andmed sageli vektorandmebaasi. Iga andmeosa või dokument indekseeritakse manustamisvektori alusel, mis kajastab sisu semantilist olemust. Tõhus indekseerimine tagab sisendviipa alusel asjakohase teabe kiire hankimise.

Vektori andmebaasid

Vektorandmebaasid, mida mõnikord nimetatakse vektorsalvestuseks, on kohandatud andmebaasid, mis on võimelised vektorandmete salvestamiseks ja toomiseks. AI ja arvutiteaduse valdkonnas on vektorid põhiliselt arvude loendid, mis sümboliseerivad punkte mitmemõõtmelises ruumis. Erinevalt traditsioonilistest andmebaasidest, mis on rohkem kohandatud tabeliandmetega, on vektorandmebaasid suurepärased selliste andmete haldamisel, mis sobivad loomulikult vektorvorminguga, näiteks tehisintellekti mudelite manustused.

Mõned tähelepanuväärsed vektorandmebaasid hõlmavad Annoy, Faiss Meta poolt, Milvusja Käbikäpp. Need andmebaasid on tehisintellekti rakendustes keskse tähtsusega, aidates täita ülesandeid alates soovitussüsteemidest kuni pildiotsinguteni. Platvormid nagu AWS pakuvad ka vektorandmebaasi vajadustele kohandatud teenuseid, nagu Amazon OpenSearch Service ja Amazon RDS PostgreSQL-i jaoks. Need teenused on optimeeritud konkreetseteks kasutusjuhtudeks, tagades tõhusa indekseerimise ja päringute tegemise.

Tükeldamine asjakohasuse huvides

Arvestades, et paljud dokumendid võivad olla ulatuslikud, kasutatakse sageli tükeldamise meetodit. See hõlmab suurte dokumentide jagamist väiksemateks, semantiliselt sidusateks tükkideks. Seejärel need tükid indekseeritakse ja otsitakse vastavalt vajadusele, tagades, et kiireks suurendamiseks kasutatakse dokumendi kõige asjakohasemaid osi.

Kontekstiakna kaalutlused

Iga LLM toimib kontekstiaknas, mis on sisuliselt maksimaalne kogus teavet, mida ta saab korraga arvestada. Kui välised andmeallikad pakuvad teavet, mis ületab selle akna, tuleb see jagada väiksemateks tükkideks, mis mahuvad mudeli kontekstiaknasse.

Otsimise laiendatud genereerimise kasutamise eelised

1. Täiustatud täpsus: väliseid andmeallikaid kasutades saab RAG LLM genereerida vastuseid, mis ei põhine ainult tema koolitusandmetel, vaid saavad teavet ka otsingukorpuses saadaolevast kõige asjakohasemast ja ajakohasemast teabest.
2. Teadmiste lünkade ületamine: RAG tegeleb tõhusalt LLM-i loomupäraste teadmiste piirangutega, olenemata sellest, kas see on tingitud mudeli koolituse katkemisest või domeenispetsiifiliste andmete puudumisest selle koolituskorpuses.
3. Mitmekülgsus: RAG-i saab integreerida erinevate väliste andmeallikatega, alates organisatsioonisiseste patenteeritud andmebaasidest kuni avalikult juurdepääsetavate Interneti-andmeteni. See muudab selle kohandatavaks paljude rakenduste ja tööstusharude jaoks.
4. Hallutsinatsioonide vähendamine: Üks LLM-i väljakutseid on hallutsinatsioonide potentsiaal või faktiliselt ebaõige või väljamõeldud teabe genereerimine. Reaalajas andmekonteksti pakkudes võib RAG oluliselt vähendada selliste väljundite võimalusi.
5. Skaalautuvus: RAG LLM-i üks peamisi eeliseid on selle skaleerimisvõime. Eraldades otsingu- ja genereerimisprotsessid, saab mudel tõhusalt hallata suuri andmekogumeid, muutes selle sobivaks reaalmaailma rakenduste jaoks, kus andmeid on palju.

Väljakutsed ja kaalutlused

• Arvutuslikud üldkulud: kaheetapiline protsess võib olla arvutusmahukas, eriti kui tegemist on suurte andmekogumitega.
• Andmesõltuvus: väljavõetud dokumentide kvaliteet mõjutab otseselt genereerimise kvaliteeti. Seetõttu on tervikliku ja hästi kureeritud otsingukorpuse omamine ülioluline.

Järeldus

Integreerides otsingu- ja genereerimisprotsesse, pakub Retrieval-Augmented Generation tugevat lahendust teadmismahukatele ülesannetele, tagades nii informeeritud kui ka kontekstipõhised väljundid.

RAG-i tõeline lubadus peitub selle potentsiaalsetes reaalsetes rakendustes. Sellistes sektorites nagu tervishoid, kus õigeaegne ja täpne teave võib olla keskse tähtsusega, pakub RAG võimalust laiast meditsiinikirjandusest sujuvalt ülevaate saamiseks ja kogumiseks. Finantsvaldkonnas, kus turud arenevad minutiga, saab RAG pakkuda reaalajas andmepõhist ülevaadet, mis aitab teha teadlikke otsuseid. Lisaks saavad teadlased akadeemilistes ringkondades ja teadustöös kasutada RAG-i, et skaneerida tohutuid teabehoidlaid, muutes kirjanduse ülevaated ja andmeanalüüsi tõhusamaks.