AGI și viitorul AI
Puterea rerankării și a recuperării în două etape pentru Generarea Augmentată de Recuperare
Adaugă Unite.AI la sursele tale preferate pe Google
Atunci când vine vorba de procesarea limbajului natural (NLP) și de recuperarea informațiilor, capacitatea de a recupera eficient și precis informații relevante este esențială. Pe măsură ce domeniul continuă să evolueze, se dezvoltă noi tehnici și metodologii pentru a îmbunătăți performanța sistemelor de recuperare, în special în contextul Generării Augmentate de Recuperare (RAG). O astfel de tehnică, cunoscută sub numele de recuperare în două etape cu rerankări, a apărut ca o soluție puternică pentru a aborda limitările inerente ale metodelor de recuperare tradiționale.
În acest articol, vom discuta despre complexitatea recuperării în două etape și a rerankărilor, explorând principiile lor subiacente, strategiile de implementare și beneficiile pe care le oferă pentru a îmbunătăți acuratețea și eficiența sistemelor RAG. Vom furniza, de asemenea, exemple practice și fragmente de cod pentru a ilustra conceptele și a facilita o înțelegere mai profundă a acestei tehnici de ultimă generație.
Înțelegerea Generării Augmentate de Recuperare (RAG)
Înainte de a intra în detalii despre recuperarea în două etape și rerankări, să reamintim conceptul de Generare Augmentată de Recuperare (RAG). RAG este o tehnică care extinde cunoștințele și capacitățile modelelor de limbaj mari (LLM) prin furnizarea acestora cu acces la surse de informații externe, cum ar fi baze de date sau colecții de documente. Referiți-vă la articolul “O scufundare în profunzime în Generarea Augmentată de Recuperare în LLM“.
Procesul RAG tipic implică următorii pași:
- Cerere: Un utilizator pune o întrebare sau furnizează o instrucțiune sistemului.
- Recuperare: Sistemul interoghează o bază de date vectorială sau o colecție de documente pentru a găsi informații relevante pentru cererea utilizatorului.
- Augmentare: Informațiile recuperate sunt combinate cu cererea originală a utilizatorului sau cu instrucțiunea.
- Generare: Modelul de limbaj procesează intrarea augmentată și generează un răspuns, folosind informațiile externe pentru a îmbunătăți acuratețea și comprehensivitatea ieșirii sale.
Deși RAG s-a dovedit a fi o tehnică puternică, nu este lipsită de provocări. Una dintre principalele probleme se află în etapa de recuperare, unde metodele de recuperare tradiționale pot să nu identifice documentele cele mai relevante, conducând la răspunsuri suboptimale sau inexacte din partea modelului de limbaj.
Nevoia de Recuperare în Două Etape și Rerankări
Metodele de recuperare tradiționale, cum ar fi cele bazate pe potrivirea cuvintelor cheie sau pe modelele de spațiu vectorial, adesea au dificultăți în a capta relațiile semantice nuanțate dintre cereri și documente. Această limitare poate duce la recuperarea documentelor care sunt doar superficial relevante sau la omiterea unor informații cruciale care ar putea îmbunătăți semnificativ calitatea răspunsului generat.
Pentru a aborda această provocare, cercetătorii și practicienii s-au orientat către recuperarea în două etape cu rerankări. Acest abordare implică un proces în două etape:
- Recuperare Inițială: În prima etapă, se recuperează un set relativ mare de documente potențial relevante folosind o metodă de recuperare rapidă și eficientă, cum ar fi un model de spațiu vectorial sau o căutare bazată pe cuvinte cheie.
- Rerankare: În a doua etapă, se utilizează un model de rerankare mai sofisticat pentru a rearanja documentele recuperate inițial în funcție de relevanța lor pentru cerere, aducând astfel documentele cele mai relevante în partea superioară a listei.
Modelul de rerankare, adesea o rețea neurală sau o arhitectură bazată pe transformatori, este special conceput pentru a evalua relevanța unui document pentru o anumită cerere. Prin exploatarea capacităților avansate de înțelegere a limbajului natural, modelul de rerankare poate capta nuanțele semantice și relațiile contextuale dintre cerere și documente, rezultând o ordonare mai precisă și relevantă.
Beneficiile Recuperării în Două Etape și a Rerankărilor
Adoptarea recuperării în două etape cu rerankări oferă mai multe beneficii semnificative în contextul sistemelor RAG:
- Îmbunătățirea Acurateței: Prin rearanjarea documentelor recuperate inițial și promovarea celor mai relevante în partea superioară a listei, sistemul poate furniza informații mai precise și mai relevante modelului de limbaj, conducând la răspunsuri generate de mai bună calitate.
- Reducerea Problemelor din Afara Domeniului: Modelele de încorporare utilizate pentru recuperarea tradițională sunt adesea antrenate pe corpuri de texte generale, care pot să nu capteze suficient limbajul și semanticile specifice domeniului. Modelele de rerankare, pe de altă parte, pot fi antrenate pe date specifice domeniului, reducând astfel problema “din afara domeniului” și îmbunătățind relevanța documentelor recuperate în domenii specializate.
- Scalabilitate: Abordarea în două etape permite o scalare eficientă prin utilizarea metodelor de recuperare rapide și ușoare în etapa inițială, rezervând procesul mai intensiv de rerankare pentru un subset mai mic de documente.
- Flexibilitate: Modelele de rerankare pot fi înlocuite sau actualizate independent de metoda de recuperare inițială, oferind flexibilitate și adaptabilitate la nevoile în schimbare ale sistemului.
ColBERT: Interacțiune Târzie Eficientă și Efectivă
Unul dintre modelele deosebite în domeniul rerankării este ColBERT (Interacțiune Târzie Contextualizată peste BERT). ColBERT este un model de rerankare a documentelor care exploatează capacitățile de înțelegere a limbajului ale BERT, introducând totodată un mecanism de interacțiune inovator cunoscut sub numele de “interacțiune târzie”.
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Mecanismul de interacțiune târzie din ColBERT permite o recuperare eficientă și precisă prin procesarea cererilor și documentelor separat până în etapele finale ale procesului de recuperare. În mod specific, ColBERT encodează independent cererea și documentul utilizând BERT, apoi folosește un pas de interacțiune ușor, dar puternic, care modelează similaritatea fină a acestora. Prin întârzierea, dar păstrarea acestei interacțiuni fine, ColBERT poate exploata expresivitatea modelelor de limbaj profund, obținând în același timp capacitatea de a precalcula reprezentările documentelor offline, ceea ce accelerează considerabil procesarea cererilor.
Arhitectura de interacțiune târzie a ColBERT oferă mai multe beneficii, inclusiv eficiență computațională îmbunătățită, scalabilitate cu dimensiunea colecției de documente și aplicabilitate practică pentru scenarii din lumea reală. De asemenea, ColBERT a fost îmbunătățit cu tehnici precum supravegherea zgomotului și comprimarea reziduală (în ColBERTv2), care rafinează procesul de antrenament și reduc amprenta spațială a modelului, menținând în același timp eficacitatea ridicată a recuperării.
Acest fragment de cod demonstrează cum se poate configura și utiliza modelul jina-colbert-v1-en pentru indexarea unei colecții de documente, valorificând capacitatea sa de a gestiona contexte lungi în mod eficient.
Implementarea Recuperării în Două Etape cu Rerankări
Acum că am înțeles principiile din spatele recuperării în două etape și a rerankărilor, să explorăm implementarea practică a acestor tehnici în contextul unui sistem RAG. Vom utiliza biblioteci și cadre populare pentru a demonstra integrarea acestor tehnici.
Setarea Mediului
Înainte de a intra în cod, să setăm mediul nostru de dezvoltare. Vom folosi Python și mai multe biblioteci NLP populare, inclusiv Hugging Face Transformers, Sentence Transformers și LanceDB.
# Instalarea bibliotecilor necesare !pip install datasets huggingface_hub sentence_transformers lancedb
Pregătirea Datelor
Pentru scopuri demonstrative, vom folosi setul de date “ai-arxiv-chunked” de la Hugging Face Datasets, care conține peste 400 de articole ArXiv despre învățare automată, procesare a limbajului natural și modele de limbaj mari.
from datasets import load_dataset <p>dataset = load_dataset("jamescalam/ai-arxiv-chunked", split="train")</p> &lt;pre&gt;
Următorul pas va fi prelucrarea datelor și împărțirea lor în bucăți mai mici pentru a facilita recuperarea și procesarea eficientă.
from transformers import AutoTokenizer <p>tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")</p> <p>def chunk_text(text, chunk_size=512, overlap=64): tokens = tokenizer.encode(text, return_tensors="pt", truncation=True) chunks = tokens.split(chunk_size - overlap) texts = [tokenizer.decode(chunk) for chunk in chunks] return texts</p> <p>chunked_data = [] for doc in dataset: text = doc["chunk"] chunked_texts = chunk_text(text) chunked_data.extend(chunked_texts)</p>
Pentru etapa inițială de recuperare, vom utiliza un model Sentence Transformer pentru a codifica documentele și cererile noastre în reprezentări vectoriale dense și apoi vom efectua o căutare a celor mai apropiați vecini aproximativi utilizând o bază de date vectorială precum LanceDB.
from sentence_transformers import SentenceTransformer from lancedb import lancedb <p># Încărcarea modelului Sentence Transformer model = SentenceTransformer('all-MiniLM-L6-v2')</p> <p># Crearea unei magazine vectoriale LanceDB db = lancedb.lancedb('/path/to/store') db.create_collection('docs', vector_dimension=model.get_sentence_embedding_dimension())</p> <p># Indexarea documentelor for text in chunked_data: vector = model.encode(text).tolist() db.insert_document('docs', vector, text)</p> <p>from sentence_transformers import SentenceTransformer from lancedb import lancedb</p> <p># Încărcarea modelului Sentence Transformer model = SentenceTransformer('all-MiniLM-L6-v2')</p> <p># Crearea unei magazine vectoriale LanceDB db = lancedb.lancedb('/path/to/store') db.create_collection('docs', vector_dimension=model.get_sentence_embedding_dimension())</p> <p># Indexarea documentelor for text in chunked_data: vector = model.encode(text).tolist() db.insert_document('docs', vector, text)
Cu documentele noastre indexate, putem efectua recuperarea inițială găsind vecinii cei mai apropiați ai unui anumit vector de cerere.
from transformers import AutoTokenizer <p>tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")</p> <p>def chunk_text(text, chunk_size=512, overlap=64): tokens = tokenizer.encode(text, return_tensors="pt", truncation=True) chunks = tokens.split(chunk_size - overlap) texts = [tokenizer.decode(chunk) for chunk in chunks] return texts</p> <p>chunked_data = [] for doc in dataset: text = doc["chunk"] chunked_texts = chunk_text(text) chunked_data.extend(chunked_texts)
Rerankare
După recuperarea inițială, vom utiliza un model de rerankare pentru a rearanja documentele recuperate în funcție de relevanța lor pentru cerere. În acest exemplu, vom folosi modelul de rerankare ColBERT, un model transformer bazat rapid și precis, special conceput pentru clasificarea documentelor.
from lancedb.rerankers import ColbertReranker reranker = ColbertReranker() <p># Rerankarea documentelor inițiale reranked_docs = reranker.rerank(query, initial_docs)
Lista reranked_docs conține acum documentele rearanjate în funcție de relevanța lor pentru cerere, așa cum a fost determinată de modelul de rerankare ColBERT.
Augmentare și Generare
Cu documentele rerankate și relevante în mână, putem trece la etapele de augmentare și generare a pipeline-ului RAG. Vom folosi un model de limbaj din biblioteca Hugging Face Transformers pentru a genera răspunsul final.
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM <p>tokenizer = AutoTokenizer.from_pretrained("t5-base") model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")</p> <p># Augmentarea cererii cu documentele rerankate augmented_query = query + " " + " ".join(reranked_docs[:3])</p> <p># Generarea răspunsului din modelul de limbaj input_ids = tokenizer.encode(augmented_query, return_tensors="pt") output_ids = model.generate(input_ids, max_length=500) response = tokenizer.decode(output_ids[0], skip_special_tokens=True)</p> print(response)
În fragmentul de cod de mai sus, vom augmenta cererea originală cu primele trei documente rerankate, creând o cerere augmentată. Apoi, vom pasa această cerere augmentată unui model de limbaj T5, care va genera un răspuns pe baza contextului furnizat.
Variabila răspuns va conține răspunsul final, valorificând informațiile externe din documentele recuperate și rerankate pentru a oferi un răspuns mai precis și mai cuprinzător la cererea originală.
Tehnici Avansate și Considerații
Deși implementarea pe care am acoperit-o oferă o bază solidă pentru integrarea recuperării în două etape și a rerankărilor într-un sistem RAG, există mai multe tehnici avansate și considerații care pot îmbunătăți și mai mult performanța și robustețea abordării.
- Extinderea Cererii: Pentru a îmbunătăți etapa inițială de recuperare, puteți utiliza tehnici de extindere a cererii, care implică adăugarea de termeni sau fraze asociate la cererea originală. Acest lucru poate ajuta la recuperarea unui set mai divers de documente potențial relevante.
- Rerankare Ensamblă: În loc de a vă baza pe un singur model de rerankare, puteți combina mai multe modele de rerankare într-un ansamblu, valorificând puterea modelelor diferite pentru a îmbunătăți performanța generală.
- Reglarea Rerankărilor: Deși modelele de rerankare preantrenate pot fi eficiente, reglarea lor pe date specifice domeniului poate îmbunătăți și mai mult capacitatea lor de a capta semantica și semnalele de relevanță specifice domeniului.
- Recuperare și Rerankare Iterativă: În anumite cazuri, o singură iterație de recuperare și rerankare poate să nu fie suficientă. Puteți explora abordări iterative, unde ieșirea modelului de limbaj este utilizată pentru a rafina cererea și procesul de recuperare, conducând la un sistem mai interactiv și dinamic.
- Îmbunătățirea Diversității: Deși modelele de rerankare își propun să promoveze documentele cele mai relevante, este esențial să găsiți un echilibru între relevanță și diversitate. Integrarea tehnicilor care promovează diversitatea poate ajuta la prevenirea ca sistemul să devină prea îngust sau biasat în ceea ce privește sursele de informații.
- Metode de Evaluare: Pentru a evalua eficacitatea abordării dvs. de recuperare în două etape și rerankare, veți necesita a defini metrice de evaluare adecvate. Acestea pot include metrice tradiționale de recuperare a informațiilor, cum ar fi precizia, rechemarea și rangul mediu reciproc (MRR), precum și metrice specifice sarcinii, adaptate nevoilor dvs. specifice.
Concluzie
Generarea Augmentată de Recuperare (RAG) a apărut ca o tehnică puternică pentru îmbunătățirea capacităților modelelor de limbaj mari prin valorificarea surselor de informații externe. Cu toate acestea, metodele de recuperare tradiționale adesea au dificultăți în a identifica documentele cele mai relevante, conducând la performanțe suboptimale.
Recuperarea în două etape cu rerankări oferă o soluție convingătoare pentru această provocare. Prin combinarea unei etape inițiale de recuperare rapidă cu un model de rerankare mai sofisticat, această abordare poate îmbunătăți semnificativ acuratețea și relevanța documentelor recuperate, conducând în cele din urmă la răspunsuri generate de mai bună calitate de la modelul de limbaj.
