Citări: Poate oare noua funcție a Anthropic să rezolve problema de încredere a IA?

Verificarea IA a fost o problemă gravă de ceva timp. În timp ce modelele de limbaj mari (LLM) au evoluat la un ritm incredibil, provocarea de a dovedi exactitatea lor a rămas nesoluționată.

Anthropic încearcă să rezolve această problemă, și din toate marile companii de IA, cred că au șansa cea mai bună.

Compania a lansat Citations, o nouă funcție API pentru modelele sale Claude care schimbă modul în care sistemele de IA verifică răspunsurile. Această tehnologie descompune automat documentele sursă în fragmente digerabile și leagă fiecare afirmație generată de IA de sursa sa originală – similar cu modul în care lucrările academice citează referințele.

Citations încearcă să rezolve una dintre cele mai persistente provocări ale IA: să dovedească că conținutul generat este exact și de încredere. În loc să necesite o inginerie complexă a prompturilor sau o verificare manuală, sistemul procesează automat documentele și oferă o verificare la nivel de propoziție a sursei pentru fiecare afirmație pe care o face.

Datele arată rezultate promițătoare: o îmbunătățire de 15% a exactității citărilor în comparație cu metodele tradiționale.

De ce este important acest lucru în acest moment

Încrederea în IA a devenit o barieră critică pentru adoptarea la nivel de întreprindere (precum și la nivel individual). Pe măsură ce organizațiile trec de la utilizarea experimentală a IA la operațiuni de bază, imposibilitatea de a verifica ieșirile IA în mod eficient a creat un blocaj semnificativ.

Sistemele de verificare actuale revelează o problemă clară: organizațiile sunt obligate să aleagă între viteză și exactitate. Procesele de verificare manuală nu se pot scala, în timp ce ieșirile IA neverificate prezintă un risc prea mare. Această provocare este deosebit de acută în industriile reglementate, unde exactitatea nu este doar preferată, ci și obligatorie.

Momentul lansării Citations vine într-un moment crucial al dezvoltării IA. Pe măsură ce modelele de limbaj devin mai sofisticate, nevoia de sisteme cu verificare încorporată a crescut proporțional. Trebuie să construim sisteme care pot fi implementate cu încredere în medii profesionale în care exactitatea este negociabilă.

Descompunerea arhitecturii tehnice

Magia Citations se află în abordarea sa de procesare a documentelor. Citations nu este ca alte sisteme de IA tradiționale. Acestea tratează adesea documentele ca blocuri de text simple. Cu Citations, instrumentul descompune materialele sursă în ceea ce Anthropic numește “fragmente”. Acestea pot fi propoziții individuale sau secțiuni definite de utilizator, ceea ce creează o bază granulară pentru verificare.

Iată descompunerea tehnică:

Procesarea și gestionarea documentelor

Citations procesează documentele diferit în funcție de format. Pentru fișierele de text, nu există practic nicio limită dincolo de limita standard de 200.000 de tokeni pentru cererile totale. Acesta include contextul, prompturile și documentele însele.

Gestionarea PDF-urilor este mai complexă. Sistemul procesează PDF-urile vizual, nu doar ca text, ceea ce duce la unele constrângeri cheie:

• Limită de dimensiune a fișierului de 32MB
• Limită maximă de 100 de pagini pe document
• Fiecare pagină consumă 1.500-3.000 de tokeni

Gestionarea tokenilor

Acum, trecând la partea practică a acestor limite. Când lucrați cu Citations, trebuie să vă gândiți cu atenție la bugetul de tokeni. Iată cum se descompune:

Pentru textul standard:

• Limită de cerere completă: 200.000 de tokeni
• Include: Context + prompturi + documente
• Nu există taxă suplimentară pentru ieșirile de citare

Pentru PDF-uri:

• Consum mai mare de tokeni pe pagină
• Supraîncărcare de procesare vizuală
• Calcul mai complex al tokenilor necesar

Citations vs RAG: Diferențe cheie

Citations nu este un sistem RAG (Retrieval Augmented Generation) – și această distincție contează. În timp ce sistemele RAG se concentrează pe găsirea de informații relevante dintr-o bază de cunoștințe, Citations lucrează cu informații pe care le-ați selectat deja.

Gândiți-vă astfel: RAG decide ce informații să utilizeze, în timp ce Citations asigură că informațiile sunt utilizate cu exactitate. Acest lucru înseamnă:

• RAG: Gestionează recuperarea informațiilor
• Citations: Gestionează verificarea informațiilor
• Potentialul combinat: Ambele sisteme pot lucra împreună

Acestă alegere de arhitectură înseamnă că Citations excelează în ceea ce privește exactitatea în contexte furnizate, lăsând strategiile de recuperare pentru sisteme complementare.

Căi de integrare și performanță

Configurarea este simplă: Citations rulează prin API-ul standard Anthropic, ceea ce înseamnă că dacă sunteți deja utilizator al Claude, sunteți pe jumătate acolo. Sistemul se integrează direct cu API-ul Messages, eliminând nevoia de stocare de fișiere separate sau modificări complexe ale infrastructurii.

Structura de prețuri urmează modelul bazat pe token al Anthropic, cu un avantaj cheie: în timp ce plătiți pentru tokenii de intrare din documentele sursă, nu există nicio taxă suplimentară pentru ieșirile de citare însele. Acest lucru creează o structură de cost predictibilă care se escaladează cu utilizarea.

Indicatorii de performanță spun o poveste convingătoare:

• Îmbunătățire de 15% a exactității citărilor generale
• Eliminarea completă a halucinațiilor sursei (de la 10% la zero)
• Verificare la nivel de propoziție pentru fiecare afirmație

Organizațiile (și indivizii) care utilizează sisteme de IA neverificate se află în dezavantaj, mai ales în industriile reglementate sau în medii cu risc ridicat, unde exactitatea este crucială.

Privind spre viitor, este probabil să vedem:

• Integrarea de funcții similare cu Citations în mod standard
• Evoluția sistemelor de verificare dincolo de text către alte medii
• Dezvoltarea de standarde de verificare specifice industriei

Întreaga industrie trebuie să reevalueze încrederea și verificarea IA. Utilizatorii trebuie să ajungă la un punct în care pot verifica orice afirmație cu ușurință.