Citazioni: può la nuova funzionalità di Anthropic risolvere il problema di fiducia dell’AI?

La verifica dell’AI è stata una questione seria da un po’ di tempo. Mentre i modelli linguistici di grandi dimensioni (LLM) hanno fatto progressi a un ritmo incredibile, la sfida di provare la loro accuratezza è rimasta irrisolta.

Anthropic sta cercando di risolvere questo problema, e tra tutte le grandi aziende di AI, credo che abbiano la migliore possibilità.

L’azienda ha rilasciato Citations, una nuova funzionalità API per i suoi modelli Claude che cambia il modo in cui i sistemi di AI verificano le loro risposte. Questa tecnologia divide automaticamente i documenti sorgente in porzioni digeribili e collega ogni dichiarazione generata dall’AI al suo documento sorgente originale – simile a come gli articoli accademici citano le loro fonti.

Citations sta cercando di risolvere una delle sfide più persistenti dell’AI: provare che il contenuto generato è accurato e degno di fiducia. Piuttosto che richiedere una progettazione di prompt complessa o una verifica manuale, il sistema elabora automaticamente i documenti e fornisce una verifica della fonte a livello di frase per ogni affermazione che fa.

I dati mostrano risultati promettenti: un miglioramento del 15% nell’accuratezza delle citazioni rispetto ai metodi tradizionali.

Perché questo è importante adesso

La fiducia nell’AI è diventata la barriera critica per l’adozione aziendale (oltre che per l’adozione individuale). Mentre le organizzazioni si spostano dall’uso sperimentale dell’AI alle operazioni di base, l’incapacità di verificare efficientemente le uscite dell’AI ha creato un collo di bottiglia significativo.

I sistemi di verifica attuali rivelano un problema chiaro: le organizzazioni sono costrette a scegliere tra velocità e accuratezza. I processi di verifica manuale non sono scalabili, mentre le uscite dell’AI non verificate comportano troppi rischi. Questa sfida è particolarmente acuta nei settori regolamentati in cui l’accuratezza non è solo preferibile – è richiesta.

Il momento dell’arrivo di Citations coincide con un momento cruciale nello sviluppo dell’AI. Mentre i modelli linguistici diventano più sofisticati, la necessità di una verifica integrata è cresciuta proporzionalmente. Dobbiamo costruire sistemi che possano essere distribuiti con fiducia in ambienti professionali in cui l’accuratezza è imprescindibile.

Analisi dell’architettura tecnica

La magia di Citations risiede nel suo approccio di elaborazione dei documenti. Citations non è come altri sistemi di AI tradizionali. Questi spesso trattano i documenti come semplici blocchi di testo. Con Citations, lo strumento divide i materiali sorgente in ciò che Anthropic chiama “chunk”. Questi possono essere singole frasi o sezioni definite dall’utente, che creano una base granulare per la verifica.

Questo è il dettaglio tecnico:

Elaborazione e gestione dei documenti

Citations elabora i documenti in modo diverso in base al loro formato. Per i file di testo, non c’è praticamente alcun limite oltre il limite standard di 200.000 token per le richieste totali. Ciò include il contesto, i prompt e i documenti stessi.

La gestione dei PDF è più complessa. Il sistema elabora i PDF in modo visivo, non solo come testo, portando a alcune limitazioni chiave:

• Limite di dimensione del file di 32MB
• Massimo 100 pagine per documento
• Ogni pagina consuma 1.500-3.000 token

Gestione dei token

Passando al lato pratico di questi limiti. Quando si lavora con Citations, è necessario considerare attentamente il budget dei token. Ecco come si divide:

Per il testo standard:

• Limite di richiesta completo: 200.000 token
• Include: Contesto + prompt + documenti
• Nessun addebito aggiuntivo per le uscite di citazione

Per i PDF:

• Maggiore consumo di token per pagina
• Sovraccarico di elaborazione visiva
• Calcolo dei token più complesso necessario

Citations vs RAG: differenze chiave

Citations non è un sistema di Generazione aumentata di recupero (RAG) – e questa distinzione è importante. Mentre i sistemi RAG si concentrano sul trovare informazioni rilevanti da una base di conoscenza, Citations lavora sulle informazioni che si sono già selezionate.

Pensalo in questo modo: RAG decide quali informazioni utilizzare, mentre Citations assicura che queste informazioni vengano utilizzate in modo accurato. Ciò significa:

• RAG: Gestisce il recupero delle informazioni
• Citations: Gestisce la verifica delle informazioni
• Potenziale combinato: Entrambi i sistemi possono lavorare insieme

Questa scelta di architettura significa che Citations eccelle nell’accuratezza all’interno dei contesti forniti, lasciando le strategie di recupero ai sistemi complementari.

Percorsi di integrazione e prestazioni

L’impostazione èstraightforward: Citations funziona tramite l’API standard di Anthropic, il che significa che se si sta già utilizzando Claude, si è a metà strada. Il sistema si integra direttamente con l’API dei messaggi, eliminando la necessità di un archiviazione di file separata o di modifiche infrastrutturali complesse.

La struttura dei prezzi segue il modello basato sui token di Anthropic con un vantaggio chiave: mentre si paga per i token di input dai documenti sorgente, non c’è alcun addebito aggiuntivo per le uscite di citazione. Ciò crea una struttura di costo prevedibile che si scala con l’uso.

Le metriche di prestazione raccontano una storia convincente:

• Miglioramento del 15% nell’accuratezza complessiva delle citazioni
• Eliminazione completa delle allucinazioni della sorgente (da un’occorrenza del 10% a zero)
• Verifica a livello di frase per ogni affermazione

Le organizzazioni (e gli individui) che utilizzano sistemi di AI non verificati si trovano in svantaggio, soprattutto nei settori regolamentati o in ambienti ad alto rischio in cui l’accuratezza è cruciale.

Guardando avanti, probabilmente vedremo:

• Integrazione di funzionalità simili a Citations che diventano standard
• Evoluzione dei sistemi di verifica oltre il testo ad altri media
• Sviluppo di standard di verifica specifici per l’industria

L’intero settore ha realmente bisogno di ripensare l’affidabilità e la verifica dell’AI. Gli utenti devono arrivare a un punto in cui possono verificare ogni affermazione con facilità.