Sitater: Kan Anthropic’s nye funksjon løse AI’s tillitsproblem?

AI-verifisering har vært et alvorlig problem i en stund nå. Mens store språkmodeller (LLM) har utviklet seg i en fantastisk fart, har utfordringen med å bevise deres nøyaktighet forblitt uløst.

Anthropic prøver å løse dette problemet, og av alle de store AI-selskapene, tror jeg de har den beste sjansen.

Selskapet har lansert Citations, en ny API-funksjon for sine Claude-modeller som endrer hvordan AI-systemene verifiserer svarene sine. Denne teknologien bryter automatisk ned kiljedokumenter i fordøyelige bidder og kobler hver AI-generert uttalelse tilbake til sin opprinnelige kilde – likt hvordan akademiske artikler henviser til sine referanser.

Citations prøver å løse ett av AI’s mest vedvarende utfordringer: å bevise at generert innhold er nøyaktig og pålitelig. I stedet for å kreve kompleks prompt-engineering eller manuell verifisering, prosesserer systemet automatisk dokumenter og gir setningsnivå-kildeverifisering for hver påstand den gjør.

Dataene viser løftende resultater: en 15% forbedring i sitatsnøyaktighet sammenlignet med tradisjonelle metoder.

Hvorfor dette er viktig akkurat nå

AI-tillit har blitt den kritiske barrieren for bedriftsadoptsjon (så vel som individuell adopsjon). Mens organisasjoner flytter seg beyond eksperimentell AI-bruk til kjerneoperasjoner, har evnen til å verifisere AI-utdata effektivt skapt en betydelig flaskehals.

De nåværende verifiseringssystemene avslører et tydelig problem: organisasjoner må velge mellom hastighet og nøyaktighet. Manuelle verifiseringsprosesser skalerer ikke, mens uverifiserte AI-utdata bærer for stor risiko. Denne utfordringen er spesielt akutt i regulerte industrier hvor nøyaktighet ikke bare er ønsket – den er påkrevd.

Tidspunktet for Citations kommer på et kritisk øyeblikk i AI-utviklingen. Mens språkmodellene blir mer avanserte, har behovet for innebygget verifisering økt proporsjonalt. Vi må bygge systemer som kan deployes med tillit i profesjonelle miljøer hvor nøyaktighet er uhåndgripelig.

Nedbryting av den tekniske arkitekturen

Magien med Citations ligger i dens dokumentprosesseringsmetode. Citations er ikke som andre tradisjonelle AI-systemer. Disse behandler ofte dokumenter som enkle tekstblokker. Med Citations, verktøyet bryter ned kiljemateriale i hva Anthropic kaller “biter”. Disse kan være enkeltsetninger eller brukerdefinerte seksjoner, som skaper en granulært grunnlag for verifisering.

Her er den tekniske nedbrytingen:

Dokumentprosesserings- og håndtering

Citations prosesserer dokumenter forskjellig basert på deres format. For tekstfiler, er det essensielt ingen grense utover den standard 200 000 token-grensen for totale forespørsler. Dette inkluderer din kontekst, promter og dokumentene selv.

PDF-håndtering er mer komplisert. Systemet prosesserer PDF-er visuelt, ikke bare som tekst, noe som fører til noen nøkkelbegrensninger:

• 32MB filstørrelsegrense
• Maksimum 100 sider per dokument
• Hver side forbruker 1 500-3 000 token

Tokenhåndtering

Nå til den praktiske siden av disse grensene. Når du arbeider med Citations, må du vurdere din token-budsjett nøye. Her er hvordan det brytes ned:

For standard tekst:

• Full forespørselsgrense: 200 000 token
• Inkluderer: Kontekst + promter + dokumenter
• Ingen separat avgift for sitatsutdata

For PDF-er:

• Høyere tokenforbruk per side
• Visuell prosesseringsoverhead
• Mer kompleks tokenregning nødvendig

Citations vs RAG: Nøkkel forskjeller

Citations er ikke et Retrieval Augmented Generation (RAG)-system – og denne distinksjonen betyr noe. Mens RAG-systemer fokuserer på å finne relevante informasjoner fra en kunnskapsbase, fungerer Citations med informasjon du allerede har valgt.

Tenker på det på denne måten: RAG bestemmer hva informasjonen skal brukes, mens Citations sikrer at informasjonen brukes nøyaktig. Dette betyr:

• RAG: Håndterer informasjonsretrieval
• Citations: Håndterer informasjonsverifisering
• Kombinert potensial: Begge systemer kan fungere sammen

Dette arkitekturvalget betyr at Citations utmerker seg i nøyaktighet innen gitt kontekster, mens det overlater retrieval-strategier til komplementære systemer.

Integreringsveier og ytelse

Oppsettet er rett frem: Citations kjører gjennom Anthropics standard-API, som betyr at hvis du allerede bruker Claude, er du halvveis dit. Systemet integrerer direkte med Messages API, og eliminerer behovet for separat fil lagring eller komplekse infrastruktur-endringer.

Prismodellen følger Anthropics token-baserte modell med en nøkelfordel: mens du betaler for inndata-token fra kiljedokumenter, er det ingen ekstra avgift for sitatsutdataene selv. Dette skaper en forutsigbar kostnadsstruktur som skalerer med bruk.

Ytelsesmetrikker forteller en overbevisende historie:

• 15% forbedring i total sitatsnøyaktighet
• Fullstendig eliminering av kildehallusinasjoner (fra 10% forekomst til null)
• Setningsnivå-verifisering for hver påstand

Organisasjoner (og individer) som bruker uverifiserte AI-systemer finner seg selv i en ulempe, spesielt i regulerte industrier eller høyrisikomiljøer hvor nøyaktighet er avgjørende.

Ser fremover, er vi sannsynligvis å se:

• Integrasjon av Citations-lignende funksjoner blir standard
• Utvikling av verifiseringssystemer beyond tekst til andre medier
• Utvikling av bransjespesifikke verifiseringsstandarder

Hele industrien må virkelig tenke om AI-tillit og verifisering. Brukere må komme til et punkt hvor de kan verifisere hver påstand med lett.