Sitater: Kan Anthropics nye funksjon løse AI’s tillitsproblem?

AI-verifisering har vært et alvorlig problem i en stund nå. Mens store språkmodeller (LLM) har utviklet seg i en fantastisk fart, har utfordringen med å bevise deres nøyaktighet forblitt uløst.

Anthropic prøver å løse dette problemet, og av alle de store AI-selskapene, tror jeg de har den beste sjansen.

Selskapet har lansert Citations, en ny API-funksjon for sine Claude-modeller som endrer måten AI-systemene verifiserer sine svar på. Denne teknologien bryter automatisk ned kildedokumenter i små, behandlelige deler og kobler hver AI-generert uttalelse tilbake til sin opprinnelige kilde – på samme måte som akademiske artikler henviser til sine referanser.

Citations prøver å løse ett av AI’s mest vedvarende utfordringer: å bevise at generert innhold er nøyaktig og pålitelig. I stedet for å kreve kompleks prompt-engineering eller manuell verifisering, prosesserer systemet automatisk dokumenter og gir setningsnivå-verifisering for hver påstand den gjør.

Data viser lovende resultater: en 15% forbedring i sitat-nøyaktighet sammenlignet med tradisjonelle metoder.

Hvorfor dette er viktig nå

AI-tillit har blitt den kritiske barrieren for bedrifts-tilpasning (samt individuell tilpasning). Mens organisasjoner flytter seg bort fra eksperimentell AI-bruk og inn i kjerne-operasjoner, har mangelen på effektiv verifisering av AI-utdata skapt en betydelig flaskehals.

De nåværende verifiseringssystemene avslører et tydelig problem: organisasjoner må velge mellom hastighet og nøyaktighet. Manuelle verifiseringsprosesser skalerer ikke, mens uverifiserte AI-utdata bærer for stor risiko. Denne utfordringen er særlig akutt i regulerte industrier hvor nøyaktighet ikke bare er foretrukket – det er påkrevd.

Tidspunktet for Citations kommer på et kritisk øyeblikk i AI-utviklingen. Mens språkmodellene blir mer avanserte, har behovet for innebygd verifisering økt proporsjonalt. Vi må bygge systemer som kan deployes med tillit i profesjonelle miljøer hvor nøyaktighet er uhåndgripelig.

Nedbryting av den tekniske arkitekturen

Magien med Citations ligger i dens dokument-behandlings-tilnærming. Citations er ikke som andre tradisjonelle AI-systemer. Disse behandler ofte dokumenter som enkle tekst-blokker. Med Citations, bryter verktøyet ned kilde-materiale i hva Anthropic kaller “chunks”. Disse kan være enkeltsetninger eller brukerdefinerte seksjoner, som skaper en granulert grunnlag for verifisering.

Her er den tekniske nedbrytingen:

Dokument-behandling og -håndtering

Citations behandler dokumenter forskjellig basert på deres format. For tekst-filer, er det essensielt ingen grense utover den standard 200 000 token-grensen for totale forespørsler. Dette inkluderer din kontekst, promter og dokumentene selv.

PDF-håndtering er mer kompleks. Systemet prosesserer PDF-er visuelt, ikke bare som tekst, noe som fører til noen nøkkel-begrensninger:

• 32MB fil-størrelse-grense
• Maksimum 100 sider per dokument
• Hver side forbruker 1 500-3 000 token

Token-håndtering

Nå til den praktiske siden av disse grensene. Når du arbeider med Citations, må du vurdere din token-budsjett nøye. Her er hvordan det bryter ned:

For standard-tekst:

• Fullt forespørsel-grense: 200 000 token
• Inkluderer: Kontekst + promter + dokumenter
• Ingen separat avgift for sitat-utdata

For PDF-er:

• Høyere token-forbruk per side
• Visuell prosessering-overhead
• Mer kompleks token-beregning nødvendig

Citations vs RAG: Nøkkel-forskjeller

Citations er ikke et Retrieval Augmented Generation (RAG)-system – og denne distinksjonen betyr noe. Mens RAG-systemer fokuserer på å finne relevant informasjon fra en kunnskapsbase, fungerer Citations på informasjon du allerede har valgt.

Tenker på det på denne måten:

• RAG: Håndterer informasjon-henting
• Citations: Håndterer informasjon-verifisering
• Kombinert potensial: Begge systemer kan fungere sammen

Dette arkitektur-valget betyr at Citations utmerker seg i nøyaktighet innenfor gitt kontekst, mens det overlater henting-strategier til komplementære systemer.

Integrasjons-muligheter og -ytelse

Oppsettet er rett frem: Citations kjører gjennom Anthropics standard-API, som betyr at hvis du allerede bruker Claude, er du halvveis der. Systemet integrerer direkte med Messages-API, og eliminerer behovet for separat fil-lagring eller komplekse infrastruktur-endringer.

Prisstrukturen følger Anthropics token-baserte modell med en nøkkel-fordel: mens du betaler for inndata-token fra kilde-dokumenter, er det ingen ekstra avgift for sitat-utdata selv. Dette skaper en forutsigbar kost-struktur som skalerer med bruken.

Ytelses-målinger forteller en overbevisende historie:

• 15% forbedring i total sitat-nøyaktighet
• Fullstendig eliminering av kilde-hallusinasjoner (fra 10% forekomst til null)
• Setnings-nivå-verifisering for hver påstand

Organisasjoner (og individer) som bruker uverifiserte AI-systemer, finner seg selv i en ulempe, spesielt i regulerte industrier eller høy-utfordrings-miljøer hvor nøyaktighet er kritisk.

Ser fremover, er vi sannsynligvis å se:

• Integrasjon av Citations-lignende funksjoner blir standard
• Utvikling av verifiseringssystemer beyond tekst til andre medier
• Utvikling av bransje-spesifikke verifisering-standarder

Hele industrien må virkelig omvurdere AI-tillit og -verifisering. Brukere må komme til et punkt hvor de kan verifisere hver påstand med lett.