Det ubesluttede problemet med AI-pålitelighet

Den dominerende fortelling om AI-pålitelighet er enkel: modeller hallucinerer. Derfor må modellerne forbedres for at selskaper skal kunne få mest mulig nytte av dem. Flere parametre. Bedre treningdata. Mer forsterkninglæring. Mer alignment.

Og likevel, selv om modeller på frontlinjen blir mer kapable, nekter pålitelighetsdebatten å forsvinne. Ledere i bedrifter tørrer fremdeles å la agenter ta meningsfulle handlinger innenfor kjernsystemer. Styrene spør fortsatt: “Kan vi stole på det?”

Men hallucinasjoner er ikke primært et modellproblem. De er et kontekstproblem. Vi ber AI-systemer om å operere på bedriftsinfrastruktur uten å gi dem den strukturelle synligheten som er nødvendig for å kunne resonere trygt. Så skylder vi modellen når den gjetter.

Det virkelige pålitelighetsgapet ligger ikke i vekterne, men i informasjonslaget.

En kirurg uten bilde

Forestil deg en kirurg som opererer uten bilde. Ingen MRI. Ingen CT-skanning. Ingen sanntidsvisualisering av omgivende vev. Bare en generell forståelse av anatomi og en skalpel. Selv den mest erfaren kirurg ville bli tvunget til å gjette. Å approksimere. Å stole på sannsynlighet.

Dette gjør bedriftens AI-agenter nå.

Når et AI-system blir bedt om å modifisere en arbeidsflyt, oppdatere en ERP-regel eller utløse automatisering over verktøy, har det sjelden en full avhengighetsgraf av miljøet. Det vet ikke hvilket “ubrukt” felt gir kraft til en nedstrøms dashboard. Det ser ikke hvilken automatisering refererer til den valideringsregelen. Det kan ikke pålitelig simulere andreordens påvirkning.

Så gjør det hva store språkmodeller er trent til å gjøre: det forutsier. Forutsigelse er ikke forståelse. Og forutsigelse uten strukturell kontekst ser ut som hallucinasjon.

Vi fortsetter å ramme feil debatt

AI-samfunnet har vært låst i en modell-sentrert pålitelighetsdiskusjon. Artikler om skaleringslover. Forskning på tenkningsekvens -prompting. Forbedringsaugmentasjonsteknikker. Evalueringsskalaer.

Alt nødvendig. Alt verdifullt. Men merk hva som mangler: diskusjon om bedriftssystemtopologi.

Pålitelighet i en bedriftskontekst betyr ikke bare “modellen genererer korrekt tekst.” Det betyr “systemet gjør endringer som er trygge, sporbare og forutsigbare.”

Dette er et fundamentalt annet krav.

Når OpenAI og Anthropic publiserer evalueringer av modellprestasjon, måler de nøyaktighet på resoneringoppgaver, kodebenchmarks eller kunnskapsrekall. Disse er nyttige signaler. Likevel måler de ikke en AI-agents evne til å trygt modifisere et live-revnuesystem med 15 års akkumulert automatiseringsgjeld.

Problemet er ikke om modellen kan skrive syntaktisk korrekt kode; det er om AI forstår miljøet som koden deployes til.

Levende systemer akkumulerer entropi

Bedriftssystemer er ikke statiske databaser. De er levende systemer. Hver ny integrering etterlater et spor. Hver kampanje introduserer et felt. Hver “rask løsning” introduserer en ekstra lag med automatisering. Over tid samhandler disse lagene på måter som ingen enkelt person fullt ut forstår.

Dette er en funksjon av vekst. Komplekse adaptive systemer akkumulerer naturlig entropi. Forskning fra MITs Sloan School har lenge høydet hvordan informasjonsasymmetri innen organisasjoner forsterker operasjonell risiko. I mellomtiden estimerer Gartner at dårlig datakvalitet koster organisasjoner i gjennomsnitt $12,9 millioner per år.

Forestil deg nå å sette autonome agenter inn i dette miljøet uten å adresse dens strukurelle uklarhet først.

Vi burde ikke være overrasket når resultater føles uforutsigbare. Agenten er ikke ondskapsfull eller dum. Det er blindt. Det bygger i mørket.

Tilbaketrekning er ikke nok

Noen vil hevde at tilbaketrekning-forsterket generering (RAG) løser dette problemet. Gi modellen tilgang til dokumentasjon. Mate det med skjemabeskrivelser. Koble det til API-er.

Det hjelper.

Men dokumentasjon er ikke topologi.

En PDF som forklarer hvordan en arbeidsflyt “skal” fungere, er ikke det samme som en sanntidsgraf av hvordan den faktisk samhandler med 17 andre automatiseringer.

Bedriftens virkelighet matcher sjelden bedriftsdokumentasjonen.

En studie fra 2023 som ble publisert i Communications of the ACM fant at foreldet dokumentasjon er en primær bidragsyter til programvarefeil. Systemer utvikler seg raskere enn deres fortellinger.

Så selv når vi gir AI-agenter dokumentasjon, gir vi dem ofte en delvis eller idealisert kart.

Delvis kart produserer fortsatt selvfolgelige feil.

Den agente laget er den virkelige sikkerhetslaget

Vi tenderer til å tenke på sikkerhet som aligneringstrenings-, guardrails-, red-teaming og policyfilter. Alt viktig. Men i bedriftskontekster er sikkerhet kontekstuell. Det er å vite:

• Hva avhenger av dette feltet?
• Hva automatisering refererer til dette objektet?
• Hvilke nedstrøms-rapporter vil bryte?
• Hvem eier denne prosessen?
• Når ble denne sist endret?
• Hva historiske endringer foranledet den nåværende konfigurasjonen?

Uten denne laget er en AI-agent effektivt improviserende innen en svart boks. Med denne laget kan det simulere påvirkning før det handler. Forskjellen mellom hallucinasjon og pålitelighet er ofte synlighet.

Hvorfor modellen får skylden

Hvorfor fokuserer debatten så tungt på modeller? Fordi modeller er leselige. Vi kan måle forvirring. Vi kan sammenligne benchmark-poeng. Vi kan publisere skaleringskurver. Vi kan debattere kvaliteten på treningdataene.

Informasjonstopologi innen bedrifter er mye, mye ustyggeligere. Det krever tverrfaglig koordinering. Det krever styringsdisiplin. Det tvinger organisasjoner til å konfrontere den akkumulerte kompleksiteten i deres egne systemer.

Det er lettere å si “modellen er ikke klar” enn å innrømme “vår infrastruktur er uklar.”

Men når AI-agenter flytter fra innholdsgenerering til operasjonell eksekvering, blir denne rammen farlig.

Hvis vi behandler pålitelighet bare som et modellproblem, vil vi fortsette å deployere agenter i miljøer de ikke kan meningsfullt oppfatte.

Autonomi krever kontekst

Anthropics nye eksperimenter med multi-agent programvareutviklingsteam viser at AI-systemer kan koordinere over komplekse oppgaver når de får strukturelt kontekst og varig minne. Kapasitetsfronten utvikler seg raskt. Men denne typen autonomi uten miljøbevissthet er skjør.

En selvstyrt bil avhenger ikke bare av et kraftig neuralt nettverk. Den avhenger av lidar, kameraer, kartleggingssystemer og sanntidsmiljøsensing. Modellen er ett lag innen en bredere persepsjonsstak.

Bedriftens AI trenger det samme som lidar. Ikke bare API-tilgang. Ikke bare dokumentasjon. Men et strukturelt, dynamisk forståelse av systemavhengigheter.

Frem til dette eksisterer, vil debatter om hallucinasjon fortsette å misdiagnosere årsaken.

Den skjulte risikoen: Overmot

Det er en annen subtil risiko i den nåværende rammen.

Når modeller blir bedre, blir deres utdata mer flytende, mer overbevisende, mer autoritativ.

Flytende forsterker overmot.

Når en agent med sikkerhet modifiserer et system uten full kontekst, er feilen ikke umiddelbart åpenbar. Den kan dukke opp uker senere som en rapporteringsdiskrepans, en kompatibilitetsfeil eller en prognosefeil for omsetning. Fordi modellen ser kompetent ut, kan organisasjoner overvurdere sin operasjonelle sikkerhet. Den virkelige feilmodusen er plausibel feilregning.

Og plausibel feilregning trives i mørket.

Omgjøre pålitelighets-spørsmålet

I stedet for å spørre: “Er modellen god nok?” Bør vi spørre: “Har agenten tilstrekkelig strukturell kontekst til å handle trygt?” I stedet for å måle benchmark-nøyaktighet, bør vi måle miljøsynlighet. I stedet for å debattere parameterantall, bør vi granske systemuklarhet.

Neste front i AI-pålitelighet er ikke bare større modeller. Det er rikere kontekstlag.

Dette inkluderer:

• Avhengighetsgrafer for bedriftssystemer
• Sanntidsendringssporings
• Eierskapskartlegging
• Historisk konfigurasjonsbevissthet
• Påvirkningssimulering før eksekvering

Ingen av dette er glamorous. Ingen av dette trendar på sosiale medier. Men dette er der pålitelighet vil bli vunnet.

Bygging med lysene på

Bedriftsledere har rett til å kreve pålitelighet før de gir agenter operasjonell myndighet. Men veien fremover er ikke å vente på en mytisk hallucinasjonsfri modell.

Det er å investere i synlighetsinfrastrukturen som gjør intelligent handling mulig.

Vi ville ikke la en junior-administrator endre produksjonssystemer uten å forstå avhengigheter. Vi bør ikke la AI-agenter gjøre det heller.

Målet? Å redusere blindsoner.

Når agenter opererer med strukturell bevissthet, synker hallucinasjonsraten ikke fordi modellen endret seg, men fordi gjettflaten krymper.

Forutsigelse blir forståelse. Forståelse blir simulering. Simulering blir trygg eksekvering.

Den uunngåelige skiftet

Over de neste fem årene vil AI-staken dele seg. Ett lag vil fokusere på modellkapasitet: resonansdybde, multimodal flyt og kosteffektivitet. Det andre vil fokusere på informasjons-/kontekstuell topologi: systemgrafer, metadataintelligens og styringsrammer.

Organisasjoner som behandler pålitelighet bare som en modellvalg-øvelse, vil streve.

Organisasjoner som behandler pålitelighet som en arkitektonisk egenskap, vil bevege seg raskere med mindre risiko.

Hallucinasjonsdebatten vil se latterlig ut i etterkant. Den virkelige historien vil være om synlighet.

AI er ikke innebygget uforsiktig.

Det opererer i et mørkt rom.

Frem til vi adresserer dette, bygger vi ikke intelligente systemer. Vi bygger kraftige prediktorer innen uklare miljøer.

Og det betyr, til tross for all fremgang, AI bygger fortsatt i mørket.