Varför företags AI går sönder efter distribution – och vad man kan göra åt det

Varning: Problemet är inte modellen

År 2023 lanserade New York City chatboten MyCity för att hjälpa företag att navigera i komplexa regler. Idén var enkel: göra juridisk information mer lättillgänglig.

I praktiken producerade systemet svar som inte bara var felaktiga, utan också juridiskt vilseledande – från tipsregler till bostadsdiskriminering till betalningslagar.

En senare granskning visade att 71,4% av användarfeedback var negativ. Istället för att åtgärda de underliggande problemen, var svaret att lägga till varningar. Chatboten förblev i “beta” i över två år innan den stängdes av.

Felet var inte tekniskt. Systemet bröt samman i produktionen för att det inte fanns någon mekanism för att säkerställa precision, ingen tydlig ansvarighet och ingen möjlighet att ingripa när saker gick fel.

Detta är mönstret bakom företags AI idag: tekniken fungerar, men organisationer är inte utrustade för att driva den på ett tillförlitligt sätt när den är live.

Från pilot till produktion: Där allt går fel

Att bygga en pilot är ganska enkelt – välj ett användningsfall, välj en modell, förbered data, hitta en sponsor. Att köra ett system i produktion är en helt annan sak.

Klyftan är som skillnaden mellan att hoppa i en pool och hoppa från stratosfären, som Felix Baumgartner gjorde 2012. Samma grundläggande fysik, helt olika förhållanden – och mycket olika konsekvenser för fel.

I produktionen ingår AI i riktiga beslutsflöden, interagerar med kunder och skapar juridiska och operativa konsekvenser. Där börjar luckor att dyka upp – inte i modellen, utan i hur den styrs.

Europa gör detta synligt tidigare än de flesta regioner. Regler som EU:s AI-lag, GDPR och NIS2 bromsar inte adoptionen – de avslöjar om organisationer kan driva AI-system under riktiga begränsningar.

År 2025 använde 55% av de stora EU-företagen redan AI. Adoptionen sker redan i stor skala. Utmaningen är vad som händer efter distributionen.

Vid den punkten börjar grundläggande operativa frågor att dyka upp. Och ofta kan ingen svara på dem: Vem är ansvarig för AI-utdata och autonoma beslut? Vad händer när systemet beter sig på oförutsedda sätt? Och vem kommer att upptäcka det innan skadan når media?

Ansvarighet ligger hos företaget, inte tekniken. Air Canadas chatbot gav en kund felaktig information om sörjandebiljetter. Kunden litade på den och nekades senare en återbetalning. En tribunal fastställde att flygbolaget var ansvarigt – chatboten var inte en separat enhet.

Samma problem, annan vinkel: McDonalds McHire-system avslöjade känsliga data från nästan 64 000 sökande. Orsaken var inte ett sofistikerat angrepp – admininloggningen använde “admin” och “123456”. Systemet såg avancerat ut. Felet var grundläggande.

När du fäster styrsystem på ett live-system är det redan för sent. Att distribuera ett system är ett tekniskt beslut. Att driva det på ett tillförlitligt sätt är ett organisatoriskt beslut. Och det är den del som de flesta företag underskattar.

Vem äger egentligen AI-risken? Ingen.

Detta är kärnan i problemet, och paradoxalt nog det som diskuteras minst. IT hanterar infrastruktur. Juridik hanterar regelefterlevnad. Affärsteam driver användningsfall. Men ingen äger den totala AI-risken.

Det skapar två omedelbara problem. “Gå”-beslutet bromsar – för att ingen vill ta ansvar. Och “stopp”-beslutet bromsar lika mycket – för att ingen vet vem som kan.

Data visar det. Färre än 10% av AI-användningsfall når från pilot till produktion, och de flesta organisationer kämpar för att generera mätbara affärsresultat. Samtidigt har många redan distribuerat AI – men enligt en styrselseskapsmognad hade endast 7% en välstrukturerad och konsekvent tillämpad styrsel.

Varför händer detta så konsekvent? För att de flesta ramverk och företagspolicys definierar vad som ska hända – inte vem som är ansvarig när det gäller. När ett system börjar producera felaktiga utdata på en fredag kväll, är frågan inte teoretisk. Vem agerar? Och vem har befogenhet att besluta?

Detta blir bara värre med skalan. Ett system kan hanteras informellt. När du har trettio, fragmenteras ansvarigheten över team, och ingen har den fulla bilden.

Commonwealth Bank of Australia ger ett tydligt exempel. Banken ersatte 45 kundtjänstmedarbetare med AI-röstbotar, i förväntan om att efterfrågan skulle minska. Det gjorde den inte. Samtalsvolymen ökade, chefer ingrep för att hantera överflödet, och banken var tvungen att återanställa alla 45 medarbetare. När de utmanades kunde de inte visa att automatiseringen hade minskat arbetsbelastningen.

Ingen hade validerat antagandena före distributionen. Ingen ägde resultatet när antagandena misslyckades. Det är vad en ansvarsvakuum ser ut i praktiken.

Att ha regler räcker inte. Du behöver en mekanism

De flesta organisationer saknar inte policys. De saknar system som fungerar när något går fel.

En policy definierar vad som ska hända. En mekanism bestämmer vad som faktiskt händer – när en modell producerar felaktiga utdata, när en leverantör ändrar något i bakgrunden eller när ett system börjar bete sig på oförutsedda sätt.

Den skillnaden blir synlig i produktionen – när beslut måste fattas under riktiga förhållanden.

Dessa misslyckanden följer ett konsekvent mönster. I varje fall dyker samma operativa luckor upp – fast i olika former.

Ägande kommer först

Varje distribuerat AI-system behöver en tydligt ansvarig ägare – en person, inte ett team eller en avdelning, med befogenhet att godkänna, pausa och stänga av det.

Utan det är varken snabb distribution eller säker ingripande möjligt. Som vi såg i exemplet med Commonwealth Bank leder avsaknad av tydligt ägande direkt till operativa misslyckanden.

Data och juridisk tydlighet saknas ofta

Många system distribueras utan dokumenterade dataflöden, en verifierad juridisk grund eller tydlighet kring vilka skyldigheter gäller när systemet är i produktion.

Italienska tillsynsmyndighetens agerande mot DeepSeek 2025 illustrerar detta tydligt. Problemet var inte modellkvalitet – det var oförmågan att förklara hur personuppgifter hanterades. Resultatet var en plötslig avbrott i tjänsten för europeiska användare.

Testning återger sällan verklig användning

System testas ofta på scenarier där de fungerar bra, men inte på de fall där misslyckande skulle ha betydelse.

MyCity-chatboten är ett tydligt exempel. Grundläggande gränsfall – kring arbetslagstiftning, bostadsdiskriminering eller betalningslagar – upptäcktes inte före distributionen. När systemet utsattes för riktiga användare blev misslyckandena omedelbart offentliga.

Testning handlar inte bara om prestanda – det handlar om att identifiera var systemet misslyckas innan användare, tillsynsmyndigheter eller journalister gör det.

Ingrepp är oklart eller för långsamt

Även när problem är synliga finns det ofta ingen tydlig utlösare eller befogenhet att pausa eller stänga av systemet.

Zillow Offers visar detta i stor skala. Systemet använde en algoritm för att prissätta och köpa hus. När marknaden svalnade 2021 fortsatte systemet att köpa till överpriser. Det fanns ingen mekanism för att upptäcka avvikelser i tid, och ingen tydlig beslutsgrund för att stoppa det. Resultatet blev förluster på över 880 miljoner dollar och stängningen av hela avdelningen.

Övervakning är inte ägande

Övervakning reduceras ofta till instrumentpaneler, men det är inte det som förhindrar misslyckanden.

Vad som är viktigt är definierat ansvar: vem spårar signaler, vad utlöser eskalering och vem förväntas agera.

Deloitte Australiens fall visar vad som händer när detta saknas. En regeringsrapport innehöll hallucinerade citat och felaktiga juridiska referenser eftersom ingen var uttryckligen ansvarig för att verifiera utdata före leverans. Resultatet blev en delvis återbetalning och skadat anseende.

Agentic AI: Vad som kommer kommer att bli ännu svårare

Generativ AI producerar utdata. Agentic AI tar beslut. Det förändrar risken helt.

Istället för ett enda svar att utvärdera kan en instruktion utlösa en kedja av beslut över system – API-anrop, dataåtkomst, transaktioner, uppdateringar – ofta utan mänskligt ingripande vid varje steg.

När något går fel är problemet inte längre precision. Det är spårbarhet. Vilket steg orsakade problemet? Vilka data användes? Vem auktoriserade åtgärden? I många fall är dessa frågor svåra att besvara i efterhand.

Det är där befintliga luckor blir kritiska. Oklart ägande, svag övervakning och brist på ingripande består inte bara – de förvärras. Ett felaktigt svar kan korrigeras. Ett felaktigt beslut kan skapa konsekvenser innan någon märker det.

Tidiga signaler pekar redan i den riktningen. Gartner uppskattar att över 40% av agentic AI-projekt kommer att avbrytas senast 2027 – inte på grund av modellbegränsningar, utan för att organisationer kämpar för att kontrollera kostnad, risk och resultat. Det är samma mönster vi ser med generativ AI efter distribution. Bara med högre insatser.

Tillsynsmyndigheter svarar redan med en enkel princip: automatisering tar inte bort ansvar. För organisationer skapar det en tydlig implikation: om ägande och kontroll är oklara idag, kommer skalan i agentic system inte att lösa problemet. Det kommer att förvärra det.

Driv det – eller förlora det

AI är inte längre begränsningen. Modeller är allmänt tillgängliga, kapabla och alltmer kommersialiserade. Den verkliga differentiatorn är inte om en organisation kan bygga AI – utan om den kan driva det på ett tillförlitligt sätt när det är live.

Det är där de flesta misslyckanden sker – i hur systemen körs, inte hur de byggs. Organisationerna som lyckas kommer inte att vara de med de mest avancerade modellerna. De kommer att vara de med de tydligaste operativa strukturerna runt dem.

Detta kan testas direkt. Ta ditt viktigaste AI-system och svara på tre frågor:

• Vem kan stänga av det?
• Hur vet du när det misslyckas?
• Vad händer när det gör det?

Om svaren på dessa frågor är oklara, är systemet inte redo för produktion.

Modellen kanske är det. Organisationen är det inte.