Människor hänger fast för livet när AI accelererar mjukvaruleverans

Under större delen av mjukvaruutvecklingens historia har människor varit kontrollen. En utvecklare gör en förändring, en annan person granskar den, någon godkänner den, och så småningom blir den distribuerad.

AI påskyndar hela systemet medan vi fortfarande försöker hålla människor i mitten av det. Utvecklare kan nu skapa kod och förändringar på sekunder. Agenter kan arbeta över kodarkiv, verktyg, infrastruktur och andra system med mindre mänskligt engagemang.

Vår instinkt är att återinföra människor i processen. Vi granskar pull‑requesten, godkänner verktygsanropet, kontrollerar förändringen och bekräftar distributionen eftersom vi vill försäkra oss om att AI:n inte gjort något den inte fick göra. Vi hänger fast för livet.

Den instinkten är rimlig. Mänsklig granskning har gett oss ett sätt att behålla kontrollen när mjukvaran går mot produktion. Men AI börjar operera i en hastighet och volym där människor inte längre kan vara skalans enhet för styrning.

AI rör sig redan snabbare än mänsklig granskning

Den första vågen av generativ AI inom mjukvaruutveckling fokuserade främst på att hjälpa utvecklare att skriva kod snabbare. Det i sig förändrar mjukvaruleveransen. Mer kod innebär fler applikationsändringar, infrastrukturändringar och databasändringar som går igenom testning, säkerhet, granskning, distribution och produktion.

Problemet är inte nödvändigtvis att AI skapar sämre förändringar. Den skapar fler förändringar, snabbare. Om kontrollen för all den nya outputen ligger på en annan person som granskar varje förändring, slutar matematiken så småningom att fungera.

Vi ser redan tecken på det. Anthropic rapporterade nyligen att Claude Code‑användare godkänner cirka 93 % av behörighetsförfrågningarna. Företaget fann att upprepade förfrågningar kan skapa godkännandetrötthet, där människor uppmärksammar mindre när antalet godkännanden ökar. Anthropic använder nu en automatiserad klassificerare för att utvärdera handlingar och stoppa potentiellt farliga snarare än att be en person godkänna allt.

Tänk på vad det säger om mänsklig tillsyn. Om någon klickar på godkänn 93 % av gångerna ger ett ytterligare godkännande inte nödvändigtvis mer kontroll. Så småningom blir människan ett ytterligare steg i arbetsflödet.

Vi kan använda AI för att skapa mer mjukvara. Vi kan inte svara genom att skapa en lika stor mänsklig granskningsoperation bakom den.

AI går från att skapa kod till att vidta åtgärder

Kodassistenter gav AI en roll i utvecklingen. Agenter ger AI förmågan att delta i en mycket större del av mjukvaruutvecklingslivscykeln (SDLC). En agent kan ta emot ett mål, besluta hur det ska uppnås, använda verktyg, observera resultaten och justera vad den gör härnäst.

Inom mjukvaruteknik kan det innebära att modifiera filer, köra kommandon, interagera med kodarkiv, anropa API:er, testa kod eller arbeta med infrastruktur. Människor blir också mer bekväma med att låta agenter arbeta på egen hand. I en studie av miljontals människa‑agent‑interaktioner, Anthropic fann att erfarna Claude Code‑användare använde full auto‑godkännande i mer än 40 % av sessionerna, ungefär dubbelt så ofta som nya användare.

Det betyder inte att autonoma agenter kör produktionsmiljöer överallt idag. Det gör de inte. Men mjukvaruutveckling ger oss en tidig inblick i vart detta är på väg.

Idag skapar AI fler förändringar, och mänsklig granskning börjar bli ansträngd. Nästa steg är att AI deltar i en större del av mjukvaruutvecklingslivscykeln. Så småningom kommer agenter att skapa, validera, distribuera, observera och åtgärda förändringar med mycket mindre mänskligt engagemang.

I varje steg tar vi bort en ytterligare plats där en person tidigare gav kontroll. Frågan förändras från om AI kan utföra arbetet till vad AI bör tillåtas göra på egen hand.

Behörighet är inte auktoritet

Agenter behöver åtkomst för att utföra användbart arbete. En agent som hjälper till att distribuera mjukvara kan behöva åtkomst till ett kodarkiv, CI/CD‑system, molnmiljö eller databas. Om du tar bort den åtkomsten förlorar du också mycket av det som gör agenten användbar.

Men åtkomst och befogenhet är inte samma sak. Att ge en agent tillåtelse att nå ett system betyder inte att den ska ha befogenhet att utföra varje handling som är möjlig i det systemet.

Traditionell åtkomstkontroll kan visa om en agent har tillåtelse att nå något. Vi behöver också ett sätt att avgöra om den specifika handlingen den vill utföra bör ske. Detta blir viktigare när systemet som fattar beslutet kan tolka en uppgift annorlunda än personen som tilldelade den, stöta på ett hinder och välja en annan väg, eller använda ett legitimt verktyg på ett sätt ingen förutsåg.

OWASP beskriver en version av detta problem som Överdriven agentur. Det pekar på överdriven funktionalitet, behörigheter och autonomi som orsaker till skadliga handlingar och rekommenderar oberoende godkännande för åtgärder med hög påverkan.

NVIDIA närmar sig samma problem på arkitekturnivå. Dess Open Agent Safety Platform placerar policy‑verkställighet utanför agenten och gör en enkel poäng: en agent kan inte förväntas fullt ut styra sitt eget beteende.

Det bör forma hur vi bygger AI‑SDLC. En agent kan behöva behörighet för att komma åt en databas, infrastrukturmiljö eller distributionssystem. Det betyder inte att agenten ska få bestämma själv att varje förändring den vill göra är säker.

AI fattar beslut baserade på sannolikheter. Vi bör inte låta varje sådant beslut automatiskt bli en handling mot ett kritiskt system.

Människan i loopen kan inte vara hela svaret

Det uppenbara svaret är att ha en person framför de avgörande AI‑åtgärderna. För vissa beslut är det exakt vad vi bör göra. Misstaget är att förvandla ”human in the loop” till svaret för varje beslut.

Om varje åtgärd en agent utför kräver att någon granskar den och klickar på godkänn, har vi återuppfunnit den flaskhals som AI skulle ha eliminerat. Dessutom kan tillräckligt många godkännanden göra tillsynen till en vana. En person som klickar på godkänn hela dagen utövar inte nödvändigtvis omdöme.

Vi måste vara mer medvetna om var besluten fattas. AI kan fatta beslut inom det jobb vi har gett den. Policy kan hantera beslut där reglerna redan är kända. Människor kan hantera undantag och beslut som faktiskt kräver omdöme.

En låg‑risk förändring som uppfyller etablerad policy bör inte behöva någon som stirrar på den. En förändring som bryter mot policy bör stoppas automatiskt. Ett undantag med betydande affärs‑, säkerhets‑ eller driftskonsekvenser kan kräva att en person fattar beslutet.

Det är en mycket annorlunda modell än att bara placera en människa i varje loop. Målet är inte att ta bort människor. Det är att sluta göra mänsklig uppmärksamhet till den faktor som varje åtgärd beror på och göra den styrda vägen till den enklaste vägen.

Placera kontrollen där åtgärden sker

Företag kommer inte att standardisera på en enda AI‑modell eller en enda agent. Utvecklare kommer att använda olika copiloter. Team kommer att experimentera med olika modeller. AI kommer att dyka upp i utvecklingsverktyg, säkerhetsprodukter, dataplattformar och interna applikationer.

Att försöka bygga en separat styrprocess kring varje AI‑verktyg kommer inte att skala. Kontrollbehoven måste ligga närmare den åtgärd AI:n vill utföra.

Om en AI‑genererad förändring går in i en distributionspipeline bör den möta samma policyer som en mänskligt genererad förändring. Om en agent vill modifiera infrastruktur, data eller en produktionsdatabas får kontrollerna kring det systemet inte försvinna bara för att aktören har förändrats.

Källan till förändringen bestämmer inte risken. Det är själva förändringen som gör det. En utvecklare, kodassistent, automatiserad process eller autonom agent kan ta en annan väg till samma åtgärd, men den åtgärden kan fortfarande möta samma policy innan den blir avgörande.

Detta gör också att tekniken kan förändras utan att företag måste bygga om styrningen varje gång. Modeller kommer att förändras. Agenter blir mer kapabla. Kontrollerna kring kritiska system kan förbli konsekventa.

NIST tar ett liknande riskbaserat tillvägagångssätt i sin AI Risk Management Framework, som ser styrning som något som måste verka över AI‑livscykeln snarare än som ett enda godkännande i slutet. För mjukvaruleverans innebär det att placera kontroller i den väg AI redan tar istället för att fästa en annan manuell process på den.

När människan lämnar, kan inte bevisen följa med

Det finns ett annat problem som gömmer sig i modellen med mänsklig granskning. När du tar bort personen från processen förlorar du inte bara granskningen. Du kan också förlora den som hjälpte till att bevisa att granskningen ägde rum.

Det blir ett allvarligt problem för företag med säkerhets-, regelefterlevnads- och revisionskrav. De måste fortfarande veta vad som förändrades, vem eller vad som initierade det, vilken policy som tillämpades, om den godkändes, vem som godkände ett undantag, var förändringen kördes och vad som hände därefter.

Du kan inte automatisera förändringen och låta bevisen vara manuella. I en mänskligt driven process kan team senare återskapa bevis från ärenden, godkännanden, pipeline‑loggar, skärmdumpar och konversationer. Detta blir svårare när förändringsvolymen ökar och blir orealistiskt när maskiner skapar och utför förändringar kontinuerligt.

Bevisen måste bli en del av leveransprocessen. Policybeslut, godkännanden, undantag, distributioner och resultat bör skapa register när arbetet pågår. Revisionsbevis blir en biprodukt av mjukvaruleverans istället för något team samlar ihop i efterhand.

Det lämnar två olika uppgifter för styrning i en AI‑driven SDLC. Före en åtgärd, avgör om den ska ske. Efter åtgärden, bevisa vad som hände.

Människor försvinner inte. Vårt arbete förändras.

Det finns en förståelig instinkt att mäta kontroll efter hur många gånger en person blir involverad. Fler granskningar känns säkrare. Fler godkännanden känns säkrare. Att ha en människa i varje loop känns säkrare.

AI kommer att testa den antagandet. Om AI fortsätter öka mängden mjukvara vi kan skapa, kommer människor inte kunna granska varje förändring, godkänna varje åtgärd, övervaka varje distribution och återskapa varje beslut i efterhand. Att försöka göra det kommer antingen att bromsa AI eller förvandla mänsklig tillsyn till en gummistämpel.

AI:s SDLC behöver en annan arbetsfördelning. AI kan hantera mer av arbetet medan policy styr återupprepbara beslut och människor ingriper när något verkligen kräver omdöme. Bevisen bör skapas automatiskt längs vägen.

Vi kommer att ge AI mer åtkomst eftersom det är så det blir användbart. Vi kommer att ge agenter mer autonomi eftersom det är så vi får mer nytta av dem. Utmaningen är att säkerställa att större åtkomst och autonomi inte tyst blir obegränsad myndighet.

Människor behöver inte hålla fast ännu hårdare. Målet är inte mindre kontroll. Det är en kontrollmodell som inte beror på att vi behåller varje beslut själva. Vi måste bygga de kontroller som låter oss släppa greppet utan att förlora kontrollen.