Privat AI kräver infrastruktur som kan anpassas efter arbetsbelastningen

För två år sedan utgick nästan alla företag jag pratade med från att AI innebar att man anropade en frontiermodell via ett API. Den föreställningen håller på att falla sönder. Modeller med öppna vikter har blivit tillräckligt bra för många av de dagliga arbetsuppgifterna, och det som gör en AI-applikation värdefull för ett företag är oftast företagets egna data, inte modellen bakom den. När företagen väl ser det på det sättet är det helt enkelt sunt förnuft att hålla modellen nära sina data och under egen kontroll.

Det är vad privat AI innebär. Man kör modellen i sin egen miljö, finjusterar den med sin egen information och bestämmer var den används och vad den får tillgång till. Är man en bank eller ett läkemedelsföretag har man ändå aldrig varit bekväm med att lägga ut proprietär forskning eller kunduppgifter i någon annans miljö. För alla andra kommer drivkraften dels från kostnaden för inferens i stor skala, dels från oviljan att vara beroende av en enda leverantör för något som blir allt viktigare för företagets verksamhet. Enligt en undersökning från Linux Foundation använde 63 % av de tillfrågade företagen en öppen AI-modell, vilket visar hur brett de här alternativen redan har tagits i bruk.

Det som många underskattar är att infrastrukturen följer med när man tar hem modellen. Elförsörjning, kylning, beräkningskapacitet, var den står och hur den kopplas ihop med allt annat. Förr var det molnleverantörens problem. Nu är det ert. De flesta företag har aldrig behövt fatta sådana beslut tidigare, och tekniken förändras snabbare än någon hinner gjuta betong. Dimensionerar ni fel sitter ni med kapacitet som inte passar den arbetsbelastning ni faktiskt får. Flexibilitet måste byggas in från början. Att bygga om befintlig infrastruktur i efterhand kan bli dyrt, om det ens är möjligt, och vissa leverantörer kan helt enkelt inte göra det eftersom deras anläggningar aldrig byggdes för den här typen av effekttäthet.

Bygg basen, hyr in kapacitet vid toppar

Börja med att inse att ni inte behöver den största modellen för varje uppgift. Att sammanfatta dokument, klassificera ärenden och besvara frågor med hjälp av er egen kunskapsbas är uppgifter som en modell med öppna vikter kan utföra privat till en kostnad som går att förutse. Spara de mest avancerade modellerna till arbetet som verkligen kräver dem.

Det visar vilken form infrastrukturen bör ha. Bygg upp privat kapacitet för den jämna efterfrågan som ni vet återkommer varje vecka. Hyr in extern kapacitet vid toppar och för de tunga jobben som överstiger er egen kapacitet. Så har företag hanterat beräkningskapacitet länge, och AI förändrar inte logiken. Den ökar bara basens beräkningstäthet och gör att topparna kan variera mer.

Utmaningen är att dimensionera basen rätt och samtidigt få den privata miljön och den inhyrda miljön att fungera som ett enda system. Båda behöver åtkomst till samma data och måste omfattas av samma kontroller, utan att företagen ska behöva bygga om datapipelinen varje gång en arbetsbelastning flyttas från den ena miljön till den andra.

Var ska infrastrukturen placeras?

Att köpa GPU:erna visar sig vara det enkla beslutet. Sedan måste man hitta en plats åt dem, förse dem med ström, kyla dem och koppla dem till resten av IT-miljön. AI-maskinvara med hög effekttäthet kan inte installeras i ett vanligt företagsdatacenter utan omfattande ändringar av strömförsörjningen och kylsystemen, och den passar inte på alla anläggningar ni driver. I Uptime Institutes undersökning om AI-infrastruktur från 2025 angav 37 % av de svarande att tillgången till el var en av de viktigaste faktorerna när de valde var de skulle köra AI-arbetsbelastningar för inferens.

De flesta företag väljer en kombination av samlokalisering och moln. Det som oftast avgör är var data finns. De är redan utspridda på flera platser, det är dyrt att flytta dem och i reglerade branscher får en del data inte lämna landet eller en viss miljö. Att samla allt i en byggnad intill GPU:erna låter enkelt, men blir nästan aldrig verklighet.

Frågan handlar alltså inte bara om var beräkningskapaciteten finns. Den handlar också om hur den säkert når de data den behöver, utan att medföra kostnader och komplexitet som ni kommer att ångra om tre år. Se det här som den tredje omställningen. Den första var internet, och uppkopplingen löste problemet. Den andra var molnet, och nätverksinfrastrukturen löste det genom att möjliggöra mjukvarudefinierad sammankoppling, så att företag kunde ansluta till olika leverantörer från en enda plats. AI är den tredje omställningen, och nätverksinfrastrukturen räcker inte i sig. Det krävs el, mycket el, på samma plats som nätverksinfrastrukturen. Företagen som lyckas med privat AI är de som placerar beräkningskapaciteten där elförsörjning och uppkoppling möts, i stället för att hantera dem som två separata inköp.

Anslutningar för privat AI när arbetsbelastningen förändras

Agentisk AI gör frågan om uppkoppling mer brådskande. En vanlig applikation tar emot en instruktion, anropar en modell och lämnar tillbaka ett svar. En agent är aktiv hela tiden. Den anropar flera modeller, söker igenom flera system, hämtar data där de än finns och lämnar över arbete till andra agenter. Varje sådant steg passerar en gräns, vilket ökar svarstiden och väcker frågan om vem som får åtkomst till vad.

Placera nu modellen på en plats och data på en annan, och inför en regel om att vissa data måste stanna inom ett visst land eller i en privat miljö. Företag behöver ha verklig kontroll över dessa dataflöden: vilka system som får åtkomst till vilka data, vad som händer när en arbetsbelastning flyttas och hur en ny modell kan kopplas in utan att störa allt som redan är i drift.

Det är därför infrastrukturen måste vara programmerbar. Anslutningarna mellan modeller, data och miljöer bör gå att konfigurera och ändra, i stället för att varje gång kräva ett ingenjörsprojekt. Allt oftare är det inte en människa som står för konfigureringen. Standarder som Model Context Protocol, eller MCP, ger en agent ett gemensamt sätt att kommunicera med verktygen och systemen omkring sig. En agent som behöver ansluta till en ny datakälla eller en ny modell skulle kunna begära anslutningen, på samma sätt som den skulle anropa vilken annan tjänst som helst, samtidigt som lämpliga policyer och kontroller förblir på plats. Det är vad programmerbar infrastruktur innebär i praktiken. Nya modeller dyker upp med några månaders mellanrum. Nya applikationer kommer att behöva anslutningsvägar som inte finns i dag. Om varje förändring kräver en ombyggnad har du förlorat den flexibilitet som du valde en privat lösning för att få.

Få ekonomin att gå ihop

Att dimensionera kapaciteten rätt är en avgörande framgångsfaktor, och det handlar om mer än den totala mängden. Företag som lyckas med detta har en tydlig förståelse för sambandet mellan den effekt de tillför och antalet token de får ut. Förhållandet mellan effekt och token är det ekonomiska nyckeltalet för privat AI, och om du förstår det för dina egna arbetsbelastningar kan du dimensionera miljön med stor säkerhet. Den andra faktorn är kapacitetsmarginalen. Nya funktioner når marknaden varje kvartal, och företag som planerar väl lämnar alltid utrymme för det som kommer härnäst i stället för att dimensionera exakt efter dagens behov. Den bästa planen kombinerar de två. Ha full koll på förhållandet mellan effekt och token och planera sedan in en rimlig marginal utöver det.

Och GPU:erna är bara en del av kostnaden. Utrymme, kylning, elförsörjning och anslutning till resten av verksamheten kan kosta lika mycket som själva hårdvaran. Sedan tillkommer personalen. De flesta större företag har aldrig drivit en datormiljö med hög effekttäthet, och den kompetensen är inget man kan rekrytera på ett kvartal.

Därför är grundkapaciteten och kapacitetstopparna viktiga. Bygg upp tillräcklig privat kapacitet för den normala belastningen, hyr in mer när efterfrågan överstiger den och undvik på så sätt att betala för hårdvara som står oanvänd större delen av året. Du behåller också möjligheten att byta inriktning i takt med att modellerna och applikationerna förändras, vilket de kommer att göra.

Planera för det som kommer härnäst

Under allt detta finns ett problem med tidsperspektivet. Det tar ungefär två år att bygga ett datacenter. Om två år kommer modellerna, hårdvaran och applikationerna som företag vill köra att se avsevärt annorlunda ut än i dag. Det du väljer att satsa på nu kommer att köra arbetsbelastningar som ingen ännu kan beskriva fullt ut.

Företag håller fortfarande på att ta reda på vilka arbetsbelastningar som hör hemma i en privat miljö och när de behöver extern kapacitet, och det är en rimlig utgångspunkt. Det man bör undvika är att göra infrastrukturåtaganden som berövar en möjligheten att fatta beslutet innan man hunnit göra det. Lämna utrymme för olika modeller, för mer kapacitet när du behöver den och för att arbetsbelastningar ska kunna flyttas.

Om privat AI lönar sig på lång sikt beror mindre på vilken modell du väljer och mer på om infrastrukturen kan hålla jämna steg när dina behov blir tydligare. Bygg för dagens arbetsbelastning, se till att anslutningarna går att programmera och placera beräkningsresurserna där infrastrukturen möter elförsörjningen.