Val Bercovici, Chief AI Officer på WEKA – Intervjuserie

Val Bercovici, Chief AI Officer på WEKA, är en ledande inom AI‑ och datainfrastruktur med fokus på att driva fram teknologier som ligger till grund för nästa generations artificiell intelligens. Sedan han började på WEKA som Chief AI Officer i januari 2025 har han koncentrerat sig på att bygga AI‑agentinfrastruktur, påskynda tränings‑ och inferensarbetsbelastningar samt förbättra ekonomin kring AI‑beräkning. Vid sidan av sin roll på WEKA fungerar Bercovici som AI‑rådgivare till Home Dock, strategisk rådgivare till FermiHDI och The Hive, samt ordförande för PencilDATA, där hans arbete spänner över AI, cybersäkerhet, blockchain, molntjänster och datainfrastruktur. Hans karriär visar en långvarig inriktning på att utveckla och ge råd om framväxande teknologier som är avsedda att stödja allt mer datakrävande AI‑system.

WEKA är ett AI‑inbyggt datainfrastrukturföretag som bygger en mjukvarudefinierad plattform avsedd för de krävande databehoven inom artificiell intelligens, maskininlärning, högpresterande beräkning och andra accelererade arbetsbelastningar. WEKA Data Platform ger organisationer en enhetlig arkitektur som kan fungera över lokala, moln‑, hybrid‑ och edge‑miljöer, vilket hjälper till att eliminera lagringsflaskhalsar, förbättra GPU‑utnyttjande och påskynda AI‑modellträning och inferens. Företaget positionerar sin teknik i allt högre grad kring den framväxande inferensekonomin och agentisk AI, med en infrastruktur som är designad för att erbjuda hög genomströmning, låg latens åtkomst till data i massiv skala samtidigt som komplexa AI‑datapipelines förenklas. WEKA betjänar företag, molnleverantörer, forskningsorganisationer och AI‑utvecklare som driver några av världens mest prestandakrävande beräkningsmiljöer.

Din karriär har tagit dig från att forma NetApps tidiga molnstrategi och sitta i Kubernetes grundläggande styrgrupp till att bygga AI‑infrastruktur på WEKA. Hur har den utvecklingen format ditt sätt att tänka kring att förbereda infrastruktur för nästa fas av AI?

Varje era i min karriär har definierats av samma mönster: flaskhalsen flyttar, och branschen tar år att märka det. Under de tidiga moln‑ och Kubernetes‑dagarna såg vi beräkning bli elastisk och orkestrering bli den nya flaskhalsen. När jag lämnade NetApp, där jag var CTO efter SolidFire‑förvärvet, trodde jag att jag visste hur snabbt såg ut: låga millisekunder för en helt slumpmässig första‑byte‑läsning under produktionsarbetsbelastningar.

Anledningen till att jag gick med i WEKA är genuint nördig. Det var en statistik: den första ocachade slumpmässiga byte‑läsningen är 70 mikrosekunder, vilket inte är ett lagringsklass‑tal. Jag hade aldrig föreställt mig mikrosekundnivå‑latens från den här typen av system. Det var som en ljusglimt: den här teknologin kunde betjäna minnesapplikationer, DRAM‑klass‑applikationer som Redis och KV‑cache, inte bara lagring. Och precis i rätt ögonblick började inferens ersätta träning eftersom branschen behövde tjäna pengar på dessa modeller, och agenter kom för att göra minnet till hela spelet.

Det är den linsen jag använder för AI‑infrastruktur. Vi har sett den här filmen tidigare. Cloud FinOps uppstod eftersom företag satte igång infrastruktur utan någon enhetsekonomisk stringens, och sedan fick räkningen. AI befinner sig på samma kurva, men rör sig snabbare.   När företag oundvikligen tryckte tillbaka på token‑maxning med ankomsten av API‑förbrukningsfakturor som vida överstiger planerade token‑budgetar, bevittnar vi uppkomsten av AI FinOps. Detta är punkten där organisationer slutar behandla inferens som en billig nytta och börjar hantera token‑effektivitet som en finansiell disciplin. AI FinOps börjar med tokenomics: optimering av varje hård‑ och mjukvarulager i inferensstacken som påverkar enhetskostnaden per token. Just nu är den största slöseriet i den stacken dyra GPU‑er och nya ASIC‑er som sitter overksamma, väntar på minne och data (aka ‘decode’) snarare än FLOPS (aka ‘prefill’). Den som löser det äger nästa fas av AI.

Vita huset håller detaljerna i sitt nya AI‑säkerhetsramverk konfidentiella. Hur kan företag förbereda sig för regulatoriska krav när de ännu inte vet exakt vad som kommer att testas eller krävas?

Företag bör inte vänta på den slutgiltiga checklistan. De specifika testerna kommer att förändras, men den underliggande förpliktelsen kommer inte att göra det: du kommer behöva demonstrera vad din AI‑modell gjorde, vilka data den berörde och hur den beter sig vid en viss tidpunkt. Och väntan är redan ingen möjlighet globalt. EU:s AI‑lag trädde i kraft den här månaden, och den klassificerar de flesta agent‑orkestreringar som hög risk.

Det betyder att förberedelsearbetet är infrastrukturarbete. Data‑linje, observabilitet, reproducerbarhet och förmågan att återskapa modellens tillstånd på begäran är alla kritiska för att företag ska få det rätt. Slutligen måste organisationer implementera skyddsmodeller före utdata, med tillhörande latens‑ och token‑budgetar för de semantiska försvarslagren. Om du bygger dessa kapabiliteter nu blir varje ramverk bara en formateringsövning. Vänta på de slutgiltiga reglerna, så kommer du att retrofitta ansvarsskyldighet i system som aldrig designades för att förklara sig själva. Denna eftermontering är alltid dyrare än att bygga in den från början.

I slutändan är lösningen för att bygga säker AI mer AI, tillämpad optimalt och mycket avsiktligt.

Vilka typer av nya infrastrukturkrav kan AI‑säkerhetstestning skapa, och hur kan dessa arbetsbelastningar skilja sig från konventionell modellträning eller inferens?

Träning är som en brandpost. Du pumpar enorma datamängder genom en modell i ett ihållande, förutsägbart mönster. Säkerhetstestning är motsatsen: tusentals utvärderingsscenarier, upprepad sondering, version‑över‑version beteendejämförelser och adversariell red‑teamning som aldrig riktigt tar slut.

Den profilen är viktig. Säkerhetsträning och -testning är burstig, läsintensiv och jämförande. Den genererar och konsumerar enorma mängder mellanstegstillstånd. Skyddsmodeller måste vara inneboende heterogena och lagererade, implementerade inom strikta latensbudgetar, och förstärka utvärderingar med denna nya dimension av säkerhetskriterier. För sådana avancerade eller cyber‑kapabla modeller är arbetsbelastningsprofilen 24/7 bestående snarare än episodisk. Du kör inte ett test en gång och arkiverar resultaten. Du kör kontinuerliga agent‑svärm‑arbetsbelastningar som konkurrerar i produktion med beräkning, minne och databredband för de kritiska appar de skyddar. Efter kvalitet och hastighet är de flesta infrastrukturer idag inte designade för detta tredje princip.

Det finns också ett mätningsproblem under detta. De flesta AI‑benchmarkar idag kör 8 000 token eller mindre, en prompt, ett svar. Jag skämtar att de är artificiella benchmarkar för artificiell intelligens. I mitten av 2026 kör riktiga agent‑arbetsbelastningar 100 000 till 400 000 token kontext över tusentals turer. Om säkerhetsutvärderingar ärver dessa leksaksbenchmarkar kommer vi att certifiera system för en värld som inte existerar. Regulatorer bygger redan bättre muskler här: NIST har gjort källkoden för agent‑säkerhetsutvärderingsverktyg tillgänglig, och tidiga publicerade resultat visar nya agent‑kapningsattacker som lyckas flera gånger snabbare än kända baslinjer. Det är exakt den typ av kontinuerlig, adversariell, kostsam testning jag förväntar mig att säkerhetsramverk konvergerar mot.

Bör organisationer bygga överflödig beräknings‑ och datakapacitet specifikt för framtida efterlevnads‑ och säkerhetsarbetsbelastningar, eller finns det ett mer effektivt sätt att designa för den osäkerheten?

Att köpa extra GPU:er och hoppas att utnyttjandet ökar lämnar bara kapitalet fast i avskrivande hårdvara.

Det effektiva svaret är infrastruktur som kan växla mellan produktions‑ och utvärderingsarbetsbelastningar utan en separat stack. Det är i grunden ett dataproblem. Om du kan flytta och återanvända data effektivt, bevara kontext mellan arbetsbelastningar och hålla dina acceleratorer upptagna med riktigt arbete, blir efterlevnad en inkrementell kostnad istället för en parallell uppbyggnad. AI‑ekonomin handlar i allt högre grad om hur mycket värde du extraherar från varje token, byte och watt. Får du det rätt kan du generera 3–4 × mer värde från samma infrastruktur, eller minska ditt rackutrymme med upp till 75 %. Efterlevnad bör hållas till samma standard.

Det nuvarande ramverket fokuserar enligt rapporter på avancerade slutna modeller medan öppna modeller exkluderas. Vilka infrastruktur‑ eller säkerhetsutmaningar kan uppstå genom att behandla dessa två kategorier olika?

Om du behandlar slutna modeller och öppna modeller olika får du två efterlevnadsramverk för teknologier som gör samma saker, och klyftan mellan dem är där risken ligger.

En öppen modell kan finjusteras och distribueras i miljöer där den ursprungliga leverantören har noll insyn. Att reglera leverantören gör ingenting där. Och uppdelningen är redan tydlig: exportkontroller landade på de nyaste slutna frontier‑modellerna i år, medan öppna modeller korsar gränser fritt och nu sitter nära toppen av offentliga kapabilitets‑rankningar. Dock slutar administrationen med att definiera frontier‑modeller, styrning kan inte stanna vid själva modellen. Du behöver insyn i var modeller körs, vilka data de får åtkomst till, vilka prompts, svar och metadata som behålls, hur de har modifierats och om infrastrukturen under kan stödja styrd AI i skala. Nya uppdateringar till ISO27001 och SOC2 kommer att krävas.

Mitt svar är förtroende men verifiera. Om din infrastruktur ger dig token‑kapacitet kan du köra heterogena skyddsregler mot vilken modell som helst innan dess output skickas: inhemsk eller utländsk, öppen eller sluten. Objektiv verifiering slår övergripande förtroende eller misstro baserat på var en modell kommer ifrån. När öppna modeller sprider sig lever leveransförmågan i infrastrukturlagret, och det är där företag kommer att särskilja sig. Policyn kan bestämma vilka modeller som är tillåtna. Infrastruktur avgör om dessa modeller kan distribueras ansvarsfullt och ekonomiskt.

När AI‑agenter blir mer autonoma och opererar över längre kontexter, hur förändrar det mängden data, minne och beräkning som organisationer måste avsätta för övervakning och säkerhet?

En chatbot är en prompt och ett svar. En autonom agent är en körande process. Den berör dussintals system, hämtar information, fattar mellanstegbeslut och samlar tillstånd under timmar eller dagar innan den slutför en uppgift.

Du kan inte övervaka det genom att provta enskilda token eller svar. Du måste fånga hela sekvensen: vad agenten visste, när den visste det och vad den gjorde härnäst. Varje timme en agent kör växer dess tillstånd, och så gör minnet, datarörelsen och infrastrukturen som krävs för att fånga och analysera det. Övervakning slutar vara en loggningsfunktion och blir en förstklassig arbetsbelastning med sin egen resursbudget.

Försvaret är där detta blir brådskande. AI:s minnesproblem blir ett säkerhetsproblem. En kodningsagent kan starta, leverera och stängas ner. En cybersäkerhetsagent kan inte. Den måste hålla kontext över dagliga skiftbyten i ett säkerhetsoperationscenter, frekventa modelluppdateringar och sofistikerade flerstegsattackkampanjer som tidigare sträckte sig över veckor, men idag opererar på koordinerade maskinhastigheter. När AI:s arbetsminne evakueras och beräknas om från grunden varannan minut, har en agent som upptäckte avvikande beteende i timme ett saknar minne av det i timme två. Angripare har inte det problemet. Deras agenter identifierar och förföljer svagheter kontinuerligt, och kill‑kedjor slutförs nu på token‑optimerade maskinhastigheter, så AI‑driven cybersäkerhet måste köras autonomt dygnet runt. Och detta är inte teoretiskt. Säkerhetsleverantörer förbereder sig nu för 24/7 bestående cyber‑agenter, och det första de upptäcker är att ekonomin ser helt annorlunda ut än chatt‑arbetsbelastningar. Vissa organisationer behöver dessa agenter i kanten, i anläggningar där du inte kan leverera ett GPU‑rack eller ens en kylaggregat i år. Det verkliga testet för företags‑AI är bestående kontextretention, inte punkt‑i‑tid‑inferens. Detta blir en kamp om token‑attrition, och den som löser bestående kontextminne i skala kommer driva den första horisontella killer‑appen i företags‑AI: alltid‑på blåa agent‑svärmar.

Du har talat om den växande betydelsen av ”kontextminne” när AI‑arbetsbelastningar går bortom enkel chatt mot bestående agenter. Kan kontextminne också bli viktigt för granskning, reproduktion eller utredning av AI‑beteende?

Absolut, och det är ett viktigt användningsfall. I åratal var minne en prestandahistoria: hur snabbt du kunde mata GPU:n, hur mycket kontext du kunde hålla. När agenter börjar agera autonomt blir samma minne bevismaterial. Om en agent fattar ett beslut baserat på kontext den samlat under dagar, säger den slutgiltiga prompten och outputen nästan inget om varför den agerade. Förklaringen finns i det ackumulerade tillståndet.

Tekniskt sett levererar det mesta av det tillståndet i KV‑cachen, och branschen behandlar den fortfarande som förbrukningsbart skräprum istället för hållbar data. Om du bevarar det tillståndet och kan hämta det effektivt, kan du återskapa vad systemet visste i det ögonblick det agerade. Team kommer först att använda det för felsökning, sedan för säkerhetsutvärderingar, och så småningom kommer någon behöva det i en utredning. Att kasta bort kontextminnet betyder att kasta bort den enda registreringen som förklarar varför din AI gjorde vad den gjorde.

Kan AI‑reglering i slutändan tvinga företag att behålla avsevärt mer information om modell‑inmatningar, utdata, checkpoints, data‑linje och agent‑aktivitet? Vad skulle det innebära för AI‑infrastrukturens arkitektur?

Riktningmässigt, ja. Allt eftersom AI‑system blir mer betydelsefulla kommer synlighetskraven att utvidgas till att omfatta varje steg i pipeline:n. Du kan redan se de tidiga signalerna: team planerar att behålla föråldrat kontextminne i billigare objektlagringsnivåer enbart för revisionsändamål, innan någon reglering kräver det.

Autentisering av övervakning med oföränderlighet är avgörande. Manipulation av loggar och andra forensiska artefakter av illvilliga agenter har blivit rutin, vilket kräver avancerade kryptografiska verifieringssystem som inte är sårbara för koncentrerade, centraliserade integritetsmål för attacker. Enkla transparensloggar eller hash‑kedjor räcker inte för att försvara mot samordnade agent‑svärmar. Höggradigt decentraliserade, offentliga blockchain‑arkitekturer är idealiska för detta, och belyser det ofta förbisedda integritetsvärdet, i mitten av cybersäkerhetens C‑I‑A‑triad.

Retention är inte bara ett skrämmande, oföränderligt lagringsproblem i skala. Det svåra är att hålla den informationen pålitlig, organiserad, indexerad och snabbt återvinningsbar nog att vara användbar under en deadline, oavsett om den kommer från en regulator, en incidentrespons eller en domstol. En petabyte av agent‑aktivitet som du inte kan fråga är en skuld, inte en registrering. Det arkitektoniska skiftet går från ”mer lagring” till infrastruktur designad kring objektivt verifierbar, bestående, frågebar AI‑data som en kärnarbetsbelastning.

Många organisationer fokuserar på att köpa fler GPU:er, men var ser du de mindre uppenbara infrastrukturflaskhalsarna uppstå när AI‑arbetsbelastningar skalar och säkerhetskraven blir mer krävande?

GPU:n får rubrikerna eftersom den inte är en obetydlig budgetpost. Men GPU:er och särskilt nya decode‑optimerade acceleratorer (ASIC+SRAM) är sällan den faktiska begränsningen. Minnesbandbredd, datagravitation och -rörelse, lagringsprestanda och nätverk bestämmer om dessa acceleratorer utför produktivt arbete eller väntar underutnyttjade.

När AI blir mer kontexttung blir minnesväggen den definierande begränsningen. Du kan fortsätta lägga till GPU:er, men om de spenderar sina cykler på att omräkna token eller flytta kontext mellan system, betalar du för slösat arbete, om och om igen. Att skala minnesväggen innebär att få datalagret att bete sig som delad lagring, men prestera på verkliga minneshastigheter. Den HBM‑nära hastighetsgränsen är viktig för den vinstdrivande vågen av KV‑cache‑offload‑lösningar som anländer nu: alla måste leverera sann minnesklass‑prestanda för att tokenomics ska gå ihop. Retentionsvärdet för KV‑cache är en kostnadsdiskussion, sekundär till vinstdrivaren. Och om läsning av cachad kontext är långsammare än att bara omräkna den, är cachen värdelös för affärsekvationen. Det som räknas är inte hur många GPU:er du äger, utan hur produktiv varje är. AI‑ekonomin handlar om värdet du extraherar från varje token, byte och watt, och säkerhetskraven kommer bara att höja insatserna i den matematiken.

Ser du fram emot att AI‑säkerhet och efterlevnad blir en egen infrastrukturarbetsbelastning, liknande hur cybersäkerhet utvecklades till ett dedikerat lager i företags‑teknik?

Vi kommer att se AI‑säkerhet och efterlevnad bli en egen arbetsbelastning, och parallellen med cybersäkerhet går åt båda hållen. Säkerhet blev ett eget lager när branschen accepterade att det inte kunde vara ett sporadiskt övningsmoment. Cyber‑försäkringsbranschen gjorde det icke‑valfritt. AI‑säkerhet är på samma obligatoriska bana när modeller blir mer kapabla och mer autonoma.

Men vi bör lära av var säkerheten gick fel. Den blev ett tillägg: en separat stack, en separat budget, ett separat team som upptäckte problem i efterhand. Säkerhetsinfrastruktur bör inte upprepa det misstaget. Övervakning, utvärdering, auditabilitet och oföränderlig retention bör ligga inom AI‑infrastrukturen själv, medkonstruktion från början.

Det är den del de flesta missar: säker AI kräver mer AI. Skyddsmodeller är inte gratis. De måste tränas kontinuerligt, finjusteras och infereras i varje steg av agentens körning. Token‑latensbudgetar gör detta konkret: varje svar har ett fast fönster, och ju fler token du kan bearbeta inom det fönstret, desto mer verifiering har du råd att köra innan outputen skickas ut. Och det verkliga hotet från frontier‑modeller är deras agentiska tillämpning. Agenter kör som högvolym‑inferensloopar, gör upprepade anrop till modeller över långa horisonter. Varje loop är observe, orient, decide, act, och varje steg förbrukar token. Det förvandlar AI‑säkerhet till ett krig om token‑attrition. Angripare fältar röda agent‑svärmar, försvarare fältar blåa agent‑svärmar, och den sida som kan generera fler token per dollar och per watt vinner. Tokenomics ligger på den kritiska vägen för både attack och försvar. Detta slutade vara ett tankeexperiment i sommar, när en röd agent‑svärmattack mot ett stort modellarkiv skrämde branschen till rätta, och en dedikerad säker AI‑allians bildades inom dagar. Samtidigt fortsätter volymerna att växa: branschens token‑behandling har gått från triljoner till kvadrillioner.

När säkerhet blir ett alltid‑på krav, slutar dess beräknings‑, minnes‑ och datakostnader vara overhead. De blir en del av de grundläggande enhetsekonomierna för att driva AI. Företagen som internaliserar det tidigt kommer att behandla säkerhet som en designingång. Alla andra kommer att betrakta det som en skatt.

Tack för den fantastiska intervjun, läsare som vill veta mer bör besöka WEKA.