E2B tester NVIDIA Vera for store flåter av agentsandkasser

E2B publiserte testresultater fra førproduksjonsfasen 9. november 2026. De viste at fire optimaliserte testkjøringer på én dobbeltprosessorbasert NVIDIA Vera-server håndterte mellom 1 400 og 1 550 aktive sandkasser, mens separate mikrobenchmarktester målte høyere prosessor- og minnegjennomstrømning enn på referansesystemet AMD EPYC 9B45.

Evalueringen er ikke en produksjonsutrulling. E2B tilbyr isolerte mikroVM-er via et SDK, slik at agenter kan kjøre kommandoer, arbeide med filer og gå tilbake til en bevart kjørende tilstand. Hver sandkasse gjenopptas fra et øyeblikksbilde, og minnet lastes inn etter behov. Mye av arbeidet i slike økter foregår på prosessoren selv når modellen kjører et annet sted. Derfor testet E2B både enkeltoperasjoner og et stort antall samtidige miljøer.

Mikrobenchmarktester av prosessor og minne

Vera-testene ble gjennomført 9.–13. oktober 2026 på én dobbeltprosessorbasert server i førproduksjonsfasen, med 176 fysiske kjerner og 1 479 GiB RAM. Referansemålingene for AMD ble gjort i august 2026. I en beregningstest med én tråd på en vert uten virtualisering rapporterer E2B 7 759 hendelser per sekund for Vera og 5 131 for AMD EPYC 9B45, tilsvarende 1,51 ganger referansens gjennomstrømning. Tallene er medianen av minst tre testkjøringer. Beregningstestene brukte Veras kjerne med 64K-sider.

I minnetesten fylte man et område på 2 GiB ved hjelp av 4K-kjerner og 2 MiB-hugesider, som er den samme typen hugesider som E2Bs sandkasser bruker. E2B rapporterer 62,8 GB/s for Vera og 17,4 GB/s for AMD, tilsvarende 3,61 ganger så høy gjennomstrømning. Målingen gjelder fylling av minne, ikke oppstart av en komplett sandkasse. Dette er en viktig operasjon for en kjøretidsplattform som gjentatte ganger gjenoppretter miljøer fra øyeblikksbilder.

Sammenligningen har klare begrensninger. Diagrammene omfatter navngitte systemer i bestemte mikrobenchmarktester og dokumenterer verken tilsvarende hastighetsøkning for agenter fra start til slutt eller større flåtekapasitet enn AMD. E2B påpeker også at ytelsesgevinsten vil variere mellom ulike verktøy og applikasjoner.

Kapasitet for hele stakken og optimalisering av verten

Til testene av hele stakken brukte E2B E2B Embed, en pakking for én maskin av E2B Runtime med åpen kildekode og tilhørende dashbord. Stakken kjørte direkte på verten. Embed tilbyr isolering med Firecracker-mikroVM-er og SDK-støtte for Python og JavaScript. Evalueringen omfattet oppretting, kjøring av kommandoer, gjenoppretting fra øyeblikksbilder, kapasitet samt gjentatt oppretting og nedstenging.

E2B rapporterer oppstart av varme sandkasser på 50 ms ved sekvensiell kjøring og en rundturstid på 3,8 ms for kommandoer ved lav belastning. Hvert av tallene kommer fra separate Vera-tester på fysisk maskinvare, ikke fra målinger under belastning av en sandkasseflåte. I en separat test av gjentatt oppretting og sletting ble 22 145 sykluser fullført uten feil.

I den blandede kapasitetsbelastningen utførte hver sandkasse gjentatte ganger en kort prosessorbelastning, en diskskriving på 10 MiB og en pause, mens én av ti kjørte kontinuerlig. Ved den øvre grensen av kapasitetsområdet rapporterer E2B en rundturstid for kommandoer på 255 ms ved 95-persentilen. I en separat test der alle sandkassene kjørte kontinuerlig, ble 550 sandkasser håndtert over tid.

I disse kapasitetskjøringene var det satt av 512 MiB per sandkasse. Målene krevde at latenstiden ved 95-persentilen holdt seg innenfor 5× referanseverdien for oppvarmede belastningstopper i hver testkjøring, og satte en feilgrense på 1 % for hvert trinn. Resultatet beskriver derfor kapasiteten innenfor bestemte mål for responstid og pålitelighet, ikke en absolutt grense for hvor mange sandkasser systemet kan laste inn.

Vertskonfigurasjonen var en viktig begrensning. Standardinnstillingene støttet 320 sandkasser. Optimalisering av nettverksnaboer økte tallet til 1 000, men grensen på 1 024 enheter ble stående. For å oppnå hovedresultatet for kapasitet måtte systemet finjusteres fullt ut. E2B beskriver denne utviklingen som en sammenligning av konfigurasjoner på samme server, ikke som en hastighetsøkning for Vera sammenlignet med x86.

Begrensninger ved evalueringen og planlagte tester

At systemet fortsatt er i førproduksjonsfasen, innebærer at flere spørsmål står ubesvart. E2B fant at x86-referansesystemer fortsatt fullførte enkelte gjenopprettingsoperasjoner raskere, og at nestet virtualisering krever mer arbeid. Det ble ikke gjort målinger av kostnader eller strømforbruk, så driftsøkonomien inngikk ikke i evalueringen.

E2Bs oppgitte neste trinn er en flernodeklynge med Vera, gjenopptak fra inaktive tilstander med objektlagring som støtte og en x86-sammenligning med samme E2B-pakking og optimalisering av verten. Vurderingen av en bredere utrulling avhenger nå av disse oppfølgingsstudiene: om resultatene for hele stakken holder seg sammenlignet med et tilsvarende pakket og optimalisert x86-system, og om kapasiteten som ble målt på én server, også kan oppnås på tvers av en klynge.