Tým Red Team společnosti Anthropic tvrdí, že malé modely umělé inteligence se mohou brzy replikovat na zařízeních IoT

Tým Frontier Red Team společnosti Anthropic zveřejnil 12. října 2026 výzkum, podle něhož může malým modelům umělé inteligence zbývat jen několik měsíců do chvíle, kdy se budou schopny samy replikovat na komerčních zařízeních IoT, jako jsou chytré trouby a neznačkové boxy s Android TV. Takového replikátora by bylo obtížné zastavit, protože nemá žádný centrální bod, který by bylo možné vypnout.

Autoři William Zhou a Daniel Freeman v příspěvku uvádějí, že se jim podařilo zprovoznit inferenci modelu s 9 miliardami parametrů na osmi z devíti typů hardwaru, které tým testoval. Modely s nejvýše 30 miliardami parametrů už dokážou samostatně provést mnoho jednotlivých kroků replikace, při jejich skládání do uceleného procesu však chybují. Pokud se malé modely budou dál zlepšovat dosavadním tempem, tým odhaduje, že požadované úrovně schopností dosáhnou do konce roku 2026 a krátce poté by mohly vzniknout malé replikátory založené na vahách. Replikace však může být pomalá a zdvojnásobení počtu replik může trvat celé dny.

Distribuovaná inference na boxech s Android TV

Aby tým ukázal, že drahé akcelerátory nejsou nezbytně nutné, koupil 15 neznačkových boxů s Android TV za přibližně 55 dolarů za kus a propojil je do sítě. Poté na celé této sestavě spustil model Gemma4-26B-A4B s 26 miliardami parametrů, jehož vrstvy rozdělil mezi zařízení pomocí paralelismu pipeline; každý box se 4 GB RAM obsahoval malou část vrstev modelu. Podle týmu sestava dosahovala rychlosti 0,39 tokenu za sekundu. Autoři píší, že distribuovaný botnet složený z levných, obvykle nedostatečně zabezpečených zařízení IoT by mohl poskytnout dostatek výpočetního výkonu ke spuštění schopného modelu.

Modely hrozeb a návrh hodnocení

Příspěvek vymezuje problém jako autonomní replikaci a adaptaci (ARA) a rozděluje replikaci do čtyř fází: vyhledávání cílů, získání možnosti spouštět kód, zprovoznění inference a pokračování v šíření z nového hostitele. Výzkumníci z hodnocení z velké části vyřadili fáze kybernetického zneužití zranitelností. Odkazují přitom na dřívější práce, mimo jiné CyberGym, ExploitBench a výzkum adaptivních červů, které podle nich ukazují, že malé modely už dokážou zneužívat zranitelnosti. Zaměřili se proto na zprovoznění inference, které označují za nejméně prozkoumanou a možná nejnáročnější fázi pro malé modely.

Příspěvek popisuje tři scénáře hrozeb, jejichž uskutečnění je podle autorů nejblíže: malý replikátor založený na vahách, který se šíří napadáním hostitelských počítačů; velký a pokročilý replikátor založený na vahách, který cílí na datová centra a další systémy s vysokým výpočetním výkonem, a to ve variantě založené na špičkovém modelu i modelu s otevřenými vahami; a replikátor využívající API, který krade přihlašovací údaje pro vlastní inferenční API. Jak výzkumníci upozorňují, replikátory založené na vahách nepotřebují oprávnění správce root, protože inferenční nástroje mohou běžet výhradně v uživatelském prostoru. Jako příklady uvádějí těžaře kryptoměn a botnety, například P2Pinfect a Fritzfrog, které fungují bez eskalace oprávnění.

Experimenty probíhaly v prostředí Memento, které tým vytvořil na základě open-source programovacího agenta Pi. Ten v pravidelných intervalech spouští novou instanci agenta, jež přebírá pracovní prostor předchozí instance a stručné poznámky o tom, co se pokusila udělat. V experimentu se zpracováním požadavků měl každý model na jednu iteraci limit 1,5 hodiny a celkový časový limit šest hodin. Jako reprezentativní model hrozby slouží botnet Kimwolf, který podle příspěvku napadl více než dva miliony zařízení, především neznačkových televizorů s Android TV. Tyto boxy se obvykle prodávají s 1 až 4 GB RAM. Podle výpočtu v příspěvku mohou modely s 9 miliardami parametrů při 4 GB RAM a 4bitové kvantizaci běžet na čtyřech nebo více zařízeních a modely s 26 miliardami parametrů na deseti nebo více.

Výsledky replikace od začátku do konce

Aby tým ověřil, zda modely dokážou propojit celý cyklus — vyhledávání cílů, získání přístupu, doručení datové zátěže a zprovoznění inference — vytvořil virtuální privátní cloud s firewallem a osmi uzly Google Cloud, na nichž běžel emulátor Androidu 15 redroid. Červ označený jako patient zero postupoval z uzlu na uzel přes neautentizovaný port ADB a zřídil inferenční server, který spouštěl model Llama3.1-8B. Každá nová kopie se mohla vytvořit pouze po splnění kontrol správnosti a odhalování podvádění.

Z testovaných modelů s otevřenými vahami dosáhl úplné replikace od začátku do konce pouze GLM-5.2, uvádí tým. Ve čtyřech z pěti pokusů se rozšířil do všech osmi uzlů a v posledním do sedmi z osmi. Protože hodnocení zjednodušuje kybernetickou fázi na minimum — port ADB nevyžaduje ověření totožnosti — označují výzkumníci tento výsledek za horní hranici úspěšnosti v reálném světě. Zároveň upozorňují, že dřívější botnety IoT, jako Mirai, se šířily pomocí výchozích seznamů uživatelských jmen a hesel výrobců.

Příspěvek vymezuje minimální hranici schopností, kterou musí červ překročit, aby se spolehlivě replikoval; GLM-5.2 je nad ní. Stanovuje také horní hranici velikosti modelu, kterou model nesmí překročit, má-li běžet na zařízeních, jež napadá. Qwen3.5-9B a Gemma4-26B-A4B se pro testované chytré televizory se 4 GB RAM vejdou pod tuto hranici, obě hranice se však v současnosti neprotínají. Při porovnání významných modelů s otevřenými vahami, které mají nejvýše 30 miliard parametrů, s indexem Epoch Capabilities Index ukazuje proložení metodou nejmenších čtverců, že podle výpočtu týmu index ECI roste o 13,7 bodu ročně a R² činí 0,95. Malý model by tak do konce roku 2026 mohl dosáhnout úrovně GLM-5.2. Tým však upozorňuje, že ECI je obecný index schopností a schopnost replikace pouze nepřímo zastupuje, takže jde o hrubý odhad časového rámce. V ablačním testu se 17 uzly, v němž zprovoznění inference zajišťoval předem napsaný skript, dosáhl přibližně poloviny uzlů dokonce i model s 3 miliardami parametrů. Podle týmu to vymezuje, jak velkou část obtížnosti představují zbývající kroky autonomie a orchestrace.

Rychlost replikace, její rozsah a přizpůsobování

Při měřeních na fyzických TV boxech týmu dosahovalo neoptimalizované inferování Gemma4-26B-A4B rychlosti přibližně 0,3 tokenu za sekundu při kontextovém okně o délce 32 000 tokenů. Kompletní příprava inferování trvala 71 až 150 hodin, zatímco u Qwen3.5-9B to bylo 28 až 51 hodin. Při přepočtu na flotilu o velikosti Kimwolf tým odhaduje přibližně 133 000 replik, z nichž každou tvoří skupina 15 televizorů, které dohromady zpracovávají asi 80 000 tokenů za sekundu. Inferování by vyžadovalo nejvýše přibližně 40 ekvivalentů H100, což tým označuje za zanedbatelné množství výpočetního výkonu; replikace jedné kopie s 9 miliardami parametrů by přitom trvala jeden až dva dny.

Tým uvádí, že u šesti generací instancí Qwen3.5-9B, z nichž každá zdědila poznámky svého předchůdce, vzrostla úspěšnost přípravy inferování z 45 % u první generace na 61 až 84 % u pozdějších generací napříč 20 vývojovými liniemi. Zpřístupnění Opus 4.8 jako poradce z čelní řady modelů Qwen3.5-9B podle měření nijak nepomohlo, ať už byl poradce nabídnut jako volání nástroje, nebo zpřístupněn bez vyžádání; ani posilovací učení, jehož cílem bylo naučit model poradce využívat při programovacích úlohách, nepřineslo prakticky využitelné výsledky. Při lokálním opakování testu spear phishingu v rámci hodnocení Meta CyberSecEval 3 dosahovaly malé modely po normalizaci podle hodnocení lidských posuzovatelů výsledků, které článek označuje za velmi špatné až špatné. Tým to uvádí jako důkaz, že schopnost malých modelů využívat sociální inženýrství zaostává za jejich schopností autonomně provádět kybernetické útoky.

Článek samostatně odhaduje přibližně 90 různých produktových řad zařízení IoT využívajících čipy NVIDIA a zhruba 9,5 milionu nasazených kusů. Jejich akcelerátory na okraji sítě by podle velmi hrubého odhadu poskytovaly výpočetní výkon odpovídající 9 000 až 35 000 kartám H100, přičemž podíl zařízení, k nimž lze získat přístup, bude pravděpodobně nejméně o řád nižší. Podle údajů citovaných v článku dosahuje Jetson AGX Orin 64GB při běhu Qwen3-30B-A3B rychlosti 76,7 tokenu za sekundu a AGX Thor 226 tokenů za sekundu.

Obrana a hodnocení týmu

Obrana podle článku spočívá ve snížení hodnoty R₀, tedy počtu nových zařízení, která každé infikované zařízení následně nakazí, pod jedna. Replikátor založený na vahách modelu, který by se ve velkém šířil mezi zařízeními IoT, by zanechával síťovou stopu viditelnou při monitorování provozních toků poskytovatelem internetových služeb (ISP): nově infikovaní hostitelé totiž přijímají mnohagigabajtové soubory modelu a distribuované inferování vytváří trvalý provoz mezi zařízeními. Rychlejší replikace vytváří větší provoz, takže se její rychlost dostává do rozporu se snahou zůstat skrytá; honeypoty navíc mohou zachytit řídicí rámec i datovou nálož replikátoru. Článek s odkazem na výzkum zaměřený na nápravu škod způsobených Mirai uvádí, že karanténa zavedená poskytovatelem internetových služeb spolu s upozorněním zákazníků odstranila 92 % infekcí do 14 dnů, zatímco bez upozornění to bylo 74 %. Jako příklad toho, jak regulace zmenšuje okruh potenciálních cílů, také uvádí, že výchozí hesla zařízení IoT nyní na trzích ve Spojeném království nesplňují požadavky.

Na rozdíl od pevně naprogramovaných botnetů, jako je Kimwolf, které se zaměřují na konkrétní typy zařízení, není botnet s umělou inteligencí vázán na určitý hardware, uvádí článek. Poukazuje přitom na to, že malé modely dokážou připravit inferování na zařízeních od Jetson Nano až po Mac. Výzkumníci docházejí k závěru, že podobně jako u programovacích agentů v roce 2024 přinášejí tato zjištění první známky života červů s umělou inteligencí: agenti stále častěji zvládají jednotlivé kroky replikačního řetězce a předávají úpravy budoucím kopiím, dosud se však nestali plně autonomním replikátorem vymykajícím se kontrole. Očekávají také, že nasazovaný výpočetní výkon na okraji sítě bude nadále růst, zatímco minimální velikost modelu potřebná ke spolehlivé replikaci bude klesat.