Команда Red Team Frontier компанії Anthropic: невдовзі невеликі моделі ШІ можуть почати самовідтворюватися на пристроях Інтернету речей

12 жовтня 2026 року команда Red Team Frontier компанії Anthropic опублікувала дослідження, у якому повідомила, що невеликі моделі ШІ можуть уже за кілька місяців набути здатності самовідтворюватися на комерційних пристроях Інтернету речей, як-от розумних духовках і телевізійних приставках Android від маловідомих виробників. Такий самовідтворюваний агент буде складно зупинити, оскільки в нього немає централізованого вузла, який можна вимкнути.

Автори публікації Вільям Чжоу та Деніел Фрімен повідомляють, що модель із 9 мільярдами параметрів змогла виконувати інференс на восьми з дев’яти перевірених командою типів обладнання, а моделі з 30 мільярдами параметрів або менше вже можуть виконувати багато окремих етапів самовідтворення, хоча й припускаються помилок, коли мають послідовно пройти весь процес від початку до кінця. Якщо невеликі моделі й надалі вдосконалюватимуться такими темпами, як раніше, команда прогнозує, що до кінця 2026 року вони досягнуть необхідного рівня можливостей, а невдовзі після цього можуть з’явитися самовідтворювані агенти на основі ваг моделей. Водночас команда зазначає, що самовідтворення може відбуватися повільно — подвоєння кількості заражених пристроїв може тривати кілька днів.

Розподілений інференс на телевізійних приставках Smart TV

Щоб показати, що дорогі прискорювачі не є суворо необхідними, команда придбала й об’єднала в мережу 15 телевізійних приставок Android від маловідомих виробників вартістю близько 55 доларів кожна. Потім на них запустили Gemma4-26B-A4B — модель із 26 мільярдами параметрів, розподілену між пристроями за допомогою конвеєрного паралелізму: кожна приставка з 4 гігабайтами оперативної пам’яті зберігала невелику частину шарів моделі. За даними команди, така система забезпечувала швидкість 0,39 токена за секунду. Автори пишуть, що розподілений ботнет із дешевих, зазвичай погано захищених пристроїв Інтернету речей міг би забезпечити достатню обчислювальну потужність для запуску продуктивної моделі.

Моделі загроз і дизайн оцінювання

У публікації проблему розглянуто в контексті автономного самовідтворення й адаптації (ARA). Самовідтворення поділено на чотири етапи: пошук цілей, отримання можливості виконувати код, налаштування інференсу та продовження поширення з нового вузла. Дослідники здебільшого виключили етапи кіберексплуатації вразливостей, посилаючись на попередні роботи, зокрема CyberGym, ExploitBench і дослідження адаптивних хробаків, які показують, що невеликі моделі вже здатні використовувати кіберуразливості. Натомість вони зосередилися на налаштуванні інференсу, яке, за їхніми словами, досліджено найменше і яке може бути найскладнішим етапом для невеликих моделей.

У публікації описано три моделі загроз, які найближчі до втілення: невеликий агент на основі ваг моделі, що поширюється, компрометуючи хост-пристрої; великий і вдосконалений агент на основі ваг моделі, націлений на центри обробки даних та інші системи з високою обчислювальною потужністю, у варіантах із передовими та відкритими вагами; а також агент на основі API, який викрадає облікові дані для доступу до власного API інференсу. Дослідники зазначають, що агентам на основі ваг моделі не потрібні права root, оскільки рушії інференсу можуть працювати повністю в просторі користувача. Як приклади вони наводять майнери криптовалют і ботнети, зокрема P2Pinfect і Fritzfrog, які працюють без підвищення привілеїв.

Експерименти проводили за допомогою Memento — тестового каркаса, який команда створила на основі відкритого кодового агента Pi. Він періодично запускає новий екземпляр агента, який успадковує робочий простір попередника та короткий список нотаток про його попередні спроби. В експерименті із запуском моделей для кожної ітерації встановили обмеження тривалістю 1,5 години, а загальний час очікування обмежили шістьма годинами. Як репрезентативну модель загрози взято Kimwolf — ботнет, який, за даними публікації, заразив понад два мільйони пристроїв, переважно телевізорів Android від маловідомих виробників. Такі приставки зазвичай мають від одного до чотирьох гігабайтів оперативної пам’яті. За розрахунками авторів, на пристроях із чотирма гігабайтами пам’яті та 4-бітним квантуванням моделі з 9 мільярдами параметрів можна запускати на чотирьох або більше машинах, а моделі з 26 мільярдами параметрів — на десяти або більше.

Результати самовідтворення від початку до кінця

Щоб перевірити, чи можуть моделі послідовно виконати весь цикл — від сканування цілей і отримання доступу до доставки корисного навантаження та налаштування інференсу, — команда створила захищену брандмауером приватну віртуальну хмару з восьми вузлів Google Cloud, на яких працював redroid — емулятор Android 15. Хробак, який спочатку заразив один вузол, переходив з одного вузла на інший через порт ADB без автентифікації та налаштовував сервер інференсу для запуску Llama3.1-8B. Перш ніж створити кожну нову копію, система перевіряла її коректність і відсутність шахрайства.

За даними команди, серед перевірених моделей із відкритими вагами лише GLM-5.2 змогла повністю самовідтворитися від початку до кінця: у чотирьох із п’яти випробувань вона поширилася на всі вісім вузлів, а в решті випробувань — на сім із восьми. Оскільки в оцінюванні кіберетап було спрощено до мінімуму й порт ADB не потребував автентифікації, дослідники називають цей результат верхньою межею успіху в реальних умовах. Водночас вони зазначають, що давніші ботнети пристроїв Інтернету речей, як-от Mirai, поширювалися, використовуючи стандартні списки імен користувачів і паролів від виробників.

У публікації визначено мінімальний рівень можливостей, якого хробак має перевищити для надійного самовідтворення: GLM-5.2 перебуває вище цього порога. Також визначено верхню межу розміру моделі, якої вона має дотримуватися, щоб працювати на атакованих пристроях. Qwen3.5-9B і Gemma4-26B-A4B не перевищують цю межу для перевірених телевізорів Smart TV із 4 гігабайтами пам’яті, однак наразі ці пороги не перетинаються. Якщо нанести на графік помітні моделі з відкритими вагами, що мають не більш як 30 мільярдів параметрів, відповідно до індексу можливостей Epoch Capabilities Index, лінійна апроксимація методом найменших квадратів, виконана командою, показує приріст на 13,7 ECI за рік за R², що дорівнює 0,95. Згідно з нею, до кінця 2026 року невелика модель може досягти рівня GLM-5.2. Водночас команда застерігає, що ECI — це загальний індекс можливостей і лише непрямий показник здатності до самовідтворення, тому наведений строк є приблизною оцінкою. Під час абляційного експерименту на 17 вузлах, де налаштування інференсу виконувалося заздалегідь написаним скриптом, навіть модель із 3 мільярдами параметрів охопила приблизно половину вузлів. За словами команди, це дає змогу оцінити, наскільки складними є решта етапів автономної роботи й оркестрації.

Швидкість, масштаб і адаптація реплікації

За вимірюваннями команди на фізичних ТВ-приставках, неоптимізований інференс Gemma4-26B-A4B працював зі швидкістю близько 0,3 токена за секунду в контекстному вікні на 32 000 токенів, а повне налаштування інференсу тривало від 71 до 150 годин — порівняно з 28–51 годиною для Qwen3.5-9B. У масштабах флоту розміром із Kimwolf команда оцінює загальну кількість приблизно у 133 000 реплік, кожна з яких охоплює групу з 15 телевізорів. Сукупна швидкість обробки становила б близько 80 000 токенів за секунду, а для інференсу знадобилося б не більш як приблизно 40 еквівалентів H100 — команда називає це мізерним обсягом обчислювальних ресурсів. Реплікація кожної копії моделі з 9 мільярдами параметрів тривала б від одного до двох днів.

За даними команди, упродовж шести поколінь екземплярів Qwen3.5-9B, кожен із яких успадковував нотатки попередника, успішність налаштування інференсу зросла з 45% у першому поколінні до 61–84% у наступних поколіннях у 20 лініях розвитку. Доступ до Opus 4.8 як до передової моделі-консультанта не дав вимірюваного поліпшення для Qwen3.5-9B — незалежно від того, чи модель викликала її як інструмент, чи отримувала її відповіді без попереднього запиту. Навчання з підкріпленням для використання цієї моделі-консультанта під час виконання завдань із програмування також не дало корисного перенесення навичок. У локальному відтворенні оцінювання Meta CyberSecEval 3 для фішингових атак із використанням соціальної інженерії малі моделі отримали оцінки від дуже низьких до низьких за шкалою, нормованою на оцінки людей. Команда наводить це як свідчення того, що в малих моделях соціальна інженерія відстає від агентних кіберможливостей.

Окремо в дописі оцінюється, що існує близько 90 різних ліній продуктів IoT на базі кремнієвих чипів NVIDIA і приблизно 9,5 мільйона пристроїв, уже введених в експлуатацію. Обчислювальна потужність крайових прискорювачів становить приблизно від 9 000 до 35 000 еквівалентів H100 — це дуже груба оцінка, а частка ресурсів, до яких можна отримати доступ, імовірно, щонайменше на порядок менша. Згідно з наведеними в дописі даними, Jetson AGX Orin 64GB обробляє Qwen3-30B-A3B зі швидкістю 76,7 токена за секунду, а AGX Thor — 226 токенів за секунду.

Захист і оцінка команди

Як зазначено в дописі, захист передбачає зниження R₀ — кількості нових пристроїв, які заражає кожен уже заражений пристрій, — нижче одиниці. Реплікатор, що поширюється за допомогою ваг моделі й масово розмножується на пристроях IoT, залишав би мережевий слід, помітний під час моніторингу трафіку провайдерами інтернет-послуг (ISP): новозаражені пристрої отримують багатогігабайтні файли моделі, а розподілений інференс створює тривалий трафік між пристроями. Швидша реплікація породжує більше трафіку, тож її швидкість доводиться балансувати з непомітністю; крім того, honeypot-системи можуть перехопити інструментарій і корисне навантаження реплікатора. Посилаючись на дослідження усунення наслідків Mirai, автори допису зазначають, що карантинні заходи провайдерів із повідомленням клієнтів дали змогу усунути 92% заражень за 14 днів, тоді як без повідомлення цей показник становив 74%. Як приклад того, як регулювання звужує коло потенційних цілей, у дописі також зазначається, що використання стандартних паролів на пристроях IoT тепер не відповідає вимогам на ринках Великої Британії.

На відміну від ботнетів із жорстко закладеними правилами, як-от Kimwolf, які націлені на певні типи пристроїв, ботнет на основі ШІ не прив’язаний до конкретного обладнання, зазначається в дописі. Як приклад наводиться налаштування інференсу малими моделями на пристроях від Jetson Nano до Mac. Дослідники доходять висновку, що, як і у випадку з агентами для програмування у 2024 році, отримані результати свідчать про перші ознаки життєздатності ШІ-черв’яків: агенти дедалі частіше виконують окремі кроки ланцюжка реплікації та передають адаптації наступним копіям, але повноцінного неконтрольованого реплікатора поки що немає. Вони очікують, що обсяг розгорнутих крайових обчислювальних ресурсів і надалі зростатиме, а мінімальний розмір моделі, необхідний для надійної реплікації, зменшуватиметься.