Коли агенти штучного інтелекту почнуть створювати штучний інтелект: вибух рекурсивного інтелекту, до якого ніхто не готовий

Протягом десятиліть штучний інтелект розвивався обережними, здебільшого лінійними кроками. Дослідники створювали моделі. Інженери покращували продуктивність. Організації розгортали системи для автоматизації певних завдань. Кожне вдосконалення значною мірою залежало від людського проєкту та нагляду. Ця модель зараз руйнується. Тихо, але рішуче, системи штучного інтелекту перетинають поріг, коли вони вже не є просто інструментами, створеними людьми. Вони самі стають будівельниками.

Агенти ШІ починають проектувати, оцінювати та розгортати інші системи ШІ. Роблячи це, вони створюють петлі зворотного зв'язку, де кожне покоління вдосконалює наступне. Цей зсув не оголошує себе драматичними заголовками. Він розгортається через дослідницькі статті, інструменти для розробників та корпоративні платформи. Однак його наслідки є глибокими. Коли інтелект може рекурсивно вдосконалюватися, прогрес більше не слідує людським часовим рамкам чи інтуїції. Він прискорюється.

У цій статті досліджується, як ми дійшли до цього моменту, чому рекурсивний інтелект має значення та чому суспільство набагато менше готове до нього, ніж мало б бути. Вибух інтелектуального розвитку, колись філософська ідея, тепер став конкретним інженерним викликом.

Еволюція інтелектуального вибуху

Ідея про те, що машина може покращувати власний інтелект, виникла ще до появи сучасних обчислювальних технологій. На початку 1960-х років британський математик І. Дж. Гуд введені концепція «вибух розвідки«Його міркування полягало в наступному: якщо машина стане достатньо розумною, щоб покращити власну конструкцію, навіть трохи, то покращена версія краще зможе покращити наступну. Цей цикл може швидко повторюватися, що призводить до зростання, що виходить далеко за межі людського розуміння чи контролю. На той час це був філософський уявний експеримент, який обговорювався радше в теорії, ніж на практиці.

Кілька десятиліть потому ця ідея отримала технічне обґрунтування завдяки роботі вченого-інформатика Юргена Шмідхубера. Його пропозиція... Машина Гьоделя описав систему, яка могла б переписати будь-яку частину власного коду за умови, що вона могла б офіційно довести, що ця зміна покращить її майбутню продуктивність. На відміну від традиційних систем навчання, які коригують параметри в межах фіксованих архітектур, машина Геделя могла б змінювати власні правила навчання. Хоча ця робота все ще теоретична, вона переосмислила вибух інтелекту як щось, що можна вивчити, формалізувати та зрештою побудувати.

Остаточний перехід від теорії до практики відбувся з появою сучасних агентів штучного інтелекту. Ці системи не просто генерують результати у відповідь на підказки. Вони планують, міркують, діють, спостерігають за результатами та коригують поведінку з часом. З появою агентних архітектур вибух інтелекту перемістився з філософії в інженерію. Ранні експерименти, такі як Машина Дарвіна Гьоделя концепції натякають на системи, що розвиваються шляхом ітеративного самовдосконалення. Що відрізняє цей момент, так це рекурсія. Коли агент ШІ може створювати та вдосконалювати інших агентів, навчаючись на кожній ітерації, вдосконалення поєднується.

Коли агенти штучного інтелекту почнуть створювати штучний інтелект

Дві основні тенденції сприяють цьому переходу. Перша — це зростання агентних систем штучного інтелекту. Ці системи переслідують цілі протягом тривалого часу, розбивають завдання на кроки, координують інструменти та адаптуються на основі зворотного зв'язку. Вони не є статичними моделями. Вони є процесами.

Друга тенденція — це автоматизоване машинне навчання. Зараз існують системи, які можуть проектувати архітектури, налаштовувати гіперпараметри, генерувати навчальні конвеєри та навіть пропонувати нові алгоритми з мінімальним втручанням людини. Коли агентне мислення поєднується з автоматизованим створенням моделей, ШІ отримує здатність створювати ШІ.

Це вже не гіпотетичний сценарій. Автономні агенти, такі як AutoGPT демонструють, як одна мета може запускати цикли планування, виконання, оцінювання та перегляду. У дослідницьких середовищах такі системи, як Вчений ШІ Сакана, версія 2 та AlphaEvolve від DeepMind показати агентам, які розробляють експерименти, пропонують алгоритми та вдосконалюють рішення за допомогою ітеративного зворотного зв'язку. пошук нейронної архітектуриСистеми штучного інтелекту вже відкривають модельні структури, які конкурують або перевершують мережі, розроблені людиною. Ці системи не просто вирішують проблеми. Вони вдосконалюють механізми, що використовуються для вирішення проблем. Кожен цикл створює кращі інструменти, які забезпечують кращі цикли.

Щоб масштабувати цей процес, дослідники та компанії дедалі більше покладаються на оркестратор архітектури. Центральний метаагент отримує завдання високого рівня. Він розкладає завдання на підпроблеми, генерує спеціалізовані агенти для їх вирішення, оцінює результати, використовуючи реальні дані, та інтегрує найкращі. Погані проекти відкидаються, а успішні підкріплюються. З часом оркестратор стає кращим у проектуванні самих агентів.

Хоча точні терміни повного створення та вдосконалення агентами ШІ інших систем ШІ залишаються невизначеними, поточні траєкторії досліджень та оцінки провідних... Дослідники ШІ та практикуючих свідчать про те, що перехід наближається швидше, ніж багато хто очікує. Ранні, обмежені версії цієї можливості вже з'являються в дослідницьких лабораторіях та корпоративних розгортаннях, де агенти починають проектувати, оцінювати та вдосконалювати інші системи з обмеженою участю людини.

Виникнення непередбачуваності

Рекурсивний інтелект створює проблеми, з якими традиційна автоматизація ніколи не стикалася. Однією з цих проблем є непередбачуваність на системному рівні. Коли багато агентів взаємодіють, їхня колективна поведінка може відрізнятися від намірів, що стоять за їхніми індивідуальними задумами. Це явище відоме як емерджентна поведінка.

Виникнення виникає не через несправність одного компонента, а через взаємодію багатьох компетентних компонентів. Розглянемо автоматизовані торговельні системи. Кожен торговий агент може дотримуватися раціональних правил, розроблених для максимізації прибутку в межах обмежень. Однак, коли тисячі таких агентів взаємодіють на високій швидкості, можуть утворюватися петлі зворотного зв'язку. Реакція одного агента може викликати реакцію іншого, яка, своєю чергою, може викликати ще одну, доки система не дестабілізується. Крахи ринку можуть відбуватися без збоїв у роботі будь-якого окремого агента. Цей збій не спричинений зловмисним наміром. Він є результатом невідповідності між локальною оптимізацією та цілями всієї системи. Така ж динаміка може застосовуватися і до інших сфер.

Криза багатоагентного узгодження

Традиційні дослідження узгодження ШІ зосереджувалися на узгодженні однієї моделі з людськими цінностями. Питання було простим: як нам забезпечити, щоб ця єдина система працювала так, як ми задумали? Це питання стає... значно важче коли система містить десятки, сотні або тисячі взаємодіючих агентів. Узгодження окремих агентів не гарантує узгодженої поведінки системи. Навіть коли кожен компонент дотримується своїх правил, колективний результат може бути шкідливим. Існуючі методи безпеки не дуже добре підходять для виявлення або запобігання цим збоям.

Ризики безпеки також множаться. Скомпрометований агент у багатоагентній мережі може отруїти інформацію, на яку покладаються інші агенти. Одне пошкоджене сховище даних може поширювати неправильну поведінку по всій системі. Вразливості інфраструктури, що загрожують одному агенту, можуть каскадно поширюватися вгору, загрожуючи фундаментальним моделям. Поверхня атаки розширюється з кожним новим додаванням агента.

Тим часом розрив в управлінні продовжує зростати. Дослідження з Microsoft та інші організації виявили, що лише приблизно кожна десята компанія має чітку стратегію управління Ідентифікації агентів ШІ і дозволи. Очікується, що до кінця цього року існуватиме понад сорок мільярдів автономних ідентифікаційних даних. Більшість із них працюють із широким доступом до даних і систем, але без протоколів безпеки, що застосовуються до користувачів-людей. Системи швидко розвиваються. Механізми нагляду – ні.

Bottom Line

Штучний інтелект вступив у фазу, коли він може вдосконалюватися, створюючи кращі версії себе. Рекурсивний, агентно-орієнтований інтелект обіцяє надзвичайні вигоди, але він також створює ризики, які масштабуються швидше, ніж людський нагляд, управління та інтуїція. Виклик полягає не в тому, чи можна зупинити цей зсув, а в тому, чи можуть безпека, узгодженість та підзвітність розвиватися з тими ж темпами, що й можливості. Якщо цього не станеться, вибух інтелектуальних технологій вийде за межі нашої здатності керувати ним.