Моделі та платформи ШІ

Коли агенти ШІ починають створювати ШІ: рекурсивний вибух інтелекту, до якого ніхто не готовий

Dr. Tehseen Zia
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиАгенти ШІ тепер самі проектують та вдосконалюють інші системи ШІ, створюючи цикли…
Показати більше
  • Агенти ШІ тепер самі проектують та вдосконалюють інші системи ШІ, створюючи цикли рекурсивного самовдосконалення.
  • Навіть коли окремі агенти вирівняні, мульти-агентивні системи несуть ризик небезпечної поведінки, що виникає спонтанно.
  • Людський нагляд зменшується, оскільки цикли самовдосконалення ШІ функціонують на швидкості машин.

Десятиліттями штучний інтелект розвивався обережними, здебільшого лінійними кроками. Дослідники створювали моделі. Інженери покращували продуктивність. Організації розгортали системи для автоматизації конкретних завдань. Кожне покращення сильно залежало від людського проектування та нагляду. Ця схема тепер руйнується. Тихо, але вирішально, системи штучного інтелекту перетинають поріг, після якого вони вже не просто інструменти, створені людьми. Вони стають творцями самі.

Агенти штучного інтелекту починають проектувати, оцінювати та розгортати інші системи штучного інтелекту. Це створює зворотні зв’язки, де кожне покоління покращує наступне. Ця зміна не оголошується драматичними заголовками. Вона розгортається через дослідницькі статті, інструменти розробників та корпоративні платформи. Однак її наслідки глибокі. Коли інтелект може рекурсивно покращувати себе, прогрес вже не слідує людським часовим рамкам чи інтуїції. Він прискорюється.

Ця стаття досліджує, як ми прийшли до цього моменту, чому рекурсивний інтелект важливий, і чому суспільство значно менш підготовлене до нього, ніж повинно бути. Вибух інтелекту, колись філософська ідея, тепер став конкретною інженерною задачею.

Еволюція вибуху інтелекту

Ідея про те, що машина може покращити свій власний інтелект, передує сучасним обчисленням. На початку 1960-х років британський математик І. Дж. Гуд запровадив концепцію “вибуху інтелекту“. Його висновок полягав у тому, що: якщо машина стане достатньо розумною, щоб покращити свій власний дизайн, хоч би трохи, покращена версія буде кращою у покращенні наступної. Цикл міг повторюватися швидко, що призвело б до зростання далеко за межі людського розуміння чи контролю. На той час це був філософський уявний експеримент, обговорюваний більше в теорії, ніж на практиці.

Кілька десятиліть пізніше ідея отримала технічне підґрунтя завдяки роботі комп’ютерного науковця Юргена Шмідхубера. Його пропозиція щодо Машини Геделя описувала систему, яка могла переписати будь-яку частину свого власного коду, якщо вона могла формально довести, що зміна покращить її майбутню продуктивність. На відміну від традиційних систем навчання, які регулюють параметри в рамках фіксованих архітектур, Машина Геделя могла змінювати свої власні правила навчання. Хоча це все ще було теоретично, ця робота переформулювала вибух інтелекту як щось, що можна вивчати, формалізувати та в кінцевому підсумку побудувати.

Найновіша зміна від теорії до практики відбулася з появою сучасних агентів штучного інтелекту. Ці системи не просто генерують вивід у відповідь на запити. Вони планують, міркують, діють, спостерігають результати та регулюють поведінку з часом. З появою агентських архітектур вибух інтелекту перейшов від філософії до інженерії. Ранні експерименти, такі як концепції Машини Геделя Дарвіна, натякають на системи, які еволюціонують через ітеративне самопокращення. Що робить цей момент іншим, так це рекурсія. Коли агент штучного інтелекту може створювати та удосконалювати інших агентів, навчаючись із кожної ітерації, покращення накопичуються та взаємно посилюються.

Коли агенти штучного інтелекту починають створювати штучний інтелект

Дві основні тенденції сприяють цьому переходу. Перша – це зростання агентських систем штучного інтелекту. Ці системи переслідують цілі протягом тривалого періоду, розбивають завдання на кроки, координують інструменти та адаптуються на основі зворотного зв’язку. Вони не є статичними моделями. Вони є процесами.

Друга тенденція – автоматизоване машинне навчання. Системи тепер існують, які можуть проектувати архітектури, налаштовувати гіперпараметри, генерувати навчальні потоки та навіть пропонувати нові алгоритми з мінімальним людським втручанням. Коли агентське мислення поєднується з автоматизованим створенням моделей, штучний інтелект набуває можливості створювати штучний інтелект.

Це вже не гіпотетичний сценарій. Автономні агенти, такі як AutoGPT, демонструють, як одна мета може спровокувати цикли планування, виконання, оцінки та перегляду. У дослідницьких середовищах системи, такі як Sakana AI’s Scientist-v2 та DeepMind’s AlphaEvolve, показують агентів, які проектують експерименти, пропонують алгоритми та удосконалюють рішення через ітеративний зворотний зв’язок. У пошуках нейронної архітектури системи штучного інтелекту вже виявляють структури моделей, які конкурують із мережами, спроєктованими людьми, або перевершують їх. Ці системи не просто розв’язують завдання. Вони покращують механізми, використовувані для розв’язування завдань. Кожен цикл створює кращі інструменти, які уможливлюють ефективніші цикли.

Щоб масштабувати цей процес, дослідники та компанії все частіше покладаються на архітектури оркестраторів. Центральний мета-агент отримує високорівневу мету. Він розбиває завдання на підзадачі, створює спеціалізованих агентів для їх розв’язання, оцінює результати за допомогою реальних даних та інтегрує кращі результати. Погані дизайни відкидаються, а успішні підтримуються. З часом оркестратор стає кращим у проєктуванні самих агентів.

Хоча точний графік того, коли агенти штучного інтелекту повністю створять та покращать інші системи штучного інтелекту, залишається невизначеним, поточні дослідницькі траєкторії та оцінки провідних дослідників штучного інтелекту та практиків свідчать про те, що перехід наближається швидше, ніж багато хто очікує. Ранні, обмежені версії цієї можливості вже з’являються в дослідницьких лабораторіях та корпоративних розгортаннях, де агенти починають проектувати, оцінювати та удосконалювати інші системи з обмеженим людським втручанням.

Поява непередбачуваності

Рекурсивний інтелект вводить виклики, яких традиційна автоматизація ніколи не зустрічала. Одним із цих викликів є непередбачуваність на рівні системи. Коли багато агентів взаємодіють, їхня колективна поведінка може відхилитися від намірів, закладених у їхній індивідуальній конструкції. Це явище відоме як емергентна поведінка.

Емерджентна поведінка виникає не через один дефектний компонент, а через взаємодію між багатьма компетентними компонентами. Розгляньте автоматизовані торговельні системи. Кожен торговельний агент може слідувати раціональним правилам, розробленим для максимізації прибутку в рамках обмежень. Однак, коли тисячі таких агентів взаємодіють на високій швидкості, можуть утворюватися зворотні зв’язки. Реакція одного агента може спровокувати відповідь іншого, яка може спровокувати ще одну, доки система не дестабілізується. Крахи ринку можуть відбуватися без жодної помилки окремого агента. Ця невдача не викликана злим наміром. Вона є результатом розбіжності між локальною оптимізацією та системними цілями. Така сама динаміка також може застосовуватися до інших галузей.

Криза узгодження багатоагентних систем із людськими цінностями

Традиційні дослідження узгодження штучного інтелекту зосереджувалися на узгодженні однієї моделі з людськими цінностями. Питання було простим: як гарантувати, що ця одна система поводиться так, як ми задумали? Це питання стає значно складнішим, коли система містить десятки, сотні чи тисячі взаємодіючих агентів. Узгодження окремих агентів із людськими цінностями не гарантує, що поведінка системи загалом також буде з ними узгоджена. Навіть коли кожний компонент слідує своїм правилам, колективний результат може бути шкідливим. Існуючі методи безпеки не дуже підходять для виявлення чи запобігання цим невдачам.

Ризики безпеки також множаться. Скомпрометований агент у багатоагентній мережі може отруїти інформацію, на яку покладаються інші агенти. Одне пошкоджене сховище даних може поширити поведінку, що не відповідає вимогам, по всій системі. Інфраструктурні уразливості, які загрожують одному агенту, можуть каскадно поширюватися вгору й загрожувати базовим моделям. Поверхня атаки розширюється з кожним новим агентом.

Тим часом розрив у управлінні продовжує зростати. Дослідження компанії Microsoft та інших організацій показало, що лише приблизно одна компанія з десяти має чітку стратегію керування ідентифікаторами агентів штучного інтелекту та дозволами. Більше сорока мільярдів автономних ідентифікаторів очікується до кінця цього року. Більшість з них діють з широким доступом до даних та систем, але без протоколів безпеки, застосовуваних до користувачів-людей. Системи швидко розвиваються. Механізми нагляду не встигають за ними.

Втрата нагляду

Найсерйознішим ризиком, введеним рекурсивним самопокращенням, є не самі по собі можливості систем, а поступова втрата значимого людського нагляду. Провідні дослідницькі організації активно розробляють системи, які можуть змінювати та оптимізувати свої власні архітектури за незначної участі людей або зовсім без неї. Кожне покращення дозволяє системі створювати більш здатних наступників, створюючи зворотний зв’язок без надійної точки, у якій люди зберігають контроль.

Коли нагляд людини в циклах покращення зменшується, наслідки стають глибокими. Коли цикли покращення відбуваються на швидкості машини, люди вже не можуть переглянути кожну зміну, зрозуміти кожне проектне рішення чи втрутитися до того, як маленькі відхилення накопичуються в системні ризики. Нагляд зміщується від прямого контролю до ретроспективного спостереження. У таких умовах узгодження з людськими цінностями стає важче перевіряти й легше втратити, оскільки системи змушені нести свої цілі та обмеження вперед через послідовні самозміни. Без надійних механізмів для збереження намірів протягом цих ітерацій система може продовжувати функціонувати ефективно, тоді як тихо відхиляється від людських цінностей, пріоритетів та принципів управління.

Основне

Штучний інтелект увійшов у фазу, в якій він може покращувати себе, створюючи кращі версії самого себе. Рекурсивний, агентно-орієнтований інтелект обіцяє надзвичайні здобутки, але він також вводить ризики, які зростають швидше, ніж людський нагляд, управління та інтуїція. Виклик вперед полягає не в тому, чи можна зупинити цю зміну, а в тому, чи можуть безпека, узгодження з людськими цінностями та підзвітність розвиватися в тому ж темпі, що й можливості. Якщо вони не розвиваються, вибух інтелекту перейде за межі нашої здатності керувати ним.

Dr. Tehseen Zia

Доктор Техсін Зія є доцентом на постійній посаді (tenure) у COMSATS University Islamabad, який здобув ступінь PhD зі штучного інтелекту у Віденському технічному університеті, Австрія. Спеціалізуючись на штучному інтелекті, машинному навчанні, науці про дані та комп'ютерному баченні, він зробив значний внесок завдяки публікаціям в авторитетних наукових журналах. Доктор Техсін також очолював різні промислові проекти як головний дослідник і служив консультантом зі штучного інтелекту.