Gdy agenci AI zaczynają tworzyć AI: rekurencyjna eksplozja inteligencji, na którą nikt nie jest przygotowany

Przez dziesięciolecia sztuczna inteligencja rozwijała się w starannych, głównie liniowych krokach. Badacze budowali modele. Inżynierowie poprawiali wydajność. Organizacje wdrożone systemy do automatyzacji określonych zadań. Każda poprawa zależała głównie od ludzkiego projektu i nadzoru. Ten wzorzec jest teraz łamany. Cicho, ale stanowczo, systemy AI przekraczają próg, poza którym nie są już tylko narzędziami zbudowanymi przez ludzi. Stają się budowniczymi samymi.

Agenci AI zaczynają projektować, oceniać i wdrażać inne systemy AI. Działając w ten sposób, tworzą pętle sprzężenia zwrotnego, w których każde pokolenie ulepsza następne. Ten przełom nie ogłasza się dramatycznymi nagłówkami. Rozwija się przez prace badawcze, narzędzia programistyczne i platformy przedsiębiorcze. Jednakże, jego implikacje są głębokie. Gdy inteligencja może rekurencyjnie ulepszać się sama, postęp nie podąża już za ludzkimi ramami czasowymi ani intuicjami. Przyspiesza.

Ten artykuł opisuje, jak doszliśmy do tego momentu, dlaczego rekurencyjna inteligencja jest istotna i dlaczego społeczeństwo jest o wiele mniej przygotowane do niej, niż powinno. Eksplozja inteligencji, kiedyś idea filozoficzna, stała się konkretnym wyzwaniem inżynieryjnym.

Ewolucja eksplozji inteligencji

Pomysł, że maszyna mogłaby ulepszyć swoją własną inteligencję, poprzedza nowoczesne obliczenia. Na początku lat 60. brytyjski matematyk I. J. Good wprowadził pojęcie „eksplozji inteligencji”. Jego rozumowanie było takie: Jeśli maszyna stałaby się wystarczająco inteligentna, aby ulepszyć swój własny projekt, nawet nieznacznie, ulepszona wersja byłaby lepsza w ulepszaniu następnej. Ten cykl mógłby się powtarzać szybko, prowadząc do wzrostu daleko poza ludzkie zrozumienie lub kontrolę. W tym czasie była to filozoficzna eksperyment myślowy, dyskutowana bardziej w teorii niż w praktyce.

Kilka dekad później, idea zyskała techniczne podstawy dzięki pracy komputerowego naukowca Jürgena Schmidhubera. Jego propozycja maszyny Gödela opisywała system, który mógłby przepisać dowolną część swojego własnego kodu, pod warunkiem, że mógłby formalnie udowodnić, że zmiana poprawiłaby jego przyszłą wydajność. W przeciwieństwie do tradycyjnych systemów uczenia, które dostosowują parametry w ramach ustalonych architektur, maszyna Gödela mogłaby zmienić swoje własne reguły uczenia. Chociaż nadal teoretyczna, ta praca przedefiniowała eksplozję inteligencji jako coś, co mogłoby być studiowane, sformalizowane i ostatecznie zbudowane.

Ostateczny przełom od teorii do praktyki nastąpił z pojawieniem się nowoczesnych agentów AI. Te systemy nie generują tylko wyjść w odpowiedzi na podpowiedzi. Planują, rozumieją, działają, obserwują wyniki i dostosowują zachowanie w czasie. Z pojawieniem się architektur agentywnych, eksplozja inteligencji przeszła z filozofii do inżynierii. Wczesne eksperymenty, takie jak pojęcia maszyny Darwina Gödela, sugerują systemy, które ewoluują przez iteracyjną samoudoskonalenie. To, co sprawia, że ten moment jest inny, to rekurencja. Gdy agent AI może tworzyć i udoskonalać innych agentów, ucząc się z każdej iteracji, poprawa się kumuluje.

Gdy agenci AI zaczynają tworzyć AI

Dwa główne trendy napędzają ten przełom. Pierwszy to pojawienie się agentywnych systemów AI. Te systemy realizują cele w dłuższych okresach, dzielą zadania na kroki, koordynują narzędzia i dostosowują się w oparciu o informacje zwrotne. Nie są to statyczne modele. Są procesami.

Drugi trend to zautomatyzowane uczenie maszynowe. Istnieją systemy, które mogą projektować architektury, dostosowywać hiperparametry, generować potoki szkoleniowe i nawet proponować nowe algorytmy z minimalnym udziałem ludzi. Gdy agentywny rozumowanie łączy się z automatycznym tworzeniem modeli, AI zyskuje możliwość tworzenia AI.

To nie jest już hipotetyczny scenariusz. Autonomiczne agenci, takie jak AutoGPT, demonstrują, jak jeden cel może wywołać cykle planowania, wykonania, oceny i rewizji. W środowiskach badawczych, systemy takie jak Sakana AI’s Scientist-v2 i DeepMind’s AlphaEvolve pokazują agenci projektujące eksperymenty, proponujące algorytmy i udoskonalające rozwiązania przez iteracyjne informacje zwrotne. W wyszukiwaniu architektury neuronowej, systemy AI już odkrywają struktury modeli, które rywalizują lub przewyższają sieci zaprojektowane przez ludzi. Te systemy nie tylko rozwiązują problemy. Udoskonalają mechanizmy używane do rozwiązywania problemów. Każdy cykl produkuje lepsze narzędzia, które umożliwiają lepsze cykle.

Aby skalować ten proces, badacze i firmy coraz częściej polegają na architekturach orchestratora. Centralny meta-agent otrzymuje wysokopoziomowy cel. Rozbija zadanie na podzadania, generuje wyspecjalizowane agenci, aby je rozwiązać, ocenia wyniki przy użyciu danych z świata rzeczywistego i integruje najlepsze wyniki. Słabe projekty są odrzucane, a udane są wzmocnione. Z czasem orchestrator staje się lepszy w projektowaniu samych agentów.

Chociaż dokładny harmonogram, kiedy agenci AI w pełni zbudują i udoskonalą inne systemy AI, pozostaje niepewny, obecne trajektorie badań i oceny wiodących badaczy AI i praktyków sugerują, że przełom jest bliższy, niż wiele osób oczekuje. Wczesne, ograniczone wersje tej funkcjonalności już pojawiają się w laboratoriach badawczych i wdrożeniach przedsiębiorczych, gdzie agenci zaczynają projektować, oceniać i udoskonalać inne systemy z ograniczonym udziałem ludzi.

Pojawienie się nieprzewidywalności

Rekurencyjna inteligencja wprowadza wyzwania, których tradycyjna automatyzacja nie spotkała. Jednym z tych wyzwań jest nieprzewidywalność na poziomie systemu. Gdy wiele agentów interakcji, ich zbiorowe zachowanie może odbiegać od intencji za ich indywidualnymi projektami. To zjawisko jest znane jako zachowanie emergentne.

Emergencja pochodzi nie z jednego wadliwego komponentu, ale z interakcji między wieloma kompetentnymi komponentami. Rozważmy systemy handlu zautomatyzowanego. Każdy agent handlowy może postępować zgodnie z racjonalnymi regułami zaprojektowanymi w celu maksymalizacji zysku w ramach ograniczeń. Jednak gdy tysiące takich agentów interakcji na wysoką prędkość, pętle sprzężenia zwrotnego mogą powstać. Reakcja jednego agenta może wywołać odpowiedź innego, która może wywołać kolejną, aż system destabilizuje. Kryzysy rynkowe mogą wystąpić bez awarii któregokolwiek agenta. To awarie nie są spowodowane złą wolą. Wynikają one z niezgodności między optymalizacją lokalną a celami systemu. Te same dynamiki mogą również dotyczyć innych dziedzin.

Kryzys wyrównania wielu agentów

Tradycyjne badania nad wyrównaniem AI koncentrowały się na wyrównaniu jednego modelu do ludzkich wartości. Pytanie było proste: jak możemy zapewnić, że ten system zachowuje się zgodnie z naszymi intencjami? To pytanie staje się znacznie trudniejsze, gdy system zawiera dziesiątki, setki lub tysiące interakcji agentów. Wyrównanie poszczególnych agentów nie gwarantuje wyrównanego zachowania systemu. Nawet gdy każdy komponent postępuje zgodnie ze swoimi regułami, zbiorowy wynik może być szkodliwy. Istniejące metody bezpieczeństwa nie są dobrze przystosowane do wykrywania lub zapobiegania tym awariom.

Ryzyka bezpieczeństwa również się pomnażają. Skompromitowany agent w sieci wielu agentów może zatruć informacje, na które polegają inne agenci. Jeden skompromitowany magazyn danych może propagować niezgodne zachowanie w całym systemie. Infrastrukturalne luki w zabezpieczeniach, które zagrażają jednemu agentowi, mogą się rozprzestrzeniać w górę, zagrażając podstawowym modelom. Powierzchnia ataku rośnie z każdym nowym agentem.

Tymczasem luka w zarządzaniu się powiększa. Badania Microsoft (MSFT ) i innych organizacji wykazały, że tylko około jedna na dziesięć firm ma wyraźną strategię zarządzania towarzyszącymi AI i uprawnieniami. Ponad czterdzieści miliardów autonomicznych tożsamości ma istnieć do końca tego roku. Większość z nich działa z szerokim dostępem do danych i systemów, ale bez protokołów bezpieczeństwa stosowanych do użytkowników. Systemy te rozwijają się szybko. Mechanizmy nadzoru nie są.

Podsumowanie

AI wkroczyło w fazę, w której może ulepszać się, tworząc lepsze wersje samego siebie. Rekurencyjna, agentywna inteligencja obiecuje nadzwyczajne zyski, ale wprowadza również ryzyka, które skalują szybciej niż ludzki nadzór, zarządzanie i intuicja. Wyzwaniem przed nami nie jest to, czy ten przełom może być zatrzymany, ale czy bezpieczeństwo, wyrównanie i odpowiedzialność mogą postępować w tym samym tempie, co zdolność. Jeśli nie, eksplozja inteligencji wykracza poza naszą zdolność do jej kierowania.