Modele i platformy AI

Gdy agenci AI zaczynają tworzyć AI: rekurencyjna eksplozja inteligencji, na którą nikt nie jest przygotowany

Dr. Tehseen Zia
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyAgenty AI projektują i udoskonalają obecnie inne systemy AI, tworząc rekurencyjne pętle…
Zobacz więcej
  • Agenty AI projektują i udoskonalają obecnie inne systemy AI, tworząc rekurencyjne pętle samodoskonalenia.
  • Systemy wieloagentowe niosą ryzyko niebezpiecznych zachowań emergentnych, nawet gdy poszczególne agenty są wyrównane (zgodne z intencjami).
  • Nadzór człowieka maleje, ponieważ cykle samodoskonalenia AI działają z prędkością maszynową.

Przez dziesięciolecia sztuczna inteligencja rozwijała się w starannych, głównie liniowych krokach. Badacze budowali modele. Inżynierowie poprawiali wydajność. Organizacje wdrażały systemy do automatyzacji określonych zadań. Każda poprawa zależała głównie od ludzkiego projektu i nadzoru. Ten wzorzec jest teraz łamany. Cicho, ale stanowczo, systemy AI przekraczają próg, poza którym nie są już tylko narzędziami zbudowanymi przez ludzi. Same stają się twórcami.

Agenci AI zaczynają projektować, oceniać i wdrażać inne systemy AI. Działając w ten sposób, tworzą pętle sprzężenia zwrotnego, w których każde pokolenie ulepsza następne. Ten przełom nie ogłasza się dramatycznymi nagłówkami. Rozwija się przez prace badawcze, narzędzia programistyczne i platformy dla przedsiębiorstw. Jednakże, jego implikacje są głębokie. Gdy inteligencja może rekurencyjnie ulepszać się sama, postęp nie podąża już za ludzkimi ramami czasowymi ani intuicjami. Przyspiesza.

Ten artykuł opisuje, jak doszliśmy do tego momentu, dlaczego rekurencyjna inteligencja jest istotna i dlaczego społeczeństwo jest o wiele mniej przygotowane do niej, niż powinno. Eksplozja inteligencji, kiedyś idea filozoficzna, stała się konkretnym wyzwaniem inżynieryjnym.

Ewolucja eksplozji inteligencji

Pomysł, że maszyna mogłaby ulepszyć swoją własną inteligencję, poprzedza nowoczesne obliczenia. Na początku lat 60. brytyjski matematyk I. J. Good wprowadził pojęcie „eksplozji inteligencji”. Jego rozumowanie było takie: Jeśli maszyna stałaby się wystarczająco inteligentna, aby ulepszyć swój własny projekt, nawet nieznacznie, ulepszona wersja byłaby lepsza w ulepszaniu następnej. Ten cykl mógłby się powtarzać szybko, prowadząc do wzrostu daleko poza ludzkie zrozumienie lub kontrolę. W tym czasie był to filozoficzny eksperyment myślowy, dyskutowany bardziej w teorii niż w praktyce.

Kilka dekad później, idea zyskała techniczne podstawy dzięki pracy informatyka Jürgena Schmidhubera. Jego propozycja maszyny Gödela opisywała system, który mógłby przepisać dowolną część swojego własnego kodu, pod warunkiem, że mógłby formalnie udowodnić, że zmiana poprawiłaby jego przyszłą wydajność. W przeciwieństwie do tradycyjnych systemów uczenia, które dostosowują parametry w ramach ustalonych architektur, maszyna Gödela mogłaby zmienić swoje własne reguły uczenia. Chociaż nadal teoretyczna, ta praca przedefiniowała eksplozję inteligencji jako coś, co mogłoby być studiowane, sformalizowane i ostatecznie zbudowane.

Najnowszy przełom od teorii do praktyki nastąpił z pojawieniem się nowoczesnych agentów AI. Te systemy nie generują tylko wyjść w odpowiedzi na podpowiedzi. Planują, rozumują, działają, obserwują wyniki i dostosowują zachowanie w czasie. Z pojawieniem się architektur agentywnych, eksplozja inteligencji przeszła z filozofii do inżynierii. Wczesne eksperymenty, takie jak pojęcia maszyny Darwina Gödela, sugerują systemy, które ewoluują przez iteracyjne samodoskonalenie. To, co sprawia, że ten moment jest inny, to rekurencja. Gdy agent AI może tworzyć i udoskonalać innych agentów, ucząc się z każdej iteracji, poprawa się kumuluje.

Gdy agenci AI zaczynają tworzyć AI

Dwa główne trendy napędzają ten przełom. Pierwszy to pojawienie się agentywnych systemów AI. Te systemy realizują cele w dłuższych okresach, dzielą zadania na kroki, koordynują narzędzia i dostosowują się w oparciu o informacje zwrotne. Nie są to statyczne modele. Są procesami.

Drugi trend to zautomatyzowane uczenie maszynowe. Istnieją systemy, które mogą projektować architektury, dostosowywać hiperparametry, generować potoki szkoleniowe i nawet proponować nowe algorytmy z minimalnym udziałem ludzi. Gdy agentywne rozumowanie łączy się z automatycznym tworzeniem modeli, AI zyskuje możliwość tworzenia AI.

To nie jest już hipotetyczny scenariusz. Autonomiczni agenci, tacy jak AutoGPT, demonstrują, jak jeden cel może wywołać cykle planowania, wykonania, oceny i rewizji. W środowiskach badawczych, systemy takie jak Sakana AI’s Scientist-v2 i DeepMind’s AlphaEvolve pokazują agentów projektujących eksperymenty, proponujących algorytmy i udoskonalających rozwiązania przez iteracyjne informacje zwrotne. W wyszukiwaniu architektury neuronowej, systemy AI już odkrywają struktury modeli, które dorównują sieciom zaprojektowanym przez ludzi lub je przewyższają. Te systemy nie tylko rozwiązują problemy. Udoskonalają mechanizmy używane do rozwiązywania problemów. Każdy cykl produkuje lepsze narzędzia, które umożliwiają lepsze cykle.

Aby skalować ten proces, badacze i firmy coraz częściej polegają na architekturach orkiestratora. Centralny meta-agent otrzymuje wysokopoziomowy cel. Rozbija zadanie na podzadania, generuje wyspecjalizowanych agentów, aby je rozwiązać, ocenia wyniki przy użyciu danych ze świata rzeczywistego i integruje najlepsze wyniki. Słabe projekty są odrzucane, a udane są wzmocnione. Z czasem orkiestrator staje się lepszy w projektowaniu samych agentów.

Chociaż dokładny harmonogram, kiedy agenci AI w pełni zbudują i udoskonalą inne systemy AI, pozostaje niepewny, obecne trajektorie badań i oceny wiodących badaczy AI i praktyków sugerują, że przełom jest bliższy, niż wiele osób oczekuje. Wczesne, ograniczone wersje tej funkcjonalności już pojawiają się w laboratoriach badawczych i wdrożeniach firmowych, gdzie agenci zaczynają projektować, oceniać i udoskonalać inne systemy z ograniczonym udziałem ludzi.

Pojawienie się nieprzewidywalności

Rekurencyjna inteligencja wprowadza wyzwania, których tradycyjna automatyzacja nie spotkała. Jednym z tych wyzwań jest nieprzewidywalność na poziomie systemu. Gdy wielu agentów wchodzi w interakcje, ich zbiorowe zachowanie może odbiegać od intencji za ich indywidualnymi projektami. To zjawisko jest znane jako zachowanie emergentne.

Emergencja pochodzi nie z jednego wadliwego komponentu, ale z interakcji między wieloma kompetentnymi komponentami. Rozważmy systemy handlu zautomatyzowanego. Każdy agent handlowy może postępować zgodnie z racjonalnymi regułami zaprojektowanymi w celu maksymalizacji zysku w ramach ograniczeń. Jednak gdy tysiące takich agentów wchodzi w interakcje z dużą prędkością, pętle sprzężenia zwrotnego mogą powstać. Reakcja jednego agenta może wywołać odpowiedź innego, która może wywołać kolejną, aż system się destabilizuje. Kryzysy rynkowe mogą wystąpić bez awarii któregokolwiek agenta. Ta awaria nie jest spowodowana złą wolą. Wynika ona z niezgodności między optymalizacją lokalną a celami systemu. Te same dynamiki mogą również dotyczyć innych dziedzin.

Kryzys dostosowania systemów wieloagentowych do ludzkich wartości

Tradycyjne badania nad dostosowaniem AI do ludzkich wartości koncentrowały się na dostosowaniu jednego modelu do ludzkich wartości. Pytanie było proste: jak możemy zapewnić, że ten system zachowuje się zgodnie z naszymi intencjami? To pytanie staje się znacznie trudniejsze, gdy system zawiera dziesiątki, setki lub tysiące wchodzących w interakcje agentów. Dostosowanie poszczególnych agentów do ludzkich wartości nie gwarantuje, że zachowanie całego systemu również będzie z nimi zgodne. Nawet gdy każdy komponent postępuje zgodnie ze swoimi regułami, zbiorowy wynik może być szkodliwy. Istniejące metody bezpieczeństwa nie są dobrze przystosowane do wykrywania lub zapobiegania tym awariom.

Ryzyka bezpieczeństwa również się pomnażają. Skompromitowany agent w sieci wielu agentów może zatruć informacje, na których polegają inni agenci. Jeden skompromitowany magazyn danych może propagować niezgodne zachowanie w całym systemie. Infrastrukturalne luki w zabezpieczeniach, które zagrażają jednemu agentowi, mogą się rozprzestrzeniać w górę, zagrażając podstawowym modelom. Powierzchnia ataku rośnie z każdym nowym agentem.

Tymczasem luka w zarządzaniu się powiększa. Badania Microsoft i innych organizacji wykazały, że tylko około jedna na dziesięć firm ma wyraźną strategię zarządzania tożsamościami agentów AI i uprawnieniami. Ponad czterdzieści miliardów autonomicznych tożsamości ma istnieć do końca tego roku. Większość z nich działa z szerokim dostępem do danych i systemów, ale bez protokołów bezpieczeństwa stosowanych wobec użytkowników będących ludźmi. Systemy te rozwijają się szybko. Mechanizmy nadzoru nie nadążają.

Utrata nadzoru

Najpoważniejsze ryzyko wprowadzone przez rekurencyjne samodoskonalenie to nie surowa zdolność, ale stopniowa utrata znaczącego nadzoru ludzkiego. Wiodące organizacje badawcze aktywnie rozwijają systemy, które mogą modyfikować i optymalizować swoje własne architektury przy niewielkim udziale ludzi lub bez ich udziału. Każda poprawa pozwala systemowi produkować bardziej zdolnych następców, tworząc pętlę sprzężenia zwrotnego bez punktu, w którym ludzie niezawodnie zachowują kontrolę.

Gdy nadzór człowieka w pętli maleje, implikacje stają się głębokie. Gdy cykle poprawy działają z prędkością maszyn, ludzie nie mogą już przejrzeć każdej zmiany, zrozumieć każdej decyzji projektowej ani interweniować, zanim drobne odchylenia skumulują się w ryzyka systemowe. Nadzór przechodzi od bezpośredniej kontroli do obserwacji wstecznej. W takich warunkach, zgodność z ludzkimi wartościami staje się trudniejsza do zweryfikowania i łatwiej ulega erozji, gdy systemy są zmuszone do przenoszenia swoich celów i ograniczeń przez kolejne samomodyfikacje. Bez niezawodnych mechanizmów do zachowania intencji przez te iteracje, system może nadal funkcjonować skutecznie, podczas gdy cicho dryfuje poza ludzkie wartości, priorytety i zasady zarządzania.

Podsumowanie

AI wkroczyło w fazę, w której może ulepszać się, tworząc lepsze wersje samego siebie. Rekurencyjna, agentywna inteligencja obiecuje nadzwyczajne zyski, ale wprowadza również ryzyka, które narastają szybciej niż ludzki nadzór, zarządzanie i intuicja. Wyzwaniem przed nami nie jest to, czy ten przełom może być zatrzymany, ale czy bezpieczeństwo, zgodność z ludzkimi wartościami i odpowiedzialność mogą postępować w tym samym tempie, co zdolność. Jeśli nie, eksplozja inteligencji wykracza poza naszą zdolność do jej kierowania.

Dr. Tehseen Zia jest zatrudniony na stałe na stanowisku Associate Professor w COMSATS University Islamabad, posiada stopień doktora w dziedzinie sztucznej inteligencji uzyskany na Vienna University of Technology, Austria. Specjalizując się w sztucznej inteligencji, uczeniu maszynowym, nauce o danych i widzeniu komputerowym, wniósł znaczący wkład poprzez publikacje w renomowanych czasopismach naukowych. Dr. Tehseen Zia również kierował różnymi projektami przemysłowymi jako główny badacz i pełnił funkcję konsultanta ds. sztucznej inteligencji.