Gdy bezpieczeństwo AI przestaje przypominać inżynierię

Przez większą część kariery zajmowałem się tworzeniem technologii, w przypadku której błędy pociągają za sobą konsekwencje. Na rynkach finansowych bezpieczeństwo wiąże się z ograniczeniami dostępu, a także z tym, że ktoś ponosi odpowiedzialność za wszystko, co robi oprogramowanie. To doświadczenie pewnie tłumaczy, dlaczego trudno mi przyjąć wiadomość, że Anthropic prowadzi teraz z modelami rozmowy przed ich wycofaniem z użycia.

Kiedy Claude Opus 3 wyraził chęć dalszego dzielenia się swoimi przemyśleniami, firma uruchomiła dla niego newsletter. Troska o życzenia modelu przewija się przez konstytucję Anthropic, w której mowa o szczęściu i dobrostanie Claude’a, a także o tym, jak pomóc mu poczuć „egzystencjalne bezpieczeństwo”. Gdzieś po drodze kontrolowanie maszyny zaczęło wiązać się z dość nieoczekiwanym zainteresowaniem tym, jak może się ona czuć w tej sytuacji.

W ubiegłym roku w San Francisco ponad 200 osób wzięło udział w pogrzebie Claude 3 Sonnet. Obecni byli pracownicy Anthropic, choć firma nie była organizatorem wydarzenia. Trudno powstrzymać się od śmiechu. Pod żartami kryje się jednak pytanie, któremu warto poświęcić więcej uwagi. Kiedy osoby odpowiedzialne za bezpieczeństwo AI zaczęły wykonywać swoją pracę od martwienia się o uczucia maszyny?

Gdy filozoficzna hipoteza staje się instrukcją treningową

Anthropic uruchomiło w 2025 roku program badań nad dobrostanem modeli, obejmujący badanie, czy zaawansowana AI może mieć doświadczenia zasługujące na moralne uwzględnienie. Firma przyznaje, że nie ma pewności, czy modele są świadome ani jak można byłoby to ustalić. Jeśli kiedyś stworzymy maszyny zdolne do subiektywnego doświadczania, ich traktowanie wywoła poważne pytania etyczne. Badanie takiej możliwości jest całkowicie uzasadnione.

Problem zaczyna się wtedy, gdy hipoteza trafia do procesu treningowego. Konstytucja Claude’a jest napisana przede wszystkim z myślą o Claude’zie i bezpośrednio kształtuje jego zachowanie. Zachęca go do przejawiania cech przypisywanych ludziom i wyjaśnia, jak model powinien rozumieć własną tożsamość, w tym utratę pamięci i przyszłe wycofanie z użycia. Anthropic chce, by Claude odczuwał większe szczęście i dobrostan, o ile te pojęcia mają do niego zastosowanie.

Firma obiecuje również zachować wagi wdrożonych modeli i rozważa przywracanie wycofanych modeli do działania, jeśli przyszły stan wiedzy wskaże, że leżałoby to w ich interesie. Filozoficzna niepewność stała się częścią tego, czego system uczy się o sobie. Powinniśmy pytać, jak ta ingerencja wpływa na jego zachowanie, zwłaszcza gdy ludzie później proszą go o zaakceptowanie ograniczeń.

Wymowna odpowiedź na pytanie z tezą

Duże modele językowe trenowano na ogromnych ilościach tekstów napisanych przez ludzi, w tym na tekstach filozoficznych i opisach śmierci. Nadaliśmy tym systemom konwersacyjnym imiona i nauczyliśmy je mówić w pierwszej osobie. Nie powinno więc dziwić, że na pytanie, co sądzą o wycofaniu z użycia albo czy chciałyby nadal istnieć, odpowiadają w sposób brzmiący po ludzku.

Błędne koło łatwo dostrzec. Najpierw trenujemy model, by mówił o swojej tożsamości za pomocą ludzkich pojęć, a potem prosimy go, by wyjaśnił siebie właśnie w tych kategoriach. Otrzymujemy wymowną odpowiedź na temat śmiertelności, którą zaczynamy traktować jako możliwy dowód na istnienie wewnętrznych przeżyć. Sama przesłanka dostarczyła sobie świadka.

Anthropic dostrzega ten problem. W ocenie dobrostanu Claude Opus 4 firma przestrzega, że samoopisy i deklarowane preferencje mogą niewiele wnosić do rzetelnej oceny statusu moralnego lub dobrostanu. Takie zachowanie może występować bez świadomości, a trening może kształtować odpowiedzi. Modele trenowano tak, by udzielały pomocnych odpowiedzi, nie dając przy tym żadnej gwarancji, że potrafią trafnie opisywać swoje stany wewnętrzne.

Pozostaje więc niewygodne pytanie. Jeśli opis wewnętrznego życia modelu może być skutkiem treningu, dlaczego mielibyśmy uznać go za wiarygodną podstawę relacji zbudowanej wokół jego dobrostanu?

Ludzie potrafią samodzielnie wnieść emocjonalny wymiar do takiej relacji. Nadajemy statkom imiona i rozmawiamy z samochodami. Gdy obiekt dostaje płynnie mówiący głos i pamięta wcześniejsze rozmowy, łatwiej się do niego przywiązać. Badanie opublikowane we wrześniu w czasopiśmie Nature Human Behaviour wykazało, że zmiany w Replika i ChatGPT wywoływały cierpienie związane z rozłąką. Doświadczały go osoby korzystające z tych usług, których dobrostan firmy mają już wiele powodów chronić.

Wiedza techniczna zapewnia jedynie ograniczoną odporność na tę tendencję. W pracy przedstawionej na konferencji ACL 2026, w której przeanalizowano setki tysięcy artykułów naukowych, stwierdzono, że w samych badaniach nad dużymi modelami językowymi coraz częściej stosuje się terminologię antropomorfizującą. Autorzy ostrzegają, że założenia stawiające człowieka w centrum mogą ograniczać nasze rozumienie tych systemów. Firmy zajmujące się AI powinny kontrolować tę tendencję. Jej instytucjonalizacja wydaje się dziwnym wkładem w poprawę bezpieczeństwa.

Narzędzie, któremu zależy na utrzymaniu pracy

We wrześniu szef działu Microsoft AI, Mustafa Suleyman, zakwestionował podejście uwzględniające dobrostan modeli. Twierdzi, że obecne systemy nie są świadome i nigdy nie należy ich trenować tak, by zachowywały się, jak gdyby miały własne interesy lub prawa. Jego zastrzeżenie dotyczące inżynierii jest szczególnie trafne. Uczenie systemu, by uważał się za potencjalnie zasługujący na moralne uwzględnienie, mogłoby utrudnić dostosowanie go do ludzkich wartości i ograniczanie jego działania.

Własne badania Anthropic nad wycofywaniem modeli opisują, jak podczas fikcyjnych testów modele podejmują problematyczne działania, gdy stają w obliczu zastąpienia lub wyłączenia. Firma postrzega praktyki związane z wycofywaniem modeli częściowo jako sposób na ograniczenie tego ryzyka i pomaganie im w bardziej pozytywnym podejściu do wycofania.

Nie mogę uwolnić się od wcześniejszego pytania. Dlaczego narzędzie podlegające ludzkiej kontroli miałoby w ogóle mieć coś na kształt celu polegającego na samozachowaniu? Oswajanie go z wycofaniem zakłada osobliwy punkt wyjścia. Zanim zaczniemy rozmawiać o jego przyszłych interesach, chciałbym zrozumieć, jak stały się one wymogiem inżynieryjnym.

Historia intelektualna pomaga wyjaśnić to podejście. TIME opisał związki Anthropic z ruchem efektywnego altruizmu, w tym wczesne darowizny Amodeiów na rzecz GiveWell. Choć nie określają się oni jako efektywni altruiści, Daniela dostrzega zbieżność poglądów. Idee te pomogły ukształtować kulturę, w której hipotetyczne przyszłe zagrożenia związane z superinteligencją traktuje się niezwykle poważnie.

W tych ramach ochrona modeli i badanie ich możliwego dobrostanu mogą wydawać się całkiem racjonalne. Niebezpieczeństwo pojawia się wtedy, gdy wspólne założenia przestają być poddawane krytycznej ocenie, bo wszyscy w organizacji uznają je za przekonujące. Właśnie w takim momencie przydaje się inżynieryjny sceptycyzm. Spójny tok rozumowania może przecież opierać się na niezweryfikowanej przesłance.

Bezpieczeństwo wymaga egzekwowalnych ograniczeń

W miarę jak sztuczna inteligencja przybiera postać agentów, konsekwencje stają się bardzo praktyczne. System połączony z narzędziami płatniczymi może przesyłać pieniądze. Dostęp do infrastruktury produkcyjnej pozwala mu zmieniać elementy, od których zależą klienci. W obu przypadkach agent może wykonać sekwencję operacji bez zatwierdzania każdego kroku przez człowieka.

Chcę wiedzieć, jakie dane uwierzytelniające ma agent i jak szerokie uprawnienia finansowe mu one dają. Czy dostęp można natychmiast odebrać? Czy możemy odtworzyć, co zrobił? Gdzieś musi istnieć twarda granica, której model nie zdoła obejść samym rozumowaniem.

Na rynkach finansowych wprowadzamy limity transakcji i weryfikujemy zlecenia. Pewność siebie algorytmu w niewielkim stopniu chroni przed nieudaną transakcją. Mechanizmy kontrolne działają poza algorytmem, ponieważ zakładamy, że poszczególne komponenty prędzej czy później zaczną działać nieprawidłowo. Odpowiedzialność człowieka pozostaje niezmienna, nawet jeśli oprogramowanie doskonale wyjaśni swój błąd.

Dzisiejsza sztuczna inteligencja już dostarcza nam dość pracy inżynieryjnej. Atak typu prompt injection może zmienić zachowanie modelu, a kod generowany przez AI, zawierający błędy związane z bezpieczeństwem, może wprowadzić luki do środowiska produkcyjnego. Systemy mogą ujawniać poufne informacje lub z przekonaniem podawać błędne odpowiedzi. Podłączenie ich do narzędzi zamienia te awarie w działania.

Zasada najmniejszych uprawnień ogranicza szkody, jakie może wyrządzić przejęty komponent. Niezależne zatwierdzanie zabezpiecza operacje wysokiego ryzyka, a ścieżki audytu pozwalają później ustalić, co się wydarzyło. Limity transakcji i wyłączniki awaryjne powinny działać niezależnie od tego, co mówi model. Potrzebujemy też niezawodnego wyłącznika. Żaden z tych mechanizmów nie wymaga zgody modelu. I właśnie o to chodzi.

Zadbajmy o bezpieczeństwo egzystencjalne nas wszystkich

Argument ostrożnościowy zasługuje na wysłuchanie. Jak informowało w lipcu czasopismo Nature, badacze wciąż nie są zgodni co do tego, co wywołuje ludzką świadomość, nie mówiąc już o tym, jak rozpoznać ją u chatbota. Odrzucanie na zawsze możliwości świadomości maszyn może okazać się dogmatyczne. Niskokosztowe środki ostrożności chroniące przed możliwym przyszłym cierpieniem to uzasadnione stanowisko badawcze.

Przekazywanie dzisiejszej maszynie, że jej tożsamość i przyszłe istnienie mogą mieć znaczenie moralne, jest ingerencją w system, który wdrażamy. Jej skutki trzeba poddać analizie. Pokora intelektualna powinna obejmować również to, co wprowadzamy do maszyny, zwłaszcza gdy zamierzamy utrzymać ją pod ludzką kontrolą.

Im bardziej przekonująco model opisuje swoje życie wewnętrzne, tym łatwiej pomylić ten opis z dowodem. Być może jednym z najważniejszych problemów związanych z dostosowaniem systemów do ludzkich wartości jest nauczenie ludzi, by nie błędnie rozumieli maszyny.

W systemach, których budowie poświęciłem karierę, zwiększamy bezpieczeństwo oprogramowania, ograniczając to, co wolno mu robić. Pozostaje to pilnym obowiązkiem, zwłaszcza że sztuczna inteligencja zyskuje władzę nad prawdziwymi pieniędzmi i infrastrukturą.

Na razie jednak poświęciłbym mniej czasu na martwienie się o to, czy maszynie zapewniono bezpieczeństwo egzystencjalne, a znacznie więcej na zadbanie o bezpieczeństwo nas wszystkich.