AI jako drapieżnik szczytowy w świecie deweloperskim

Ciśnienie ewolucyjne: krótkie wprowadzenie

Przed tym, jak wejdziemy w sedno sprawy, warto ustalić kilka pojęć. Pierwszym z nich jest ciśnienie ewolucyjne.

Ewolucja nie jest wyborem. Zwierzęta nie decydują się na ewolucję w jednym czy innym kierunku — ich środowisko zmusza je do tego, lub je eliminuje. Kiedy więc mówimy o tym, jak zwierzę ewoluowało, lub dlaczego istnieje tak, jak istnieje dzisiaj, nie mówimy o serii świadomych decyzji. Mówimy o losowych mutacjach i ciśnieniu środowiskowym, które pchnęło gatunek w jednym czy innym kierunku.

W tej chwili firmy software’owe wkraczają w podobny moment ewolucyjny. Systemy AI, które mogą samodzielnie identyfikować słabości, generować eksploity i przyspieszać ataki cybernetyczne, zmieniają ciśnienie, pod którym działają zespoły deweloperskie i zespoły bezpieczeństwa.

AI tworzy teraz takie same ciśnienie ewolucyjne dla firm software’owych. Modele, które mogą samodzielnie odkrywać słabości, generować eksploity i automatyzować ataki na dużą skalę, zmieniają krajobraz bezpieczeństwa znacznie szybciej, niż większość organizacji jest na to przygotowana.

Konkretnym ciśnieniem ewolucyjnym, o którym chcę mówić, jest drapieżnik szczytowy na Ziemi, czyli ludzie. I sposób, w jaki trzy bardzo różne zwierzęta zareagowały na to ciśnienie.

Kto zrobił to gorzej: olbrzymi wombat czy kura?

Olbrzymi wombat

Olbrzymi wombat — nie pamiętam dokładnej nazwy, ale żył w Australii — ważył około 6 000 funtów. Przed przybyciem ludzi Australia była zielonym, prawie rajskim miejscem. Gdybyśmy tylko nie tknęli jej. Te ogromne wombaty żyły niemal niezakłócone. Czasami jakiś drapieżnik zabijał jednego z nich, ale ze względu na ich ogromny rozmiar, obfitość pożywienia i zdolność do rozmnażania, utrzymywały się przeciwko wszystkiemu, co kontynent mógł im zafundować.

Potem przybyli ludzie.

Kilka rzeczy stało się natychmiast. Po pierwsze, ludzie zobaczyli ogromne źródło białka, które mogłoby wyżywić grupę przez tygodnie — dłużej, jeśli tylko mogliby zachować mięso. Po drugie, zaczęli wycinać lasy, na których wombaty były uzależnione, albo ścinając drzewa na opał, albo paląc całe połacie ziemi, aby wypędzić zwierzęta na otwarte przestrzenie, gdzie mogliby je zabić. Ludzie są niezwykle dobrzy w tym rodzaju skoordynowanego, wydajnego niszczenia.

W bardzo krótkim czasie — geologicznie rzecz biorąc, praktycznie za jedną noc — ludzie wycięli lasy na dużych obszarach kontynentu i wyłowili każdego ostatniego olbrzymiego wombatę.

Warto zauważyć, że nie każde australijskie zwierzę wyginęło. Kangur, małe wombaty, koale i inne przetrwały — bo były wystarczająco małe, wystarczająco szybkie lub wystarczająco przystosowane, aby pozostać poza zasięgiem. Do czasu, gdy przybyli Europejczycy, kontynent został ukształtowany w coś surowego i bezwzględnego. Mniejsza populacja ludzi, wytrzymała i przystosowana do ekstremalnych warunków. Zwierzęta, które były albo bardzo małe, albo bardzo śmiercionośne, albo oboje. Jak mówią: wszystko w Australii próbuje cię zabić.

To jest wersja pierwsza.

Kura

Teraz, po swojemu, kura jest najbardziej udanym lądowym zwierzęciem na Ziemi. Około 70% całkowitej biomasy ptaków na planecie to kurka domowa. Są nawet miejsca, gdzie kurki udomowione wykazują tendencje do dzikiego trybu życia — na wyspach, gdzie nie mają naturalnych wrogów, jak na przykład na Kajmanach — i tam się rozprzestrzeniają.

Kurki ewoluowały w coś, co ludzie uważają za niezwykle przydatne: rozmnażają się szybko, rosną szybko, składają jaja. Ludzie karmią je, chronią je i aktywnie zachęcają je do rozmnażania. Przez większość miar biologicznego sukcesu — rozmiar populacji, rozprzestrzenienie geograficzne, dostęp do zasobów — kura wygrywa.

Chyba że, oczywiście, bierzemy pod uwagę fakt, że je zjadam.

Więc kura odniosła sukces, stając się idealnym pożywieniem. Nie jest to nic nieznaczącego. Ale jest limit tego rodzaju sukcesu.

Kot: prawidłowa odpowiedź

Jest jedno zwierzę, które, jak sądzę, rozwiązało to niemal idealnie.

Kot.

Koty nie są drapieżnikami szczytowymi. Nie dominują nad ludźmi ani nie polują na nich. Zamiast tego, zamiast zostać zgniecionymi przez ekspansję ludzką lub poddać się ludzkim apetytom, zrobiły coś innego: współewoluowały obok nas. Zrobiły się przydatne, polując na szczury i małe ptaki, które przyciągały ludzkie osiedla, i gdzieś tam zrobiły się pożądane. Stały się towarzyszami.

Wynik? Koty rozmnażają się szybko. Mają obfite źródła pożywienia, albo jako zwierzęta domowe, albo jako oportunisticzni myśliwi wokół ludzkich siedzib. Mają niewielu poważnych wrogów. Są wszędzie, gdzie są ludzie.

I znowu, nie było to wyborem, który zrobili. Nie było to strategią. To było po prostu, jak ciśnienie ewolucyjne się rozegrało. Ale wynik jest godny uwagi: zamiast walczyć z drapieżnikiem szczytowym, lub karmić drapieżnika szczytowego, przyjaźniły się z drapieżnikiem szczytowym.

Co to ma wspólnego z AI

Dlaczego to wszystko ma znaczenie?

Przybycie modeli takich jak Anthropic’s Mythos i Project Glass Wing jest, jak sądzę, równoznaczne z dniem, w którym ludzie przybyli do Australii. Z wyjątkiem tego, że timeline jest znacznie bardziej skompresowany. To, co zajęło pokolenia, aby się rozegrać na tym kontynencie, wydarzy się w latach — może nawet krócej.

W tej chwili jest wiele pisania na temat tego, jak zespoły bezpieczeństwa powinny reagować na zagrożenie hakowania z użyciem AI. Uważam, że to podejście jest błędne. To nie jest przede wszystkim problem bezpieczeństwa. To jest problem inżynieryjny.

To, co się zmienia, to fakt, że wcześniej zarówno obrońcy, jak i atakujący działali w świecie względnie ograniczonych stawek. Ataki się zdarzały. Naruszenia się zdarzały. Ale tempo i złożoność były ograniczone przez ludzką zdolność. To się fundamentalnie zmieniło. Teraz są modele AI, które są specjalnie zaprojektowane do samodzielnego wyszukiwania i eksploatowania słabości, na dużą skalę, bez zmęczenia.

Większość zespołów deweloperskich to olbrzymie wombaty w tej historii. Żyły w środowisku, w którym tak, były zagrożenia, ale nic takiego, jak to, co nadchodzi. Zbudowały systemy, które były rozsądnie bezpieczne przeciwko ciśnieniom, które naprawdę spotkały. Nie spotkały jeszcze niczego takiego, jak to, co nadchodzi.

To się zmieni.

Trzy opcje — i dlaczego tylko jedna działa

Kiedy to nowe zagrożenie przyjdzie, organizacje będą miały skutecznie trzy wybory:

1. Bądź wombatem. Nie adaptuj się. Zostaniesz zniszczony. To się wydarzy wielu firmom. Niektóre nigdy nie powstaną.
2. Bądź kurą. Stajesz się reaktywny, śpiesząc, aby załatać każdą nową słabość, zanim się pojawi. To jest podejście “wyciągnij włócznię i lecz ranę”. To jest lepsze niż nic, ale kiedy masz 45 włóczni, które lecą na ciebie ze wszystkich stron, ta jedna umiejętność cię nie uratuje. Jeszcze jesteś pożywieniem; jesteś tylko wolniejszy, aby dotrzeć do stołu.
3. Bądź kotem. Zmienisz fundamentalnie swoją relację z zagrożeniem. Użyjesz AI, aby bronić się przed AI. Wbudujesz bezpieczeństwo w inżynierię od samego początku. Zaprojektujesz systemy, zakładając, że zostaną złamane — nie licząc na to, że uda się je powstrzymać.

Cel nie polega na zatrudnieniu większej liczby analityków bezpieczeństwa, aby patrolowali obwód. To jest próba ochrony słoni na sawannach. To nie skaluje się wobec tego rodzaju zagrożenia. Cel polega na przeprojektowaniu sawanny.

Co oznacza “bycie kotem”?

To nie jest powierzchowna praca. To nie jest uruchamianie skanera bezpieczeństwa AI na twojej bazie kodu raz na kwartał. To wymaga przemyślenia, jak robi się rozwój.

Praktycznie, oznacza to rzeczy takie jak:

• Prostsze bazy kodu, które są łatwiejsze do zrozumienia i audytu
• Pobieranie z bibliotek o znanych, sprawdzonych postawach bezpieczeństwa
• Budowanie infrastruktury na założeniu, że naruszenie jest kiedy, a nie czy — i utrudnianie ruchu bocznego, jak tylko złym aktorom uda się dostać do środka
• Przyjaźnienie się z drapieżnikiem, wykorzystując go tak samo, jak atakujący. Modele AI mogą wzmacniać zespoły inżynierskie i zespoły bezpieczeństwa, aby ewoluować ich obronę i wyprzedzić krzywą.

Firmy założone jutro mają czystą kartę. Mogą budować w ten sposób od samego początku. Firmy, które już istnieją, z klientami, z wrażliwymi danymi, z żywymi systemami, nie mają tego luksusu. Muszą zacząć przechodzić teraz.

Wezwanie do działania

Anthropic powiedział to sam: będzie rozliczenie. Będzie gospodarcze i społeczne zakłócenie spowodowane atakami z użyciem AI. Niektóre firmy nie przetrwają. Będą skompromitowane przez ludzi, którzy używają tych narzędzi, i nigdy nie odzyskają pełnej sprawności. To się wydarzy.

Więc oto wiadomość: zacznij teraz.

Inżynieria i bezpieczeństwo muszą siedzieć w tym samym pokoju. Przejdź przez pejzaż zagrożeń razem. Zbuduj wspólną mapę drogowej. Jedną, w której główna praca jest wykonywana przez zespoły inżynierskie i projektowe, zatwierdzane przez bezpieczeństwo, a nie odwrotnie. Bezpieczeństwo nie może prowadzić tego. Bezpieczeństwo może sprawdzić pracę. Ale podstawowa zmiana musi przyjść od ludzi, którzy budują systemy.

Firmy, które zaczną ten proces dzisiaj, nie wszystkie przetrwają. Ale ustanowią warunki przetrwania. I w środowisku, które nadchodzi, to jest najlepsze, co możemy zrobić.

Bądź kotem.