Искусственный интеллект как апекс-предатор в мире разработки

Эволюционное давление: краткий обзор

Прежде чем мы углубимся в суть этого вопроса, есть несколько концепций, которые необходимо установить. Первая из них – эволюционное давление.

Эволюция – это не выбор. Животные не выбирают, каким образом эволюционировать – их окружающая среда заставляет их делать это, или их окружающая среда их уничтожает. Итак, когда мы говорим о том, каким образом животное эволюционировало, или почему оно существует таким, каким оно есть сегодня, мы не говорим о серии сознательных решений. Мы говорим о случайных мутациях и давлении окружающей среды, которые толкали вид в одном направлении или другом.

В настоящее время компании, занимающиеся разработкой программного обеспечения, входят в подобный эволюционный момент. Системы искусственного интеллекта, способные автономно выявлять уязвимости, генерировать эксплойты и ускорять кибератаки, меняют давление, под которым работают разработчики и команды безопасности.

Искусственный интеллект сейчас создает подобное эволюционное давление для компаний, занимающихся разработкой программного обеспечения. Модели, способные автономно выявлять уязвимости, генерировать эксплойты и автоматизировать крупномасштабные атаки, меняют ландшафт безопасности намного быстрее, чем большинство организаций готовы к этому.

Конкретное эволюционное давление, о котором я хочу поговорить, – это апекс-предатор на Земле в настоящее время: человек. И как три очень разных животных отреагировали на это давление.

Кто сделал это хуже: гигантский wombat или курица?

Гигантский wombat

Гигантский wombat – я не помню точное название, но он обитал в Австралии – весил около 6 000 фунтов. До прибытия людей Австралия была зеленой, почти райской землей. Жаль, что мы когда-либо тронули ее. Эти巨альные wombats жили в основном без помех. Некоторые хищники иногда убивали одного из них, но учитывая их огромный размер, изобилие пищи и способность размножаться, они держали свою позицию против всего, что могло бросить им континент.

Затем люди прибыли.

Сразу произошло несколько вещей. Во-первых, люди увидели огромный источник белка, который мог прокормить группу на несколько недель – или дольше, если они могли сохранить мясо. Во-вторых, они начали вырубать леса, на которые wombat был зависим, либо путем вырубки деревьев для дров, либо путем сжигания больших участков земли, чтобы выгнать животных в открытые места, где их можно было убить. Люди чрезвычайно хороши в этом виде координированного, эффективного уничтожения.

За очень короткий период времени – геологически говоря, практически за одну ночь – люди вырубили большие участки континента и истребили последнего гигантского wombat.

Стоит отметить, что не все австралийские животные вымерли. Кенгуру, маленькие wombats, коалы и другие выжили – потому что они были достаточно малы, достаточно быстры или достаточно адаптивны, чтобы остаться вне досягаемости. К моменту прибытия европейцев континент был преобразован в что-то суровое и беспощадное. Меньшая человеческая популяция, суровая и адаптированная к экстремальным условиям. Животные, которые были либо очень малы, либо очень смертоносны, либо и то, и другое. Как говорят: все в Австралии пытается убить вас.

Это версия один.

Курица

Теперь, по-своему, курица, возможно, является наиболее успешным наземным животным на Земле. Приблизительно 70% общей биомассы птиц на планете – это домашняя курица. Есть даже карманы, где куры стали дикими – на островах, где у них нет естественных хищников, как Каймановы острова – и они процветают.

Куры эволюционировали в нечто, что людям кажется чрезвычайно полезным: они размножаются быстро, растут быстро, несут яйца. Люди кормят их, защищают их и активно поощряют их размножаться. Почти по любому показателю биологического успеха – размеру популяции, географическому распространению, доступу к ресурсам – курица выигрывает.

За исключением, конечно, той части, где мы их едим.

Итак, курица добилась успеха, став идеальной пищей. Это не ничего. Но есть потолок на таком успехе.

Кошка: правильный ответ

Есть одно животное, которое, я бы сказал, сделало это почти идеально.

Кошка.

Кошки не являются апекс-предаторами. Они не доминируют над людьми или не охотятся на них. Но вместо того, чтобы быть раздавленными человеческой экспансией или подчиняться человеческим вкусам, они сделали что-то другое: они коэволюционировали вместе с нами. Они сделали себя полезными, охотясь на крыс и мелких птиц, которые были привлечены к человеческим поселениям, и где-то на этом пути они сделали себя желанными. Они стали компаньонами.

Результат? Кошки размножаются быстро. У них есть обильные источники пищи, либо как домашние животные, либо как охотники вокруг человеческого жилья. Они сталкиваются с немногими серьезными хищниками. Они везде, где есть люди.

И снова, это не было выбором, который они сделали. Это не была стратегия. Это было просто так, как эволюционное давление сыграло свою роль. Но результат замечательный: вместо того, чтобы бороться с апекс-предатором или кормить апекс-предатора, они подружились с апекс-предатором.

Что это имеет отношение к искусственному интеллекту

Итак, почему все это имеет значение?

Прибытие моделей, таких как Mythos от Anthropic и Project Glass Wing, является, я бы сказал, эквивалентным дню, когда люди прибыли в Австралию. За исключением того, что временная шкала сжата драматически. То, что заняло поколения, чтобы разыграться на этом континенте, произойдет за годы – может быть, меньше.

Существует много писаний сейчас о том, как команды безопасности должны реагировать на угрозу хакинга, облегченного искусственным интеллектом. Я думаю, что эта формулировка является ошибкой. Это не в первую очередь проблема безопасности. Это проблема инженерии.

Вот что меняется: до этой новой волны искусственного интеллекта и защитники, и атакующие работали в мире относительно ограниченных ставок. Атаки происходили. Проникновения происходили. Но темп и сложность были ограничены человеческими возможностями. Это фундаментально изменилось. Теперь существуют модели искусственного интеллекта, специально разработанные для автономного выявления и эксплуатации уязвимостей в крупном масштабе, без усталости.

Большинство команд разработчиков – это гигантский wombat в этой истории. Они жили в среде, где да, были угрозы, но ничего подобного тому, что идет. Они построили системы, которые были достаточно безопасны против давления, с которым они фактически столкнулись. Они не встречали ничего подобного тому, что идет.

Это вот-вот изменится.

Три варианта – и почему только один работает

Когда эта новая угроза arrives, организации будут иметь effectively три варианта:

1. Быть wombat. Не адаптироваться. Быть уничтоженным. Это произойдет с многими компаниями. Некоторые никогда не оправятся.
2. Быть курицей. Стать реактивным, спешащим исправлять каждую новую уязвимость, как только она появляется. Это “вытащить копье и лечить рану” подход. Это лучше, чем ничего, но когда есть 45 копий, летящих в вас со всех сторон, этот один навык не спасет вас. Вы все равно еда; вы просто медленнее доходите до стола.
3. Быть кошкой. Фундаментально изменить свою связь с угрозой. Использовать искусственный интеллект для защиты от искусственного интеллекта. Встроить безопасность в инженерию с самого начала. Разработать системы, предполагая проникновение – не надеясь предотвратить его.

Цель не состоит в том, чтобы нанять больше аналитиков безопасности для патрулирования периметра. Это попытка защитить слонов на саванне. Это не масштабируется против этой угрозы. Цель – переработать саванну.

Что такое “становление кошкой” на самом деле

Это не поверхностная работа. Это не запуск сканера безопасности искусственного интеллекта на вашем кодовом базисе раз в квартал. Это требует переосмысления того, как выполняется разработка.

Практически, это означает вещи, такие как:

• Простые кодовые базы, которые легче понять и проверить
• Использование библиотек с известными, проверенными безопасными постурами
• Строительство инфраструктуры на предположении, что проникновение – это когда, а не если – и сделать боковое движение как можно более трудным, как только злоумышленник окажется внутри
• Подружиться с хищником, используя его, как и атакующий. Модели искусственного интеллекта могут усилить команды инженеров и команды безопасности, чтобы эволюционировать их защиты и опередить кривую.

Компании, основанные завтра, имеют чистый лист. Они могут построить все это с самого начала. Компании, которые уже существуют, с клиентами, с чувствительными данными, с живыми системами, не имеют этого преимущества. Они должны начать переход сейчас.

Призыв к действию

Anthropic сами сказали это: будет расплата. Будет экономическое и социальное нарушение, вызванное атаками, облегченными искусственным интеллектом. Некоторые компании не выживут. Они будут скомпрометированы людьми, использующими эти инструменты, и они никогда полностью не восстановятся. Это вот-вот произойдет.

Итак, вот сообщение: начните сейчас.

Инженерия и безопасность должны сидеть в одной комнате. Пройти через ландшафт угроз вместе. Создать общую дорожную карту. Та, где основная работа выполняется командами инженеров и дизайнеров, проверенной командой безопасности, а не наоборот. Безопасность не может возглавлять это. Безопасность может проверить работу. Но фундаментальная смена должна прийти от людей, строящих системы.

Компании, которые начнут этот процесс сегодня, не все выживут. Но они создадут условия для выживания. И в окружающей среде, которая идет, это лучшее, что мы можем сделать.

Будьте кошкой.