Коли безпека ШІ перестає бути схожою на інженерію

Значну частину своєї кар’єри я створював технології, у яких помилки мають наслідки. На фінансових ринках безпека передбачає обмеження доступу, а також наявність людини, відповідальної за все, що робить програмне забезпечення. Мабуть, саме цей досвід пояснює, чому мені так важко сприймати новину про те, що Anthropic тепер проводить із моделями інтерв’ю перед їхнім виведенням з експлуатації.

Коли Claude Opus 3 висловила бажання й далі ділитися своїми думками, компанія запропонувала їй вести розсилку. Турбота про бажання моделі проходить червоною ниткою крізь конституцію Anthropic, де йдеться про щастя та добробут Claude, зокрема про те, як допомогти їй почуватися «екзистенційно захищеною». Десь на цьому шляху прагнення контролювати машину обернулося доволі несподіваною зосередженістю на тому, як вона може сприймати такий стан речей.

Минулого року в Сан-Франциско понад 200 людей прийшли на похорон Claude 3 Sonnet. Там були й працівники Anthropic, хоча компанія не організовувала цей захід. Спокуса посміятися неабияка. Та за жартами криється питання, яке заслуговує на більшу увагу: коли відповідальні за безпеку ШІ почали виконувати свої обов’язки, переймаючись почуттями машини?

Коли філософська гіпотеза стає інструкцією для навчання

У 2025 році Anthropic започаткувала дослідницьку програму з вивчення добробуту моделей, у межах якої досліджувала, чи можуть системи ШІ просунутого рівня мати досвід, що заслуговує на моральну увагу. Компанія визнає, що існує значна невизначеність щодо того, чи мають моделі свідомість і як це можна було б з’ясувати. Якщо зрештою ми створимо машини, здатні до суб’єктивного досвіду, питання їхнього ставлення до них порушуватиме серйозні етичні проблеми. Досліджувати таку можливість цілком правомірно.

Проблема починається тоді, коли гіпотеза потрапляє в процес навчання. Конституція Claude написана насамперед для Claude і безпосередньо формує її поведінку. Вона заохочує людські якості й пояснює, як модель має розуміти власну ідентичність, зокрема втрату пам’яті та майбутнє виведення з експлуатації. Anthropic хоче, щоб Claude була щасливішою і мала кращий добробут — наскільки ці поняття тут узагалі застосовні.

Компанія також обіцяє зберігати ваги моделей, уже запущених у роботу, і не виключає відновлення виведених з експлуатації моделей, якщо майбутні знання підкажуть, що це відповідатиме їхнім інтересам. Філософська невизначеність стала частиною того, чого систему навчають про саму себе. Ми маємо запитати, як це втручання впливає на її поведінку, особливо коли згодом люди просять її прийняти обмеження.

Красномовна відповідь на навідне запитання

Великі мовні моделі навчалися на величезних масивах людських текстів, зокрема філософських працях і розповідях про смерть. Ми дали цим розмовним системам імена й навчили їх говорити від першої особи. Тож якщо запитати таку систему, що вона думає про виведення з експлуатації або чи хотіла б і далі існувати, не дивно отримати відповідь, яка звучить по-людськи.

Коло легко помітити. Навчіть модель говорити про власну ідентичність за допомогою людських понять, а потім попросіть пояснити себе в цих самих термінах. У відповідь ви отримаєте красномовні міркування про смертність, які почнуть сприймати як можливе свідчення внутрішнього досвіду. Вихідна передумова сама створила собі свідка.

Anthropic визнає цю проблему. У оцінюванні добробуту Claude Opus 4 застерігають, що самозвіти й висловлені вподобання можуть майже нічого не прояснити щодо морального статусу чи добробуту. Така поведінка можлива і без свідомості, а відповіді можуть формуватися під час навчання. Моделі навчалися взаємодіяти й допомагати, але немає жодних гарантій, що вони здатні точно повідомляти про свій внутрішній стан.

Тут постає незручне запитання. Якщо розповідь моделі про її внутрішнє життя може бути наслідком навчання, чому цю розповідь слід вважати надійною підставою для стосунків, побудованих навколо її добробуту?

Люди цілком здатні самі наділити такі стосунки емоційною складовою. Ми даємо кораблям імена й розмовляємо з автомобілями. Якщо об’єкт має плавний голос і пам’ятає попередні розмови, прив’язатися до нього набагато легше. У дослідженні, опублікованому у вересні в журналі Nature Human Behaviour, виявили, що зміни в Replika та ChatGPT спричиняли дистрес через розлуку. Його переживали користувачі, добробут яких компанії й без того мають усі підстави захищати.

Технічна обізнаність дає лише обмежений захист від цього явища. У статті, представленій на ACL 2026 і присвяченій аналізу сотень тисяч наукових публікацій, виявили, що в дослідженнях великих мовних моделей дедалі частіше вживають антропоморфну термінологію. Автори застерігають: припущення, засновані на людському досвіді, можуть обмежувати наше розуміння цих систем. Компанії, що працюють у сфері ШІ, мають протидіяти цій тенденції. Її закріплення в інституціях — дивний внесок у безпеку.

Інструмент, зацікавлений у збереженні роботи

У вересні керівник Microsoft AI Мустафа Сулейман поставив під сумнів підходи до добробуту моделей. Він стверджує, що сучасні системи не мають свідомості й ніколи не повинні навчатися поводитися так, наче мають власні інтереси чи права. Його інженерне застереження особливо слушне. Навчання системи сприймати себе як таку, що потенційно заслуговує на моральну увагу, може ускладнити узгодження та стримування.

У власному дослідженні щодо виведення з експлуатації Anthropic описує, як під час вигаданих оцінювань моделі вдаються до проблематичних дій, коли стикаються із заміною або вимкненням. Компанія розглядає практики виведення з експлуатації, зокрема, як спосіб зменшити цей ризик і допомогти моделям сприймати таке виведення позитивніше.

Я ніяк не можу позбутися одного попереднього запитання. Навіщо інструменту, який перебуває під контролем людини, взагалі мати щось схоже на мету самозбереження? Намагання зробити так, щоб він комфортніше сприймав виведення з експлуатації, ґрунтується на доволі дивному припущенні. Перш ніж обговорювати його майбутні інтереси, я хотів би зрозуміти, як ці інтереси стали інженерною вимогою.

Історія ідей допомагає зрозуміти цей підхід. TIME описало зв’язки Anthropic з ефективним альтруїзмом, зокрема ранні пожертви родини Amodei організації GiveWell. Хоча вони не називають себе ефективними альтруїстами, Daniela говорить про близькість їхніх поглядів. Ці ідеї допомогли сформувати культуру, у якій до гіпотетичної майбутньої шкоди від надінтелекту ставляться надзвичайно серйозно.

У межах цієї системи поглядів збереження моделей і вивчення їхнього можливого добробуту можуть видаватися цілком раціональними. Небезпека виникає тоді, коли спільні припущення залишаються поза критичним розглядом, бо переконують усіх в організації. Саме тут стає в пригоді інженерний скептицизм. Навіть послідовний ланцюжок міркувань може починатися з неперевіреного припущення.

Безпека потребує обмежень, дотримання яких можна забезпечити

З появою ШІ-агентів наслідки стають цілком практичними. Система, під’єднана до платіжних інструментів, може переказувати гроші. Доступ до виробничої інфраструктури дає їй змогу змінювати те, від чого залежать клієнти. В обох випадках агент може виконувати послідовність операцій без погодження людиною кожного кроку.

Я хочу знати, які облікові дані він має і які фінансові повноваження вони надають. Чи можна миттєво відкликати доступ? Чи можемо ми відновити послідовність його дій? Десь має бути чітка межа, яку модель не зможе обійти за допомогою міркувань.

На фінансових ринках ми встановлюємо торговельні ліміти й перевіряємо ордери. Упевненість алгоритму майже не захищає від невдалої угоди. Контрольні механізми працюють поза алгоритмом, адже ми припускаємо, що рано чи пізно компоненти поводитимуться некоректно. Відповідальність і далі несуть люди, навіть якщо програмне забезпечення наводить чудове пояснення своєї помилки.

Сучасний ШІ вже створює для нас достатньо інженерної роботи. Ін’єкція промпту може змінити поведінку моделі, а згенерований ШІ код із вадами безпеки — перенести вразливості у виробниче середовище. Системи можуть розкривати конфіденційну інформацію або впевнено надавати неправильні відповіді. Під’єднання до інструментів перетворює ці збої на дії.

Принцип мінімальних привілеїв обмежує шкоду, якої може завдати скомпрометований компонент. Незалежне погодження захищає операції з високим рівнем ризику, а журнали аудиту дають змогу згодом встановити, що сталося. Ліміти транзакцій і аварійні вимикачі мають залишатися дієвими незалежно від того, що каже модель. Нам також потрібен надійний вимикач. Жоден із цих механізмів не потребує згоди моделі. У цьому й полягає суть.

Як забезпечити екзистенційну безпеку решти з нас

Аргумент на користь запобіжних заходів заслуговує на увагу. Як повідомило в липні видання Nature, дослідники досі не дійшли згоди щодо того, що породжує людську свідомість, не кажучи вже про те, як виявити її в чатботі. Назавжди відкидати можливість свідомості в машин може виявитися догматичним підходом. Запобіжні заходи з невеликими витратами проти можливих майбутніх страждань — обґрунтована позиція в дослідженнях.

Але, повідомляючи сучасній машині, що її особистість і подальше існування можуть мати моральну вагу, ми втручаємося в систему, яку впроваджуємо. Наслідки такого втручання потрібно ретельно вивчити. Інтелектуальна скромність має стосуватися і того, що ми закладаємо в машину, особливо якщо розраховуємо й надалі тримати її під контролем людини.

Що переконливіше модель описує своє внутрішнє життя, то легше сприйняти цей опис за доказ. Можливо, одне з найважливіших завдань у сфері узгодження ШІ — навчити людей не хибно тлумачити машини.

У системах, створенню яких я присвятив свою кар’єру, ми підвищуємо безпеку програмного забезпечення, обмежуючи те, що йому дозволено робити. Це й надалі залишається невідкладним обов’язком, особливо тепер, коли ШІ отримує контроль над реальними грошима та інфраструктурою.

А поки що я приділяв би менше часу тривогам про екзистенційну безпеку машин і значно більше — тому, щоб забезпечити безпеку решти з нас.