Ажіотаж навколо загрози кінця світу через ШІ та кафе з вайбом ШІ: питання врядування, які не можна оминути

Нам загрожує загибель? ШІ має свідомість? І навіщо компанії, що працюють із ШІ, відкривають кафе?

Ці питання яскраві, тривожні й — особливо коли йдеться про свідомість — справді складні. Вони також мають властивість привертати нашу увагу до найбільш спекулятивних або емоційно захопливих аспектів історії про ШІ. Тим часом менш кінематографічні питання вже впливають на життя людей: хто відповідає, коли система ШІ завдає шкоди? Які дані та чия праця уможливили її створення? На які рішення їй слід дозволити впливати? І хто має право голосу?

Я не обов’язково вважаю, що кожен, хто порушує питання екзистенційних ризиків, обговорює машинну свідомість або відкриває кафе, робить це, щоб ухилитися від цих питань. Кожна з цих тем сама по собі варта нашої уваги. Але наша увага не безмежна. Коли в центрі уваги опиняється гучна історія, варто запитати, що ще залишилося поза увагою.

Привабливість відчутного ШІ

Індустрія ШІ почала знаходити фізичні адреси для своїх переважно нематеріальних продуктів. «Zero Slop Zone» від Anthropic у Нью-Йорку запрошувала відвідувачів сповільнитися й провести час за кавою, книжками, ручкою та папером; Perplexity відкрила Cafe Curious — кафе в Сеулі, де ШІ компанії є частиною досвіду. Матеріали про поп-ап Anthropic і сеульське кафе Perplexity описують дві різні спроби перенести абстрактну технологію у звичне соціальне середовище.

У цьому є певний сенс. Більшість людей не можуть побачити мовну модель, дослідити інфраструктуру, що стоїть за нею, або легко уявити, що відбувається між запитом і відповіддю. Кафе пропонує своєрідне фізичне втілення: приміщення, горнятко, розмову. Так компанію та її технологію стає легше побачити зблизька — і, можливо, зрозуміти.

Є й другий аспект. Фізичний простір робить компанію помітною для громади. Принаймні він промовляє: «Ми тут, у цьому місці, принаймні поки що». Це може заспокоювати в галузі, де продукти, політики та очікування швидко змінюються. Але помітність — це не те саме, що відповідальність. Привітний простір може зробити технологію звичнішою, але не пояснить, як її навчали, у яких випадках на неї можна покластися і які можливості має людина, якщо система припуститься важливої помилки.

Ця відмінність перегукується з думкою, до якої я повертаюся вже багато років: цифровий досвід ніколи не буває суто цифровим. Він взаємодіє з людьми в конкретних місцях, у стосунках та інституціях. Питання дизайну полягає не лише в тому, як зробити систему ШІ доступнішою для сприйняття. Важливо й те, чи допомагає взаємодія людям зрозуміти обмеження системи та зберегти реальну можливість самостійно ухвалювати рішення.

Дискусія про свідомість — і люди, на яких ШІ вже впливає

Ця сама відмінність важлива і в дискусіях про свідомість ШІ. Існують реальні розбіжності щодо того, чи можлива машинна свідомість, які докази можна вважати переконливими та як невизначеність має впливати на наші обов’язки. У своїй аргументації в Noema Аніл Сет доводить, що інтелект і свідомість не слід вважати взаємозамінними поняттями; у нещодавньому матеріалі The Guardian також пояснюється, чому це питання досі не має остаточної відповіді. Ця дискусія не допускає простих відповідей.

Однак невизначеність щодо внутрішнього життя машини не означає, що нинішні питання про наслідки для людей так само невизначені. Відповідальність не виникає лише після того, як ми з’ясуємо, що таке свідомість. Вона виникає тоді, коли організації створюють, розгортають і використовують для отримання прибутку системи, що впливають на людей.

Поміркуймо над питаннями, які можна дослідити вже зараз. Яку інформацію використали для навчання системи і за яких умов? Хто готує та перевіряє її результати? Наскільки добре вона працює з різними групами людей? Що відбувається, коли систему використовують в охороні здоров’я, під час наймання на роботу, в освіті чи державних послугах? Чи може людина оскаржити автоматизовану рекомендацію, звернутися до фахівця, який ухвалює рішення, і отримати змістовне пояснення?

Це не гіпотетичні побоювання. В огляді упередженості в медичному ШІ описано, як упереджені дані та дизайнерські рішення можуть призводити до несправедливих клінічних рішень. Водночас дослідження впливу ШІ на зайнятість ще тривають: аналіз ринку праці від Anthropic пропонує один зі способів оцінити, які робочі місця можуть зазнати впливу, тоді як в огляді Hamilton Project застерігають, що доказова база щодо загального впливу на ринок праці досі неповна. Ці джерела по-різному оцінюють, які висновки можна зробити сьогодні, але обидва наголошують на потребі вимірювати наслідки, а не підміняти докази самовпевненими твердженнями.

Є й пов’язаний із цим ризик у тому, як ми говоримо про системи. Людиноподібні назви, голоси й стилі спілкування можуть створювати враження, що ШІ — радше людина, ніж продукт. Це може впливати на довіру та схильність людей покладатися на його відповіді. Варто запитати, чи можуть розмови про свідомість або антропоморфний дизайн відвертати увагу від організацій, які визначають цілі та обмеження системи. В одному з аналізів MIT Technology Review стверджується, що наративи про свідомість можуть затьмарювати питання корпоративної відповідальності. Це аргумент про наслідки такого подання теми, а не доказ того, що кожен, хто порушує це питання, має приховані мотиви.

Апокаліптичні прогнози — не план врядування

Екзистенційні ризики заслуговують на серйозну увагу. Наявність ближчих у часі загроз не робить катастрофічні наслідки менш важливими, а можливість катастрофи не применшує важливості ближчих у часі загроз. Нам не потрібно обирати один часовий горизонт і ігнорувати інший.

Але коли все обговорення зводиться до запитання «Чи нам судилося загинути?», довгострокові ризики знову відсувають на другий план теперішні загрози. Розмови про неминучу загибель можуть звучати як остаточний висновок, а не заклик діяти: якщо наслідок неминучий, навіщо докладати зусиль до непростої роботи, щоб його змінити? У статті The New Yorker про курс з екзистенційних ризиків розповідається про запитання студента, який замислився над «будівництвом собору»: навіщо братися за щось, що може пережити тебе, якщо ти віриш, що світ може загинути? Відповідь не в тому, що ризики зникають. Річ у тім, що невизначеність не скасовує нашої здатності — чи нашої відповідальності — вирішувати, що важливо далі, і допомагати визначати, що відбуватиметься.

Саме це я маю на увазі під своєю філософією «стратегічного оптимізму». Це не безтурботне «все буде добре» і не відмова зважати на докази. Йдеться про визнання реальних ризиків і роботу над їх зменшенням, а також про серйозні зусилля заради майбутнього, до якого варто прагнути. Надія — не протилежність вимогливості. Вона може допомогти спрямувати вимогливість у дію.

Питання врядування за видовищем

Незалежно від того, чи організація купує інструмент ШІ, розробляє його або формує політику щодо нього, практичні запитання менш ефектні, ніж кав’ярня чи твердження про свідомість, зате корисніші:

• Мета: Яку проблему має розв’язати система і чи є ШІ належним інструментом для цього?
• Докази: Як систему тестували, зокрема для різних користувачів і менш поширених випадків?
• Обмеження: Які рішення має ухвалювати лише людина і чого система не здатна робити?
• Підзвітність: Хто відповідає за збої системи і як люди, яких вони зачіпають, можуть оскаржити рішення?
• Прозорість: Чи можуть люди зрозуміти, коли застосовується ШІ та яка інформація вплинула на його результат?
• Постійний нагляд: Хто відстежує ефективність, зміни в даних і непередбачені наслідки після запуску?

Такі рамки, як Рамка NIST з управління ризиками ШІ, дають організаціям структурований спосіб виявляти ризики й управляти ними протягом усього життєвого циклу системи ШІ. Жодна рамка не може замінити розсудливість чи суспільну дискусію, але врядування стає конкретнішим, коли чітко визначено відповідальних, процедури тестування та способи оскарження.

Є також фізичний рівень, який потребує врядування. ШІ залежить від центрів обробки даних, електроенергії, води, землі та фінансування, а не лише від інтерфейсів. Матеріал про структуру фінансування великого проєкту центру обробки даних порушує питання про те, як розкривають інформацію щодо інфраструктурних ризиків і на кого зрештою лягає їхній тягар. Кав’ярня може допомогти людям познайомитися зі ШІ, але сама по собі не здатна зробити зрозумілою інфраструктуру, що стоїть за ним.

Тож завітайте до кав’ярні. Ставте великі запитання про свідомість. Серйозно ставтеся до ризику катастрофи. А потім поверніться до рішень, які ми можемо зараз дослідити й на які можемо вплинути: що створюють, хто отримує вигоду, хто несе витрати і які запобіжні заходи передбачено на випадок, якщо щось піде не так.

Майбутнє — не вирок, винесений заголовком. Це сукупність рішень, які ухвалюють компанії, установи, уряди та громади й які ще можна поставити під сумнів і змінити. Найкорисніше запитання — не лише чи нам судилося загинути. Важливо також, які умови дадуть змогу ШІ сприяти добробуту людей і що ми готові зробити, щоб ці умови стали реальністю.