Девід Махер, технічний директор Intertrust – Серія інтерв’ю

Девід Махер обіймає посаду виконавчого віце-президента та технічного директора Intertrust. З більш ніж 30-річним досвідом у сфері довірених розподілених систем, безпечних систем та управління ризиками Девід очолював дослідження та займав ключові керівні посади в дочірніх компаніях. Він був президентом компанії Seacert Corporation, уповноваженого центру для цифрових медіа та IoT, а також президентом компанії whiteCryption Corporation, розробника систем для самооборони програмного забезпечення. Він також обіймав посаду співголови організації Marlin Trust Management (MTMO), яка керує єдиною незалежною системою цифрового управління правами.

Intertrust розробила інновації, які дозволяють розподіленим операційним системам забезпечувати безпеку та управління даними та обчисленнями в відкритих мережах, що призвело до отримання фундаментального патенту на довірене розподілене обчислення.

Спочатку заснована на дослідженнях, Intertrust перетворилася на компанію, орієнтовану на продукти, яка пропонує послуги довіреного обчислення, що об’єднують операції пристроїв та даних, особливо для IoT та AI. Її ринки включають розповсюдження медіа, ідентифікацію та автентифікацію пристроїв, цифрове управління енергетикою, аналіз даних та безпеку хмарного сховища.

Як ми можемо закрити розрив довіри в галузі AI та звернутися до зростаючих проблем суспільства щодо безпеки та надійності AI?

Прозорість є найважливішою якістю, яку, на мою думку, потрібно розвивати для звернення до зростаючих проблем щодо безпеки AI. Прозорість включає функції, які допомагають споживачам та технологам зрозуміти, які механізми AI входять до систем, з якими ми взаємодіємо, яку вони мають історію: як навчений модель AI, які обмеження існують, які політики були застосовані під час розробки моделі, та які інші гарантії існують для безпечності та безпеки певного механізму. З більшою прозорістю ми зможемо звернутися до реальних ризиків та проблем і не будемо відволікатися на ірраціональні страхи та припущення.

Яка роль відіграє аутентифікація метаданих у забезпеченні довіреності виходів AI?

Аутентифікація метаданих допомагає збільшити нашу впевненість у тому, що гарантії щодо моделі AI або іншого механізму є надійними. Карта моделі AI – це приклад збору метаданих, який може допомогти у оцінці використання механізму AI (моделі, агента тощо) для певної мети. Нам потрібно встановити стандарти для ясності та повноти карт моделей з стандартами для кількісних вимірювань та аутентифікованих тверджень щодо продуктивності, упередженості, властивостей навчальних даних тощо.

Як організації можуть пом’якшити ризик упередженості та галюцинацій у великих моделях мови (LLM)?

Червона команда – це загальний підхід до звернення до цих та інших ризиків під час розробки та до випуску моделей. Спочатку використовувався для оцінки безпечних систем, цей підхід тепер стає стандартним для систем, заснованих на AI. Це системний підхід до управління ризиками, який може та повинен включати весь життєвий цикл системи від початкової розробки до розгортання у полі, охоплюючи весь ланцюг постачання розробки. Особливо критично класифікація та аутентифікація навчальних даних, використаних для моделі.

Які кроки можуть вжити компанії для створення прозорості в системах AI та зменшення ризиків, пов’язаних з проблемою “чорної скриньки”?

Зрозуміти, як компанія буде використовувати модель та які види відповідальності вона може мати при розгортанні, як для внутрішнього використання, так і для використання клієнтами, безпосередньо або опосередковано. Потім зрозуміти, що я називаю походженням механізмів AI, які будуть розгорнуті, включаючи твердження на карті моделі, результати випробувань червоної команди, диференціальне аналіз компанії на конкретному використанні, що було формально оцінено, та які інші люди мали досвід. Внутрішнє тестування за допомогою комплексного плану тестування в реальному середовищі є абсолютно необхідним. Найкращі практики еволюціонують у цій новій галузі, тому важливо слідкувати за ними.

Як системи AI можна розробляти з урахуванням етичних керівних принципів, і які є викликами при досягненні цього в різних галузях?

Це область дослідження, і багато хто стверджує, що поняття етики та поточні версії AI є несумісними, оскільки етика заснована на концепціях, а механізми AI в основному керуються даними. Наприклад, прості правила, які люди розуміють, такі як “не обманюйте”, важко забезпечити. Однак ретельний аналіз взаємодій та конфліктів цілей у навчанні на основі цілей, виключення сумнівних даних та дезінформації, а також будівництво правил, які вимагають використання фільтрів виходу, які забезпечують обмеження та перевіряють порушення етичних принципів, таких як пропаганда чи співчуття використанню насильства у вмісті виходу, повинні бути розглянуті. Аналогічно, суворе тестування на упередженість може допомогти привести модель у відповідність з етичними принципами. Знову ж таки, більша частина цього може бути концептуальною, тому потрібно бути обережним при тестуванні впливу певного підходу, оскільки механізм AI не “зrozumіє” інструкції так, як люди.

Які ключові ризики та виклики стоять перед AI в майбутньому, особливо при інтеграції з системами IoT?

Ми хочемо використовувати AI для автоматизації систем, які оптимізують критичні інфраструктурні процеси. Наприклад, ми знаємо, що можемо оптимізувати розподіл та використання енергії за допомогою віртуальних електростанцій, які координують тисячі елементів виробництва, зберігання та використання енергії. Це можливо лише за допомогою масової автоматизації та використання AI для допомоги у прийнятті рішень. Системи будуть включати агентів з конфліктуючими цілями оптимізації (наприклад, для користі споживача проти постачальника). Безпека та безпека AI будуть критично важливі при широкому розгортанні таких систем.

Який тип інфраструктури потрібен для безпечної ідентифікації та аутентифікації сутностей у системах AI?

Ми потребуємо надійної та ефективної інфраструктури, за допомогою якої сутності, які оцінюють всі аспекти систем AI та їх розгортання, можуть публікувати авторитетні та аутентифіковані твердження про системи AI, їх походження, доступні навчальні дані, походження даних сенсорів, інциденти та події, пов’язані з безпекою, тощо. Ця інфраструктура також повинна забезпечувати ефективність перевірки тверджень та заяв користувачами систем, які включають механізми AI, та елементами автоматизованих систем, які приймають рішення на основі виходів моделей AI та оптимізаторів.

Чи можете ви поділитися з нами деякими ідеями щодо того, над чим ви працюєте в Intertrust, і як це впливає на те, про що ми говорили?

Ми проводимо дослідження та розробку технологій, які можуть забезпечити інфраструктуру управління довіреністю, необхідну у попередньому запиті. Ми конкретно звертаємо увагу на питання масштабу, затримки, безпеки та сумісності, які виникають у системах IoT, які включають компоненти AI.

Як PKI (інфраструктура відкритих ключів) Intertrust забезпечує безпеку пристроїв IoT, і що робить її масштабованою для великомасштабних розгортань?

Наша інфраструктура відкритих ключів була розроблена конкретно для управління довіреністю систем, які включають управління пристроями та цифровим вмістом. Ми розгорнули мільярди криптографічних ключів та сертифікатів, які забезпечують відповідність вимогам. Наше поточне дослідження стосується масштабу та гарантій, необхідних для масової промислової автоматизації та критичної світової інфраструктури, включаючи найкращі практики для “zero-trust” розгортань та аутентифікації пристроїв та даних, які можуть розміщувати трильйони сенсорів та генераторів подій.

Що мотивувало вас приєднатися до ініціатив NIST щодо AI, і як ваша участь сприяє розробці надійних та безпечних стандартів AI?

NIST має величезний досвід та успіх у розробці стандартів та найкращих практик у сфері безпечних систем. Як головний дослідник US AISIC з Intertrust, я можу відстоювати важливі стандарти та найкращі практики у сфері розробки систем управління довіреністю, які включають механізми AI. За попереднім досвідом я особливо ціную підхід, який приймає NIST для сприяння творчості, прогресу та промисловому співробітництву при допомозі у формулюванні та поширенні важливих технічних стандартів, які сприяють сумісності. Ці стандарти можуть спонукати прийняття корисних технологій, одночасно звертаючись до ризиків, з якими стикається суспільство.

Дякую за чудовий інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Intertrust.