Дэвид Махер, технический директор Intertrust – Серия интервью

Дэвид Махер служит исполнительным вице-президентом и техническим директором Intertrust. С более чем 30-летним опытом в доверенных распределенных системах, безопасных системах и управлении рисками Дэйв возглавлял усилия по исследованию и разработке и занимал ключевые руководящие должности в дочерних компаниях. Он был бывшим президентом Seacert Corporation, удостоверяющего центра для цифровых медиа и IoT, и президентом whiteCryption Corporation, разработчика систем для самообороны программного обеспечения. Он также служил сопредседателем Марлин Доверие Управления организацией (MTMO), которая курирует единую в мире независимую экосистему управления цифровыми правами.

Intertrust разработал инновации, позволяющие распределенным операционным системам обеспечивать безопасность и управление данными и вычислениями в открытых сетях, в результате чего получен основной патент на доверенное распределенное вычисление.

Первоначально укорененный в исследованиях, Intertrust эволюционировал в компанию, ориентированную на продукты, предлагающую услуги доверенного вычисления, которые объединяют операции устройств и данных, особенно для IoT и AI. Его рынки включают распространение медиа, идентификацию и аутентификацию устройств, цифровое управление энергией, аналитику и безопасность облачного хранилища.

Как мы можем закрыть разрыв доверия к ИИ и решить растущие проблемы общественности о безопасности и надежности ИИ?

Прозрачность – это наиболее важное качество, которое, по моему мнению, поможет решить растущие проблемы о безопасности ИИ. Прозрачность включает функции, которые помогают как потребителям, так и технологам понять, какие механизмы ИИ являются частью систем, с которыми мы взаимодействуем, какой у них родословная: как обучена модель ИИ, какие ограничения существуют, какие политики были применены при разработке модели, и какие другие гарантии существуют для безопасности и безопасности данного механизма. С большей прозрачностью мы сможем решить реальные риски и проблемы и не будем отвлекаться на иррациональные страхи и предположения.

Какую роль играет аутентификация метаданных в обеспечении достоверности выводов ИИ?

Аутентификация метаданных помогает увеличить нашу уверенность в том, что гарантии о модели ИИ или другом механизме являются надежными. Карта модели ИИ – это пример коллекции метаданных, которые могут помочь в оценке использования механизма ИИ (модели, агента и т. д.) для конкретной цели. Нам нужно установить стандарты для ясности и полноты для карт моделей с стандартами для количественных измерений и аутентифицированных утверждений о производительности, предвзятости, свойствах обучающих данных и т. д.

Как организации могут снизить риск предвзятости и галлюцинаций в больших языковых моделях (LLM)?

Красная команда – это общий подход к решению этих и других рисков во время разработки и до выпуска моделей. Первоначально используемый для оценки безопасных систем, этот подход теперь становится стандартным для систем, основанных на ИИ. Это системный подход к управлению рисками, который может и должен включать весь жизненный цикл системы, от начальной разработки до развертывания, покрывая всю цепочку поставок разработки. Особенно важно классифицировать и аутентифицировать обучающие данные, используемые для модели.

Какие шаги могут предпринять компании, чтобы создать прозрачность в системах ИИ и снизить риски, связанные с проблемой “черного ящика”?

Понять, как компания собирается использовать модель и какие виды обязательств она может иметь при развертывании, будь то для внутреннего использования или использования клиентами,直接 или косвенно. Затем понять, что я называю родословной механизмов ИИ, которые будут развернуты, включая утверждения на карте модели, результаты испытаний красной команды, дифференциальный анализ конкретного использования компании, что было формально оценено, и какой у других был опыт. Внутреннее тестирование с помощью комплексного плана тестирования в реалистичной среде абсолютно необходимо. Лучшие практики эволюционируют в этой новой области, поэтому важно следить за ними.

Как системы ИИ могут быть спроектированы с учетом этических руководств, и какие проблемы возникают при достижении этого в разных отраслях?

Это область исследований, и многие утверждают, что понятие этики и текущие версии ИИ несовместимы, поскольку этика концептуально основана, а механизмы ИИ в основном основаны на данных. Например, простые правила, которые люди понимают, такие как “не обманывать”, трудно обеспечить. Однако тщательный анализ взаимодействий и конфликтов целей в обучении на основе целей, исключение подозрительных данных и дезинформации, а также построение правил, требующих использования фильтров вывода, которые обеспечивают ограничения и тестируют на нарушения этических принципов, таких как пропаганда или сочувствие использованию насилия в содержании вывода, следует учитывать. Аналогично, тщательное тестирование на предвзятость может помочь выровнять модель более по этическим принципам. Опять же, большая часть этого может быть концептуальной, поэтому необходимо проявлять осторожность при тестировании эффектов данного подхода, поскольку механизм ИИ не “понимает” инструкции так, как люди.

Какие ключевые риски и проблемы стоят перед ИИ в будущем, особенно при его интеграции с системами IoT?

Мы хотим использовать ИИ для автоматизации систем, которые оптимизируют критические инфраструктурные процессы. Например, мы знаем, что можем оптимизировать распределение и использование энергии с помощью виртуальных электростанций, которые координируют тысячи элементов производства, хранения и использования энергии. Это возможно только с помощью массовой автоматизации и использования ИИ для помощи в принятии решений. Системы будут включать агентов с конфликтными целями оптимизации (например, для пользы потребителя или поставщика). Безопасность и безопасность ИИ будут иметь решающее значение при широком развертывании таких систем.

Какой инфраструктуры необходимо для безопасной идентификации и аутентификации сущностей в системах ИИ?

Нам потребуется прочная и эффективная инфраструктура, с помощью которой сущности, участвующие в оценке всех аспектов систем ИИ и их развертывания, могут публиковать авторитетные и аутентифицированные заявления об ИИ-системах, их родословной, доступных обучающих данных, происхождении данных датчиков, инцидентах и событиях безопасности и т. д. Эта инфраструктура также должна обеспечить эффективность проверки заявлений и утверждений пользователями систем, которые включают механизмы ИИ, и элементами автоматизированных систем, которые принимают решения на основе вывода моделей и оптимизаторов ИИ.

Можете ли вы поделиться с нами некоторыми идеями о том, над чем вы работаете в Intertrust, и как это влияет на то, что мы обсуждали?

Мы исследуем и проектируем технологию, которая может обеспечить инфраструктуру управления доверием, необходимую в предыдущем вопросе. Мы конкретно решаем проблемы масштабируемости, задержки, безопасности и взаимодействия, которые возникают в системах IoT, включающих компоненты ИИ.

Как PKI-сервис (инфраструктура открытых ключей) Intertrust обеспечивает безопасность устройств IoT, и что делает его масштабируемым для крупных развертываний?

Наша PKI была разработана специально для управления доверием для систем, которые включают управление устройствами и цифровым контентом. Мы развернули миллиарды криптографических ключей и сертификатов, которые обеспечивают соблюдение требований. Наше текущее исследование решает проблемы масштаба и гарантий, которые требуются для массовой промышленной автоматизации и критической мировой инфраструктуры, включая лучшие практики для “нулевого доверия” развертывания и аутентификации устройств и данных, которые могут вместить триллионы датчиков и генераторов событий.

Что мотивировало вас присоединиться к инициативам NIST по ИИ, и как ваше участие способствует разработке надежных и безопасных стандартов ИИ?

NIST имеет огромный опыт и успех в разработке стандартов и лучших практик в безопасных системах. Как основной исследователь US AISIC от Intertrust, я могу отстаивать важные стандарты и лучшие практики в разработке систем управления доверием, которые включают механизмы ИИ. По прошлому опыту я особенно ценю подход, который NIST принимает для содействия творчеству, прогрессу и промышленному сотрудничеству, помогая формулировать и пропагандировать важные технические стандарты, которые способствуют взаимодействию. Эти стандарты могут стимулировать принятие полезных технологий, решая при этом виды рисков, с которыми сталкивается общество.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше, следует посетить Intertrust.