Дэвид Махер, технический директор Intertrust – Интервью

Дэвид Махер является исполнительным вице-президентом и техническим директором Intertrust. С более чем 30-летним опытом работы в области доверенных распределенных систем, безопасных систем и управления рисками Дэвид возглавлял исследования и разработки, а также занимал ключевые руководящие должности в дочерних компаниях. Он был бывшим президентом Seacert Corporation, центром сертификации для цифровых медиа и IoT, и президентом whiteCryption Corporation, разработчиком систем для самообороны программного обеспечения. Он также был сопредседателем Марлин Траст Менеджмент Организации (MTMO), которая курирует единую независимую цифровую систему управления правами.

Intertrust разработал инновации, позволяющие распределенным операционным системам обеспечивать безопасность и управление данными и вычислениями в открытых сетях, в результате чего была получена фундаментальная патент на доверенное распределенное вычисление.

Первоначально основанная на исследованиях, Intertrust эволюционировала в компанию, ориентированную на продукты, предлагающую услуги доверенных вычислений, которые объединяют операции устройств и данных, особенно для IoT и AI. Ее рынки включают распространение медиа, идентификацию и аутентификацию устройств, цифровое управление энергией, аналитику и безопасность облачного хранилища.

Как мы можем закрыть разрыв доверия к ИИ и решить растущие проблемы общества о безопасности и надежности ИИ?

Прозрачность является наиболее важным качеством, которое, по моему мнению, поможет решить растущие проблемы общества о безопасности и надежности ИИ. Прозрачность включает функции, которые помогают потребителям и технологам понять, какие механизмы ИИ являются частью систем, с которыми мы взаимодействуем, какова их история, какие ограничения существуют, какие политики были применены при разработке модели, и какие другие гарантии существуют для безопасности и безопасности данного механизма. С большей прозрачностью мы сможем решить реальные риски и проблемы, а не отвлекаться на иррациональные страхи и спекуляции.

Какая роль аутентификации метаданных играет в обеспечении достоверности выводов ИИ?

Аутентификация метаданных помогает увеличить нашу уверенность в том, что гарантии об ИИ-модели или другом механизме являются надежными. Карта ИИ-модели является примером коллекции метаданных, которая может помочь оценить использование ИИ-механизма (модели, агента и т. д.) для конкретной цели. Нам необходимо установить стандарты для ясности и полноты карт моделей с стандартами для количественных измерений и аутентифицированных утверждений о производительности, предвзятости, свойствах обучающих данных и т. д.

Как организации могут смягчить риск предвзятости и галлюцинаций ИИ в больших языковых моделях (LLM)?

Ред-тестирование является общим подходом к решению этих и других рисков во время разработки и до выпуска моделей. Первоначально использовался для оценки безопасных систем, этот подход теперь становится стандартным для ИИ-систем. Это системный подход к управлению рисками, который может и должен включать весь жизненный цикл системы, от начальной разработки до развертывания, охватывая весь цепочку поставок разработки. Особенно важно классифицировать и аутентифицировать обучающие данные, используемые для модели.

Какие шаги могут предпринять компании, чтобы создать прозрачность в ИИ-системах и снизить риски, связанные с проблемой “черного ящика”?

Понять, как компания будет использовать модель и какие виды ответственности она может иметь при развертывании, будь то для внутреннего использования или использования клиентами,直接 или косвенно. Затем понять, что я называю “происхождением” ИИ-механизмов, которые будут развернуты, включая утверждения на карте модели, результаты красных тестов, дифференциальный анализ конкретного использования компании, что было формально оценено и какой опыт у других. Внутреннее тестирование с помощью комплексного плана тестирования в реалистичной среде является абсолютно необходимым. Лучшие практики развиваются в этой новой области, поэтому важно следить за ними.

Как ИИ-системы могут быть разработаны с учетом этических руководств, и какие проблемы возникают при достижении этого в разных отраслях?

Это область исследований, и многие утверждают, что понятие этики и текущие версии ИИ несовместимы, поскольку этика концептуальна, а ИИ-механизмы в основном основаны на данных. Например, простые правила, которые понимают люди, такие как “не обманывать”, трудно обеспечить. Однако тщательный анализ взаимодействий и конфликтов целей в обучении на основе целей, исключение подозрительных данных и дезинформации, а также построение правил, требующих использования фильтров вывода, которые обеспечивают ограничения и тестируют нарушения этических принципов, таких как пропаганда или сочувствие использованию насилия в содержании вывода, должны быть рассмотрены. Аналогично, тщательное тестирование на предвзятость может помочь согласовать модель с этическими принципами. Опять же, большая часть этого может быть концептуальной, поэтому необходимо тщательно протестировать влияние данного подхода, поскольку ИИ-механизм не “понимает” инструкции так, как люди.

Какие ключевые риски и проблемы ИИ сталкиваются в будущем, особенно при интеграции с системами IoT?

Мы хотим использовать ИИ для автоматизации систем, которые оптимизируют критически важные процессы инфраструктуры. Например, мы знаем, что можем оптимизировать распределение и использование энергии с помощью виртуальных электростанций, которые координируют тысячи элементов производства, хранения и использования энергии. Это возможно только с помощью массовой автоматизации и использования ИИ для помощи в принятии минутных решений. Системы будут включать агентов с конфликтующими целями оптимизации (например, для потребителя или поставщика). Безопасность и надежность ИИ будут иметь решающее значение при широком развертывании таких систем.

Какой инфраструктуры необходим для безопасной идентификации и аутентификации сущностей в ИИ-системах?

Нам потребуется прочная и эффективная инфраструктура, с помощью которой сущности, участвующие в оценке всех аспектов ИИ-систем и их развертывания, могут публиковать авторитетные и аутентифицированные утверждения об ИИ-системах, их происхождении, доступных обучающих данных, происхождении данных датчиков, инцидентах и событиях безопасности и т. д. Эта инфраструктура также должна обеспечить эффективность проверки утверждений и утверждений пользователями систем, которые включают ИИ-механизмы, и элементами автоматизированных систем, которые принимают решения на основе вывода ИИ-моделей и оптимизаторов.

Не могли бы вы поделиться с нами некоторыми идеями о том, над чем вы работаете в Intertrust, и как это связано с тем, о чем мы говорили?

Мы исследуем и проектируем технологии, которые могут обеспечить инфраструктуру управления доверием, необходимую в предыдущем вопросе. Мы конкретно решаем проблемы масштабируемости, задержки, безопасности и совместимости, которые возникают в системах IoT, включающих компоненты ИИ.

Как PKI (инфраструктура открытых ключей) Intertrust обеспечивает безопасность устройств IoT, и что делает ее масштабируемой для крупных развертываний?

Наша PKI была разработана специально для управления доверием в системах, которые включают управление устройствами и цифровым контентом. Мы развернули миллиарды криптографических ключей и сертификатов, которые обеспечивают соблюдение требований. Наше текущее исследование решает проблемы масштаба и гарантий, которые требуются для крупной промышленной автоматизации и критически важной мировой инфраструктуры, включая лучшие практики для “zero-trust” развертываний и аутентификации устройств и данных, которые могут вместить триллионы датчиков и генераторов событий.

Что мотивировало вас присоединиться к инициативам NIST по ИИ, и как ваше участие способствует разработке надежных и безопасных стандартов ИИ?

NIST имеет огромный опыт и успех в разработке стандартов и лучших практик в области безопасных систем. Как основной исследователь US AISIC из Intertrust, я могу отстаивать важные стандарты и лучшие практики в разработке систем управления доверием, которые включают ИИ-механизмы. По моему предыдущему опыту я особенно ценю подход, который NIST использует для содействия творчеству, прогрессу и промышленному сотрудничеству, помогая формулировать и пропагандировать важные технические стандарты, которые способствуют совместимости. Эти стандарты могут стимулировать принятие полезных технологий, решая при этом риски, с которыми сталкивается общество.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Intertrust.