Джонатан Мортенсен, Основатель и Генеральный Директор Confident Security – Интервью

Джонатан Мортенсен, Основатель и Генеральный Директор Confident Security, в настоящее время руководит разработкой гарантированно приватных систем ИИ для отраслей с жесткими требованиями безопасности и соответствия. Он также является Основателем и Феллоу в South Park Commons, где он исследует будущее вычислений ИИ, памяти, приватности и собственности. До основания Confident Security он был Старшим Инженером-программистом в Databricks, где интегрировал технологию bit.io в платформу данных с фокусом на многопользовательской безопасности, IAM/ACL, изоляции VPC, шифровании и владении данными. Ранее он основал и был Техническим Директором bit.io, создавая многооблачную, многорегиональную серверную службу PostgreSQL, которая поддерживала сотни тысяч безопасных баз данных и была позже приобретена Databricks.

Confident Security строит инфраструктуру, которая позволяет предприятиям запускать рабочие процессы ИИ без раскрытия конфиденциальной информации. Ее платформа разработана так, чтобы подсказки, данные и выходные данные модели оставались полностью приватными, никогда не регистрировались и никогда не повторно использовались, давая организациям безопасный способ принятия ИИ при соблюдении строгих нормативных и соответствующих стандартов.

Вы основали Confident Security в 2024 году после создания bit.io и работы в Databricks. Что вызвало осознание того, что ИИ нуждается в фундаментально другом подходе к приватности?

Мой опыт в создании инфраструктуры данных научил меня этому: если люди вводят конфиденциальную информацию в систему, доверие недостаточно. Им нужны доказательства. Мы построили инфраструктуру, где клиенты владели своими данными, и мы дали им способы проверить это.

Когда я посмотрел, как компании используют большие языковые модели, я понял, что таких доказательств не существует. Сотрудники вставляли исходный код, юридические документы и медицинские записи в модели, управляемые третьими лицами, которые они не могли проверить. Мы уже видели случайные приватные разговоры, случайно индексированные в Интернете, и изменения политики, которые внезапно сделали разговоры обучающими данными по умолчанию. Это показало, насколько хрупка текущая модель приватности.

Если ИИ будет обрабатывать самую конфиденциальную информацию в мире, нам нужны гарантии, которые не зависят от доверия к внутренним обещаниям поставщика. Это то, что заставило меня основать Confident Security.

OpenPCC описывается как “Signal для ИИ”. Почему было важно, чтобы этот слой приватности был открытым, аттестуемым и интероперабельным с первого дня?

Шифрование от конца до конца не получило широкого распространения, пока не стало стандартом, который все могли принять. Мы хотим того же для приватности ИИ. Если только несколько компаний могут предложить реальные гарантии, то приватность не будет масштабироваться.

OpenPCC является открытым исходным кодом под лицензией Apache 2.0, поэтому любой может построить на нем или проверить его. Нет секретного требования доверия. Аттестация оборудования обеспечивает криптографические доказательства о том, что запускается и где. И мы сделали так, чтобы это работало где угодно: любой облако, любой поставщик моделей, любой стек разработчика.

Есть огромная ценность в приватном фундаменте, который последовательный и универсальный. Если вы используете OpenPCC, вы знаете, что ваши данные не видны поставщикам моделей, регулирующим органам или даже нам. Стандарт работает только в том случае, если вся экосистема может участвовать, поэтому мы разработали его так, чтобы он был как можно более инклюзивным с первого дня.

До Confident Security вы строили крупномасштабные системы для многопользовательской среды, шифрования и владения данными. Как эти опыт повлияли на архитектуру OpenPCC?

Эти системы укрепили две истины: если система может сохранить данные, в конечном итоге она это сделает, будь то через журналы, неправильную конфигурацию или юридические запросы. И доверие не является моделью приватности. Пользователям нужна видимость и контроль.

OpenPCC работает в безсостоянии, поэтому подсказки исчезают после обработки. Аттестация позволяет пользователям проверить, куда направлены их данные и какой код запускается. И, изолируя контроль от данных, OpenPCC предотвращает обработку приватных входных данных как исполняемых инструкций.

Эти ограничения – это то, чего ждали предприятия: гарантии, что данные не появятся где-то неожиданно.

Вы утверждали, что большинство “приватных ИИ” решений полагаются на доверие к не透рачным системам. Почему независимая верификация необходима для истинной приватности?

Большинство языков приватности сегодня по сути говорят “просто доверяйте нам”. Это не достаточно, когда на кону стоят национальная безопасность и регулируемые данные здравоохранения. Если пользователь не может проверить заявление, оно не является гарантией – это маркетинг.

Верифицируемая приватность отличается. Вы не доверяете намерениям оператора. Вы проверяете оборудование, образ программного обеспечения и гарантии обработки данных. Криптография обеспечивает границы. Журналы не существуют, чтобы кто-то мог случайно утечь или получить повестку.

Когда приватность проверяется пользователем, вы создаете фундаментально более безопасную систему. Это подотчетность, основанная на математике.

Объявление Google (GOOGL ) о “Приватном ИИ” появилось вскоре после OpenPCC. Вы публично бросили им вызов предоставить ТПУ для независимого тестирования. Что мотивировало этот вызов, и что вы ожидали найти?

Чтобы заявить о гарантиях приватности, вы должны позволить сообществу проверить их. NVIDIA (NVDA ) уже позволяет внешнюю проверку на своих ГПУ H100, и мы даже открыли исходный код их библиотеки аттестации на Go, чтобы поощрить принятие.

Если Google хочет сделать подобные обещания на ТПУ, мы должны быть в состоянии измерить и проверить эти обещания, а не просто прочитать о них в блог-посте. Мы бы искали те же контроли, которые мы ожидаем от любой системы приватности: строгие границы сохранения данных, проверяемую аттестацию и нет секретных путей, где журналы или телеметрия могут вырваться. Заявления о приватности должны выдержать проверку.

Для читателей, незнакомых с механикой, что делает полностью зашифрованные каналы OpenPCC khácными от традиционного шифрования на стороне клиента или конфиденциального вычисления?

Шифрование на стороне клиента защищает данные на входе, а конфиденциальное вычисление защищает их во время обработки, но все еще есть пробелы до и после, где операторы или атакующие могут получить доступ к конфиденциальной информации.

OpenPCC закрывает эти пробелы. Он создает запечатанный путь от конца до конца между клиентом и моделью, который защищает подсказку, ответ, идентификатор пользователя и даже метаданные или сигналы времени, которые могут тихо раскрыть намерение. Операторы не могут расшифровать ничего. Ничто не регистрируется или сохраняется, даже в условиях нарушения.

Приватность не должна зависеть от надежды на то, что поставщик сделает правильное дело за кулисами. Это должно быть обеспечено криптографически.

Как верифицируемая приватность меняет уравнение для регулируемых отраслей, таких как финансы, здравоохранение и оборона?

Регулируемые отрасли имеют больше всего, чтобы получить от ИИ, но также больше всего, чтобы потерять, если что-то утечет. Сегодня 78% сотрудников вставляют внутренние данные в инструменты ИИ, и в одном из пяти случаев включена регулируемая информация, такая как PHI или PCI. Утечка уже происходит.

Верифицируемая приватность удаляет самый большой блокатор. Конфиденциальные подсказки никогда не существуют в открытом тексте в среде поставщика модели. Ничто не может быть использовано для обучения. Даже законные запросы не могут получить доступ к тому, что система сама не может видеть.

Команды риска и соответствия наконец имеют путь, где “да” становится значением по умолчанию вместо “нет”.

Каковы были самые большие инженерные проблемы в проектировании облачного агностического слоя приватности, который работает на любой корпоративной структуре?

Конфиденциальное вычисление и удаленная аттестация все еще находятся в младенчестве, на мой взгляд. Каждый облачный поставщик и поставщик голого металла делает что-то немного по-другому. Некоторые поставщики, такие как AWS, не имеют необходимого оборудования, чтобы сделать это. Итак, каждая функция, которую мы добавляем, – это как 1000 порезов и ходьба по натянутому канату. Но вся цель – стать открытым стандартом, поэтому нам нужно сделать это так, чтобы это работало для любого облака. Это открытое программное обеспечение, поэтому я призываю всех добавить еще больше поддерживаемых платформ и конфигураций!

Как выглядит мир с приватностью по умолчанию, и как он может изменить баланс сил между предприятиями, облачными поставщиками и поставщиками моделей?

Предприятия сохраняют контроль над своим самым ценным активом: своими данными. Поставщики моделей конкурируют на основе производительности и стоимости, а не на основе того, кто может накопить больше проприетарной информации. Облака обеспечивают приватность вместо того, чтобы быть молчаливыми наблюдателями ее.

Это более здоровый баланс сил. И вся экосистема выигрывает, когда безопасность встроена в основу вместо того, чтобы быть заплаткой сверху.

В будущем, где ИИ становится повсеместным и сильно регулируемым, как вы видите верифицируемую приватность, меняющую конкурентную ландшафт для предприятий, облачных поставщиков и разработчиков моделей?

Регуляторы уже ставят под сомнение, как хранятся и используются данные пользователей. Приватность, основанная на доверии, не удовлетворит их надолго. Пользователи будут ожидать гарантий приватности так же, как они ожидают шифрования в приложениях для обмена сообщениями сегодня.

Победителями будут компании, которые не просят пользователей идти на компромисс. Если вы можете доказать приватность, вы заслуживаете доверие организаций, которые имеют самые ценные данные в мире. Данные становятся доступными в местах, где они были заблокированы.

Спасибо за отличное интервью. Читателям, которые хотят узнать больше, следует посетить Confident Security.