Что такое дифференциальная приватность? Защита персональных данных в машинном обучении

Дифференциальная приватность — это математическая модель, которая ограничивает изменение результата алгоритма при добавлении или удалении записи любого одного человека.

Дифференциальную приватность важно объяснять точно: это понятие обозначает конкретный поток информации, решение, связанное с обучением, механизм, работающий во время выполнения, или границу управления. Если считать его синонимом «продвинутого ИИ», утверждения о нём невозможно проверить. В этом руководстве мы проследим путь от входных данных и допущений до наблюдаемого результата, а затем разберём упрощённое объяснение, которое чаще всего принимают за дифференциальную приватность.

Дифференциальная приватность: определение, границы и назначение

Дифференциальная приватность — это математическая модель, которая ограничивает изменение результата алгоритма при добавлении или удалении записи любого одного человека. В определении заложены три практических обязательства: наличие определённого входа, преобразования или решения, характерного для дифференциальной приватности, и результата, который можно оценить относительно заявленной цели. Если какого-либо из этих элементов нет, это понятие может описывать стремление, а не реализованный механизм.

Для заслуживающего доверия ИИ необходимы свидетельства на всех этапах жизненного цикла. Мера контроля имеет смысл лишь тогда, когда чётко определены ответственный за неё, область применения, условие срабатывания, ожидаемое поведение и способ проверки. В случае дифференциальной приватности такой системный подход важен, поскольку на результат могут влиять окружающие данные, интерфейсы, оборудование, права доступа и люди, даже если сама модель не меняется. Поэтому полезно отделять усвоенное моделью поведение от продукта, который определяет, когда, где и с какими полномочиями оно применяется.

Ближайшее к дифференциальной приватности, но вводящее в заблуждение упрощение — обычная анонимизация, при которой удаляются имена, но сохраняются закономерности, позволяющие связать данные с конкретными людьми. Внешне она может иметь общий признак с дифференциальной приватностью, однако причинно-следственная картина будет иной: для подтверждения успеха потребуются другие свидетельства, на затраты будут сильнее влиять другие ресурсы, а для предотвращения вреда понадобятся другие меры контроля. Поэтому граница между ними определяется практикой, а не терминологией.

Пять этапов работы дифференциальной приватности

Диаграмма представляет собой компактную причинно-следственную схему дифференциальной приватности, а не утверждение о том, что в каждой реализации используются пять программных компонентов. В одних системах несколько этапов объединены, в других они повторяются циклически. Эта схема полезна тем, что требует назначить ответственного за каждое изменение информации или полномочий, а также определить входные данные, результат и способ проверки.

1. Определить соседние наборы данных и защищаемую единицу: входные данные и допущения в дифференциальной приватности

На этом этапе дифференциальной приватности система должна определить соседние наборы данных и защищаемую единицу. Важно спросить не только, выполняется ли эта операция, но и какие данные она использует, какое состояние изменяет и какие свидетельства подтверждают обоснованность этого изменения. Проверяющий должен иметь возможность отличить эту операцию от обычной анонимизации, при которой удаляются имена, но сохраняются закономерности, позволяющие связать данные с конкретными людьми, а также воспроизвести результат при тех же заявленных условиях.

Передача данных на этот этап дифференциальной приватности начинается с заявленной цели и должна завершаться результатом, который позволит выбрать механизм и бюджет приватности. Зафиксируйте неопределённость, отвергнутые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этой границе. По этим записям команды могут определить, не ослабляет ли недостаточное количество шума приватность и не уничтожает ли чрезмерное полезность, а также как бюджеты суммируются со временем — прежде чем та же слабость повлияет на значимый результат.

2. Выбрать механизм и бюджет приватности: представление или решение в дифференциальной приватности

На этом этапе дифференциальной приватности система должна выбрать механизм и бюджет приватности. Важно спросить не только, выполняется ли эта операция, но и какие данные она использует, какое состояние изменяет и какие свидетельства подтверждают обоснованность этого изменения. Проверяющий должен иметь возможность отличить эту операцию от обычной анонимизации, при которой удаляются имена, но сохраняются закономерности, позволяющие связать данные с конкретными людьми, а также воспроизвести результат при тех же заявленных условиях.

Передача данных на этом этапе дифференциальной приватности начинается с определения соседних наборов данных и защищаемой единицы и должна завершаться результатом, позволяющим при необходимости ограничить вклад отдельного участника. Фиксируйте неопределённость, отвергнутые альтернативы, использование ресурсов и любые меры контроля со стороны человека или программного обеспечения, применённые на этом этапе. По этим записям команды могут определить, не ослабляет ли слишком малый шум защиту приватности и не снижает ли слишком большой шум полезность результатов; кроме того, бюджеты приватности накапливаются со временем, и та же уязвимость может затронуть значимый результат.

3. Ограничение вклада отдельного участника при необходимости: характерное преобразование в дифференциальной приватности

На этом этапе дифференциальной приватности система должна при необходимости ограничить вклад отдельного участника. Важно не только то, выполняется ли эта операция, но и то, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают правильность этого изменения. Проверяющий должен уметь отличить эту операцию от простого обезличивания, при котором имена удаляются, но сохраняются закономерности, позволяющие связать данные между собой, а также воспроизвести её результат при тех же заявленных условиях.

Передача данных на этом этапе дифференциальной приватности начинается с выбора механизма защиты приватности и бюджета и должна завершаться результатом, на основе которого можно добавить откалиброванную случайность. Фиксируйте неопределённость, отвергнутые альтернативы, использование ресурсов и любые меры контроля со стороны человека или программного обеспечения, применённые на этом этапе. По этим записям команды могут определить, не ослабляет ли слишком малый шум защиту приватности и не снижает ли слишком большой шум полезность результатов; кроме того, бюджеты приватности накапливаются со временем, и та же уязвимость может затронуть значимый результат.

4. Добавление откалиброванной случайности: ограничение и граница проверки в дифференциальной приватности

На этом этапе дифференциальной приватности система должна добавить откалиброванную случайность. Важно не только то, выполняется ли эта операция, но и то, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают правильность этого изменения. Проверяющий должен уметь отличить эту операцию от простого обезличивания, при котором имена удаляются, но сохраняются закономерности, позволяющие связать данные между собой, а также воспроизвести её результат при тех же заявленных условиях.

Передача данных на этом этапе дифференциальной приватности начинается с ограничения вклада отдельного участника при необходимости и должна завершаться результатом, на основе которого можно учитывать совокупную потерю приватности при повторных публикациях. Фиксируйте неопределённость, отвергнутые альтернативы, использование ресурсов и любые меры контроля со стороны человека или программного обеспечения, применённые на этом этапе. По этим записям команды могут определить, не ослабляет ли слишком малый шум защиту приватности и не снижает ли слишком большой шум полезность результатов; кроме того, бюджеты приватности накапливаются со временем, и та же уязвимость может затронуть значимый результат.

5. Учёт совокупной потери приватности при повторных публикациях: результат, обратная связь и правило остановки в дифференциальной приватности

На этом этапе дифференциальной приватности система должна учитывать совокупную потерю приватности при повторных публикациях. Важно не только то, выполняется ли эта операция, но и то, какую информацию она использует, какое состояние изменяет и какие свидетельства подтверждают правильность этого изменения. Проверяющий должен уметь отличить эту операцию от простого обезличивания, при котором имена удаляются, но сохраняются закономерности, позволяющие связать данные между собой, а также воспроизвести её результат при тех же заявленных условиях.

Передача данных на этом этапе дифференциальной приватности начинается с добавления откалиброванной случайности и должна завершаться результатом, на основе которого можно вести мониторинг или принимать окончательное решение. Фиксируйте неопределённость, отвергнутые альтернативы, использование ресурсов и любые меры контроля со стороны человека или программного обеспечения, применённые на этом этапе. По этим записям команды могут определить, не ослабляет ли слишком малый шум защиту приватности и не снижает ли слишком большой шум полезность результатов; кроме того, бюджеты приватности накапливаются со временем, и та же уязвимость может затронуть значимый результат.

Читайте схему дифференциальной приватности в прямом направлении, чтобы понять, как она работает в промышленной эксплуатации, а в обратном — чтобы диагностировать сбои. При прямом анализе выясняют, как каждый этап обеспечивает следующий. Обратный анализ начинается с неверного, медленного, дорогостоящего или небезопасного результата и позволяет проследить, какое допущение на более раннем этапе привело к нему. Часто именно при таком обратном анализе команда обнаруживает, что решающая ошибка произошла ещё до того, как модель выдала хоть какой-то результат.

Пример дифференциальной приватности с разбором

Сервис статистики может публиковать тенденции среди населения, ограничивая при этом сведения, которые наблюдатель может вывести об одном участнике.

Этот пример показателен, потому что дифференциальную приватность можно оценивать по наблюдаемым входным данным, промежуточным состояниям и результату, а не по впечатлению от отточенной демонстрации. Для строгой проверки следует подготовить обычные, сложные и намеренно вводящие в заблуждение сценарии на основе этого примера, сохранить исходный вариант без применения этой технологии и зафиксировать как среднюю производительность, так и тяжесть отдельных сбоев.

Измените одно допущение в примере с дифференциальной приватностью и повторите анализ. Удалите обязательный входной параметр, добавьте противоречащий сигнал, ограничьте вычислительные ресурсы, измените состав пользователей или заставьте систему воздержаться от ответа. Если механизм работает только в одной тщательно подготовленной демонстрации, это ещё не доказывает, что он будет обобщаться на условия реальной эксплуатации.

Дифференциальная приватность и самый распространённый обходной приём

Дифференциальную приватность часто сводят к простой анонимизации: имена удаляют, но сохраняют закономерности, позволяющие связать данные. Такое упрощение стирает саму границу, определяющую это понятие. Из-за этого покупатели могут сравнивать несопоставимые продукты, исследователи — преувеличивать значение результатов эксперимента, а специалисты, отвечающие за эксплуатацию, — отслеживать не те показатели после внедрения.

При сравнении следует также указывать единицу анализа. В исследовании дифференциальной приватности объектом изучения может быть отдельная модель или алгоритм, тогда как развернутый сервис включает поиск, маршрутизацию, кэширование, политики, идентификацию, пользовательские интерфейсы и мониторинг. Два продукта могут использовать один и тот же термин в заголовке, но реализовывать разные компоненты этого стека. Уточните, какой компонент выполняет определяющее преобразование и какие другие компоненты необходимы для заявленного результата.

Почему дифференциальная приватность важна для современных систем ИИ

Дифференциальная приватность важна сегодня, поскольку системам ИИ предоставляют более широкий контекст, больше модальностей, больше вычислительных ресурсов во время работы, более широкий доступ к инструментам и более тесную связь с организационными решениями. В таких условиях то, что раньше казалось нюансом исследовательской работы, может определять задержку, безопасность, доступность, экологические издержки, качество продукта или юридическую ответственность.

Важно не то, может ли дифференциальная приватность дать один впечатляющий результат. Важно, улучшает ли этот метод значимый результат в репрезентативных условиях и делает ли это эффективнее, чем более простой базовый метод. Вместо того чтобы сводить все результаты к одному среднему значению, сообщайте о распределениях, категориях сбоев, задержке на верхних перцентилях, использовании ресурсов и затронутых подгруппах.

Отслеживайте как технические показатели, так и влияние на людей. Документируйте неопределенность, сохраняйте сведения о происхождении данных, предусматривайте возможность эскалации и разрабатывайте план восстановления до того, как система столкнется с меняющимися условиями реального мира. Если применять этот принцип именно к дифференциальной приватности, результаты можно будет использовать в других контекстах: другая команда сможет оценить, сохранится ли заявленный эффект при использовании иной модели, языка, аппаратной платформы, набора данных, пользовательской аудитории или уровня допустимого риска.

Преимущества, которые может дать дифференциальная приватность

Главная причина использовать дифференциальную приватность — возможность напрямую устранить проблему, для решения которой она предназначена. В зависимости от реализации ее преимущества могут выражаться в более точном обосновании ответов, более достоверном представлении данных, лучшей обобщающей способности, меньшей задержке, сокращении перемещения данных в памяти, большей прозрачности ответственности или более надежной границе между предложением модели и реальным действием.

Преимущества следует описывать через решения и измеримые показатели. «Более интеллектуальный» — не критерий приемки для дифференциальной приватности. Полезная целевая метрика может задавать частоту ошибок в сложных случаях, способность восстановиться после появления противоречивых данных, стоимость на определенном перцентиле нагрузки, время проверки человеком, калибровку или процент действий, остающихся в пределах установленных полномочий.

Сбой, определяющий дифференциальную приватность

Основное ограничение состоит в том, что слишком малый шум ослабляет приватность, а слишком большой лишает данные полезности; при этом бюджеты суммируются с течением времени. Этот риск нельзя считать чем-то второстепенным, о чем достаточно упомянуть после завершения разработки. Он должен с самого начала влиять на сбор данных, архитектуру, разрешения, оценку, условия выпуска и мониторинг системы дифференциальной приватности.

Мера контроля для дифференциальной приватности полезна только в том случае, если она срабатывает до того, как возникнут серьёзные или необратимые последствия. Определите самый ранний наблюдаемый признак сбоя, установите пороговое значение или правило, назначьте ответственного и проверьте возможность восстановления. В зависимости от сценария восстановление может означать отказ от выдачи результата, переход к более простой системе, запрос дополнительных данных, передачу вопроса человеку, откат модели или полную остановку действия.

План оценки дифференциальной приватности

Начните оценку дифференциальной приватности с формулировки решения, которое должны обосновать полученные данные. Определите целевую аудиторию, последствия ошибочного результата, информацию, фактически доступную в момент принятия решения, и наиболее простую заслуживающую доверия альтернативу. Это не позволит сделать тестовый набор целью лишь потому, что его легко запустить.

Используйте тестовую выборку, не задействованную ранее, для контролируемого сравнения, а затем проверьте дифференциальную приватность в поэтапно развёртываемой рабочей среде. Автономная оценка позволяет сравнивать варианты на равных; теневой режим, канареечное развёртывание, ограничение частоты запросов или этапы согласования показывают, как реальный трафик, циклы обратной связи и люди меняют поведение. Для этапа развёртывания следует заранее определить условие остановки, а не исходить из того, что любое улучшение заслуживает полного внедрения.

Зафиксируйте версии компонентов, необходимых для воспроизведения результатов дифференциальной приватности: исходных данных, этапа предварительной обработки, токенизатора или кодировщика, весов модели, конфигурации, запроса или политики, индекса поиска, набора для оценки, предположений об аппаратном обеспечении и кода обслуживания — в зависимости от применимости. Без отслеживания происхождения данных и компонентов команда не сможет определить, вызвано ли изменение результата применённым методом, средой или незамеченной правкой конвейера.

Наконец, определите, какие результаты опровергли бы утверждение о пользе дифференциальной приватности. Если никакие результаты не могут изменить решение о внедрении, то оценка превращается в маркетинг. Заранее установленные пороговые значения для принятия решения и сохранённая контрольная выборка превращают такую проверку в сбор доказательств.

Вопросы, которые следует задать перед внедрением дифференциальной приватности

• Цель: Какое измеримое узкое место призвана устранить дифференциальная приватность?
• Механизм: На каком из пяти этапов происходит характерное для этого метода преобразование?
• Базовый вариант: Как он сопоставляется с простым обезличиванием, при котором имена удаляются, но сохраняются данные, позволяющие связывать записи, или с другой, более простой альтернативой?
• Доказательства: Какие типичные, сложные, состязательные случаи и случаи, относящиеся к отдельным подгруппам, проверялись?
• Эксплуатация: Каковы затраты на задержку, память, вычислительные ресурсы, энергию, обслуживание и проверку при масштабировании?
• Риски: Как команда выявит, что слишком малый уровень шума ослабляет защиту конфиденциальности, а слишком большой снижает полезность, и что бюджеты суммируются со временем?
• Восстановление: Может ли система отказаться от выдачи результата, перейти к запасному варианту, выполнить откат или передать вопрос специалисту до того, как будет причинён вред?

Основные источники для изучения дифференциальной приватности

К авторитетным отправным источникам по компонентам стека ИИ, связанным с дифференциальной приватностью, относятся Структура управления рисками ИИ NIST, спецификации C2PA и Рамочная структура конфиденциальности NIST. Изучайте их вместе с документацией по конкретной модели, набору данных, аппаратному обеспечению и юрисдикции. Общий источник может описать механизм, но пригодность конкретной реализации можно установить только на основании данных, относящихся к её развёртыванию.

Что важно помнить о дифференциальной приватности

Дифференциальная приватность — это определённый механизм в составе более широкой социотехнической системы. Её ценность заключается в улучшении конкретного результата при явно заданных условиях, а не в самом названии. Схема из пяти этапов позволяет увидеть, как движется информация; сравнение показывает, чем этот подход не является; а схема контроля — где ответственный оператор может вмешаться.

Практическое правило применения дифференциальной приватности: определить цель, сравнить подход с заслуживающим доверия базовым вариантом, проверить наиболее значимый сценарий сбоя и сохранить данные, необходимые для отслеживания изменений. При наличии этих составляющих концепцию можно оценивать как инженерное и управленческое решение. Без них это лишь многообещающее название, за которым скрывается неизвестный эксплуатационный риск.