Что такое объяснимый ИИ?

По мере того, как искусственный интеллект (ИИ) становится все более сложным и широко применяется в обществе, одним из наиболее важных наборов процессов и методов является объяснимый (ИИ), иногда называемый XAI. 

Объяснимый ИИ можно определить как:

• Набор процессов и методов, которые помогают пользователям понимать результаты алгоритмов машинного обучения и доверять им. 

Как вы можете догадаться, эта объяснимость невероятно важна, поскольку алгоритмы ИИ берут под свой контроль многие сектора, что сопряжено с риском предвзятости, ошибочных алгоритмов и других проблем. Достигнув прозрачности с объяснимостью, мир может по-настоящему использовать мощь ИИ. 

Объяснимый ИИ, как следует из названия, помогает описать модель ИИ, ее влияние и возможные предубеждения. Он также играет роль в характеристике точности модели, справедливости, прозрачности и результатов в процессах принятия решений на основе ИИ. 

Сегодняшние организации, управляемые ИИ, всегда должны внедрять объяснимые процессы ИИ, чтобы помочь укрепить доверие к моделям ИИ в производственной среде. Объяснимый ИИ также является ключом к тому, чтобы стать ответственной компанией в современной среде ИИ.

Поскольку современные системы искусственного интеллекта настолько продвинуты, люди обычно выполняют процесс вычислений, чтобы проследить, как алгоритм пришел к своему результату. Этот процесс становится «черным ящиком», то есть его невозможно понять. Когда эти необъяснимые модели разрабатываются непосредственно из данных, никто не может понять, что происходит внутри них. 

Понимая, как системы ИИ работают с помощью объяснимого ИИ, разработчики могут гарантировать, что система работает должным образом. Это также может помочь обеспечить соответствие модели нормативным стандартам и дает возможность оспорить или изменить модель. 

Изображение: доктор Мэтт Турек/DARPA

Различия между ИИ и XAI

Некоторые ключевые отличия помогают отделить «обычный» ИИ от объяснимого ИИ, но самое главное, XAI реализует специальные методы и методы, которые помогают гарантировать, что каждое решение в процессе машинного обучения прослеживается и объяснимо. Для сравнения, обычный ИИ обычно достигает своего результата с помощью алгоритма машинного обучения, но невозможно полностью понять, как алгоритм пришел к результату. В случае обычного ИИ крайне сложно проверить точность, что приводит к потере контроля, подотчетности и возможности аудита. 

Преимущества объяснимого ИИ 

У любой организации, желающей внедрить объяснимый ИИ, есть много преимуществ, например: 

• Более быстрые результаты: Объяснимый ИИ позволяет организациям систематически отслеживать модели и управлять ими для оптимизации бизнес-результатов. Можно постоянно оценивать и улучшать производительность модели и точно настраивать разработку модели.
  
• Снизить риски: Внедряя объяснимые процессы ИИ, вы гарантируете, что ваши модели ИИ объяснимы и прозрачны. Вы можете управлять нормативными требованиями, соответствием требованиям, рисками и другими требованиями, сводя к минимуму накладные расходы на ручную проверку. Все это также помогает снизить риск непреднамеренной предвзятости. 
• Завоевать доверие: Объяснимый ИИ помогает установить доверие к производственному ИИ. Модели ИИ можно быстро внедрить в производство, обеспечить интерпретируемость и объяснимость, а процесс оценки моделей можно упростить и сделать более прозрачным. 

Методы объяснимого ИИ

Есть несколько методов XAI, которые следует учитывать всем организациям, и они состоят из трех основных методов: точность предсказания, прослеживаемостькачества понимание решения. 

Первый из трех методов, точность предсказания, необходимо для успешного использования ИИ в повседневных операциях. Можно проводить моделирование, а выходные данные XAI можно сравнивать с результатами в наборе обучающих данных, что помогает определить точность прогноза. Один из наиболее популярных методов для достижения этого называется Local Interpretable Model-Agnostic Explanations (LIME), метод, который объясняет прогнозирование классификаторов алгоритмом машинного обучения. 

Второй способ - прослеживаемость, что достигается за счет ограничения способов принятия решений, а также установления более узкой области применения правил и функций машинного обучения. Одним из наиболее распространенных методов отслеживания является DeepLIFT, или важные функции глубокого обучения. DeepLIFT сравнивает активацию каждого нейрона с его эталонным нейроном, демонстрируя прослеживаемую связь между каждым активированным нейроном. Он также показывает зависимости между ними. 

Третий и последний способ понимание решения, который ориентирован на человека, в отличие от двух других методов. Понимание решений включает в себя обучение организации, особенно команды, работающей с ИИ, чтобы они могли понять, как и почему ИИ принимает решения. Этот метод имеет решающее значение для установления доверия к системе. 

Объяснимые принципы ИИ

Чтобы обеспечить лучшее понимание XAI и его принципов, Национальный институт стандартов (NIST), входящий в состав Министерства торговли США, дает определения четырех принципов объяснимого ИИ: 

1. Система ИИ должна предоставлять доказательства, поддержку или аргументацию для каждого результата. 
2. Система ИИ должна давать объяснения, понятные ее пользователям. 
3. Объяснение должно точно отражать процесс, используемый системой для получения результата. 
4. Система искусственного интеллекта должна работать только в тех условиях, для которых она была разработана, и не должна давать результат, если ей не хватает уверенности в результате. 

Эти принципы могут быть организованы еще дальше в: 

• Значимое: Чтобы реализовать принцип осмысленности, пользователь должен понять предоставленное объяснение. Это также может означать, что в случае использования алгоритма ИИ разными типами пользователей может быть несколько объяснений. Например, в случае с беспилотным автомобилем одно из объяснений может быть примерно таким: «ИИ классифицировал пластиковый пакет на дороге как камень и поэтому принял меры, чтобы не столкнуться с ним». Хотя этот пример будет работать для драйвера, он не будет очень полезен для разработчика ИИ, который хочет исправить проблему. В этом случае разработчик должен понять, почему произошла неправильная классификация. 
• Объяснение Точность: В отличие от точности вывода, точность объяснения предполагает, что алгоритм ИИ точно объясняет, как он достиг своего вывода. Например, если алгоритм одобрения кредита объясняет решение исходя из дохода заявителя, тогда как на самом деле оно основывалось на месте жительства заявителя, объяснение будет неточным. 
• Пределы знаний: Пределы знаний ИИ могут быть достигнуты двумя способами, и это связано с тем, что ввод данных выходит за рамки компетенции системы. Например, если система создана для классификации видов птиц и ей дается изображение яблока, она должна быть в состоянии объяснить, что входные данные не являются птицей. Если система получает размытое изображение, она должна быть в состоянии сообщить, что не может идентифицировать птицу на изображении или, наоборот, что ее идентификация имеет очень низкую достоверность. 

Роль данных в объяснимом ИИ

Одним из важнейших компонентов объяснимого ИИ являются данные. 

По Google, что касается данных и объяснимого ИИ, «система ИИ лучше всего понимается по базовым обучающим данным и процессу обучения, а также по результирующей модели ИИ». Это понимание зависит от способности сопоставить обученную модель ИИ с точным набором данных, который использовался для ее обучения, а также от возможности внимательно изучить данные. 

Чтобы повысить объяснимость модели, важно обратить внимание на обучающие данные. Команды должны определить происхождение данных, используемых для обучения алгоритма, законность и этичность их получения, любую потенциальную погрешность в данных и то, что можно сделать, чтобы смягчить такую ​​погрешность. 

Еще одним важным аспектом данных и XAI является то, что данные, не относящиеся к системе, должны быть исключены. Для этого ненужные данные не должны быть включены в обучающий набор или входные данные. 

Google рекомендовал ряд методов для достижения интерпретируемости и подотчетности: 

• Планируйте свои варианты, чтобы добиваться интерпретируемости
• Относитесь к интерпретируемости как к основной части пользовательского опыта.
• Спроектируйте модель так, чтобы ее можно было интерпретировать
• Выберите метрики, чтобы отразить конечную цель и конечную задачу
• Понимание обученной модели
• Объяснение пользователям модели
• Проведите множество тестов, чтобы убедиться, что система ИИ работает должным образом. 

Следуя этим рекомендуемым практикам, ваша организация может обеспечить создание объяснимого ИИ, что является ключевым фактором для любой организации, работающей на основе ИИ, в современной среде.