Как объяснимый ИИ повышает надежность и достоверность

По мере того, как искусственный интеллект (ИИ) становится более распространенным в предприятиях, он медленно встраивается в ткань нашей жизни. Одним из важных аспектов этой демократизации является то, что конечные пользователи должны иметь возможность полностью понять процесс и механизмы, которые ИИ использует для достижения вывода или того, как он работает для получения желаемых результатов. Как люди, у нас есть глубоко укоренивая потребность раскрыть “почему” и “как” любого явления, что ускорило наш технологический прогресс. В контексте ИИ это понимание называется “объяснимостью”.

Почему объяснимость является необходимой в настоящее время?

Часто мы подходим к ИИ как к “черному ящику”, где у нас есть только знание входных и выходных данных, но где-то процессы, используемые для этого, теряются для нас. Усиливая эту проблему, является тот факт, что алгоритмы, которые обеспечивают большинство популярных форм ИИ, такие как сложные системы прогнозирования на основе глубокого обучения и обработки естественного языка (NLP), являются высокоабстрактными даже для их наиболее опытных практиков.

Доверие и прозрачность: Чтобы пользователи доверяли прогнозам ИИ, он должен иметь некоторый уровень объяснимости. Например, если медицинский работник должен рекомендовать лечение на основе прогнозов ИИ, он должен быть уверен в прогнозе. Банк должен иметь полную уверенность в решении о拒ке или одобрении кредита и иметь возможность оправдать это решение всем заинтересованным сторонам. ИИ, используемый для отбора и найма, должен доказать, что лежащие в основе механизмы справедливы и равноправны для всех групп заявителей.

Делает ИИ более человечным и увеличивает его принятие: В отчете McKinsey “Состояние ИИ в 2020 году” мы узнаем, что производитель использует очень прозрачные модели для принятия решений на своих фабриках, где работники должны доверять суждениям, принимаемым ИИ, касающимся их безопасности. Для быстрого принятия ИИ получение согласия заинтересованных сторон является основным препятствием для масштабирования от простых решений до уровня предприятия и получения максимальной пользы от инвестиций. Это облегчается в значительной степени, если производительность объяснима более широкой аудитории. С бизнес-перспективы объяснимость повышает общий пользовательский опыт и увеличивает удовлетворенность клиентов. Согласно результатам опроса IBM Institute for Business Value, 68 процентов лучших руководителей считают, что клиенты будут требовать больше объяснимости от ИИ в течение следующих трех лет.

Раскрытие предубеждений и улучшение производительности модели: Разработчик должен знать, как улучшить производительность модели и как отладить и настроить ее. Ясная структура объяснимости является одним из наиболее важных инструментов для проведения тщательного анализа, который необходим.

Получение более точных и полных выводов: Полный 360-градусный обзор необходим для полного понимания любых рекомендаций, сделанных ИИ. Например, если ИИ используется для принятия инвестиционных решений, также необходимо знать обоснование этого решения, чтобы передать это обучение в другие области и понять потенциальные недостатки принятия этого решения. Хорошее понимание того, как работает ИИ, также позволит лицам, принимающим решения, раскрыть новые варианты использования.

Регуляции и подотчетность: Несколько регуляций, таких как GDPR, требуют права на объяснение для решения проблем подотчетности, возникающих из автоматического процесса принятия решений. В системах, таких как автономные транспортные средства, если что-то идет не так, что приводит к гибели людей и ущербу имуществу, необходимо иметь полное представление о коренной причине, которое будет трудно определить в системе “черного ящика”.

Как ИИ может быть более объяснимым?

Объяснимые системы искусственного интеллекта (XAI) разрабатываются с использованием различных методов, которые фокусируются либо на объяснении модели в целом, либо на объяснении рассуждений, лежащих в основе отдельных прогнозов, с помощью некоторого алгоритма.

Большинство методов объяснимости полагаются на:

• Разделение модели на отдельные компоненты)
• Визуализацию прогнозов модели (например, если модель классифицирует автомобиль как принадлежащий к определенному бренду, она выделяет часть, которая привела к такому флагу)
• Майнинг объяснений (использование методов машинного обучения для нахождения соответствующих данных, которые объясняют прогноз алгоритма искусственного интеллекта).

В одном из таких методов, называемом прокси-моделированием, используется более простая и понятная модель, такая как дерево решений, для приблизительного представления более сложной модели ИИ. Эти упрощенные объяснения дают представление о модели на высоком уровне, но иногда могут подавлять определенные нюансы.

Другой подход называется “интерпретируемостью по конструкции”. Этот подход накладывает ограничения на проектирование и обучение сети ИИ в новом стиле, который пытается построить всю сеть из более мелких и более объяснимых фрагментов. Это предполагает компромисс между уровнем точности и объяснимостью и ограничивает определенные подходы из набора инструментов данных. Это также может быть высокоинтенсивным для вычислений.

Обучение и тестирование ИИ также могут использовать агностические методы верификации данных, такие как локальная интерпретируемая модель (LIME) и аддитивные объяснения Шэпли (SHAP), и они должны быть адаптированы для достижения высокой точности с помощью метрик, таких как F-мера, точность и другие. И, конечно, все результаты должны быть контролируемы и проверены с помощью широкого спектра данных. Используя LIME, например, организации могут создавать временные модели, которые имитируют прогнозы непрозрачных алгоритмов, таких как машинное обучение. Эти модели LIME могут затем создавать широкий спектр пермутаций на основе заданного набора данных и его соответствующего вывода, который может быть использован для обучения простых и более интерпретируемых моделей вместе с полными списками объяснений для каждого решения и/или прогноза. Фреймворк SHAP, который основан на теории игр и, в частности, на кооперативной теории игр, является моделью, которая объединяет оптимальное распределение кредитов с локальными объяснениями с помощью исходных значений Шэпли из теории игр и их потомков.

Принципиальные операции

На более стратегическом уровне, однако, рамки надежности ИИ должны включать широкий набор принципов, направленных на обеспечение правильных результатов как в начале развертывания, так и со временем, когда модели эволюционируют в присутствии меняющихся обстоятельств. Как минимум, эти рамки должны включать такие вещи, как:

• Обнаружение предубеждений – все наборы данных должны быть очищены от предубеждений и дискриминационных атрибутов и затем даны правильный вес и усмотрение при применении к обучающей модели;
• Участие человека – операторы должны иметь возможность расследовать и интерпретировать выходные данные алгоритмов в любое время, особенно когда модели используются для правоохранительных органов и сохранения гражданских свобод;
• Обоснование – все прогнозы должны быть в состоянии выдержать проверку, что по своей природе требует высокого уровня прозрачности, чтобы позволить внешним наблюдателям оценить процессы и критерии, используемые для получения результатов;
• Повторяемость – надежные модели ИИ должны быть последовательными в своих прогнозах и должны демонстрировать высокие уровни стабильности при встрече с новыми данными.

Но XAI не должен рассматриваться только как средство для улучшения прибыльности, но и для обеспечения подотчетности, чтобы гарантировать, что учреждения могут объяснить и оправдать влияние своих творений на общество в целом.