Представляем новые уровни прозрачности с помощью ИИ – лидеры мнений

Балакришна Д Р, старший вице-президент, руководитель предложения услуг – Энергетика, Связь, Услуги и услуги ИИ и автоматизации, в Infosys.

9 января 2020 года Всемирная организация здравоохранения уведомила общественность об вспышке коронавируса в Китае. За три дня до этого Центры по контролю и профилактике заболеваний в США уже распространили информацию. Однако канадская платформа мониторинга здоровья BlueDot опередила их, отправив уведомление о вспышке своим клиентам уже 31 декабря 2019 года! Эта платформа использует алгоритмы, основанные на искусственном интеллекте, которые анализируют иностранные новостные репортажи, сети заболеваний животных и растений, а также официальные заявления, чтобы предупредить клиентов о потенциальных опасностях, таких как зона вокруг Уханя.

За последние несколько лет искусственный интеллект стал ключевым источником трансформации, нарушения и конкурентного преимущества в быстро меняющейся экономике. От отслеживания эпидемий до обороны, здравоохранения, автономных транспортных средств и всего, что между ними, ИИ получает широкое распространение. PwC прогнозирует, что ИИ может внести вклад до 15,7 триллионов долларов в глобальную экономику к 2030 году при текущих темпах роста.

Однако, несмотря на все надежды, которые приносит ИИ, он все еще вызывает неразрешенные вопросы о прозрачности и доверии. Необходимо понять, предсказать и доверять способности ИИ принимать решения, особенно в областях, критически важных для жизни, смерти и личного благополучия.

В неизвестность

Когда были впервые введены автоматические системы рассуждения для поддержки принятия решений, они полагались на手опильные правила. Это делало их легко интерпретируемыми, а также модифицируемыми, но они не были масштабируемыми. Модели, основанные на машинном обучении, появились для удовлетворения этой потребности; они не требовали человеческого вмешательства и могли обучаться на данных – чем больше, тем лучше. Хотя модели глубокого обучения непревзойденны в их способности моделирования и области применения, тот факт, что эти модели в основном являются черными ящиками, вызывает тревожные вопросы относительно их достоверности, надежности и предвзятости в контексте их широкого использования.

В настоящее время нет прямого механизма для отслеживания рассуждений, используемых моделями глубокого обучения. С моделями машинного обучения, имеющими черный ящик, основным типом объяснимости является пост-фактум объяснимость, подразумевающая, что объяснения выводятся из природы и свойств выходных данных, сгенерированных моделью. Ранние попытки извлечения правил из нейронных сетей (как ранее называлось глубокое обучение) в настоящее время не проводятся, поскольку сети стали слишком большими и разнообразными для извлечения правил. Следовательно, существует срочная необходимость ввести интерпретируемость и прозрачность в саму ткань моделирования ИИ.

Выход из ночи, вход в свет

Эта проблема создала потребность в прозрачности машинного обучения, что привело к росту объяснимого ИИ, или XAI. Он стремится решить основные проблемы, которые препятствуют нашему доверию к процессу принятия решений ИИ, включая предвзятость и прозрачность. Эта новая область ИИ обеспечивает подотчетность, чтобы гарантировать, что ИИ приносит пользу обществу с лучшими результатами для всех участников.

XAI будет критически важен для решения проблемы предвзятости, присущей системам и алгоритмам ИИ, которые запрограммированы людьми, чьи背景 и опыт непреднамеренно приводят к разработке систем ИИ, демонстрирующих предвзятость. Нежелательные предвзятости, такие как дискриминация по отношению к определенной национальности или этнической группе, могут проникнуть, потому что система присваивает значение на основе реальных данных. Например, может быть обнаружено, что типичные дефолтные заемщики происходят из определенного этнического происхождения, однако реализация любых ограничительных политик на основе этого может быть против несправедливых практик. Неправильные данные являются еще одной причиной предвзятости. Например, если определенный сканер распознавания лиц точен только на 95% из-за оттенка кожи или освещения лица, это может ввести предвзятость. Наконец, если ваши образцы данных не являются истинным представлением всей популяции, предвзятость неизбежна.

XAI направлен на решение вопроса о том, как принимаются решения системами ИИ. Он проверяет и пытается понять шаги и модели, участвующие в принятии решений. Он отвечает на важные вопросы, такие как: Почему система ИИ сделала определенный прогноз или решение? Почему система ИИ не сделала что-то другое? Когда система ИИ преуспела или потерпела неудачу? Когда системы ИИ дают достаточно уверенности в решении, чтобы доверять ему, и как система ИИ может исправить ошибки?

Объяснимый, предсказуемый и прослеживаемый ИИ

Одним из способов получить объяснимость в системах ИИ является использование алгоритмов машинного обучения, которые по своей природе объяснимы. Например, более простые формы машинного обучения, такие как деревья решений, байесовские классификаторы и другие алгоритмы, которые имеют определенные уровни прослеживаемости и прозрачности в процессе принятия решений. Они могут обеспечить необходимую видимость для критических систем ИИ без значительной жертвы производительности или точности.

Обратив внимание на необходимость обеспечить объяснимость для глубокого обучения и других более сложных алгоритмических подходов, Управление перспективных исследований и разработок Министерства обороны США (DARPA) проводит усилия по созданию объяснимых решений ИИ посредством финансируемых исследовательских инициатив. DARPA описывает объяснимость ИИ в трех частях, которые включают: точность прогнозирования, что означает, что модели объясняют, как выводятся заключения для улучшения принятия решений в будущем; понимание решений и доверие со стороны человеческих пользователей и операторов, а также прослеживаемость действий, предпринимаемых системами ИИ.

Прослеживаемость позволит людям входить в циклы принятия решений ИИ и иметь возможность остановить или контролировать его задачи, когда это необходимо. Система ИИ ожидается не только выполнить определенные задачи или наложить решения, но и предоставить прозрачный отчет о том, почему она приняла определенные решения, с соответствующей аргументацией.

Стандартизация алгоритмов или даже подходов XAI в настоящее время невозможна, но, возможно, можно будет стандартизировать уровни прозрачности/уровни объяснимости. Организации по стандартизации пытаются прийти к общим, стандартным пониманиям этих уровней прозрачности, чтобы облегчить коммуникацию между конечными пользователями и технологическими поставщиками.

По мере того, как правительства, учреждения, предприятия и общественность все больше полагаются на системы, основанные на ИИ, завоевание их доверия посредством более прозрачного процесса принятия решений будет фундаментальным. Запуск первого глобального конференции, посвященной исключительно XAI, Международной совместной конференции по искусственному интеллекту: семинару по объяснимому искусственному интеллекту, является дальнейшим доказательством того, что эпоха XAI наступила.