Приоритизация доверия к ИИ

Зависимость общества от приложений искусственного интеллекта (ИИ) и машинного обучения (МО) продолжает расти, переопределяя то, как потребляется информация. От чат-ботов, работающих на ИИ, до синтезов информации, созданных с помощью больших языковых моделей (БЯМ), общество имеет доступ к большему количеству информации и более глубоким прозрениям, чем когда-либо прежде. Однако, поскольку технологические компании спешат реализовать ИИ на протяжении всей своей цепочки создания стоимости, возникает критический вопрос. Можно ли действительно доверять выводам решений ИИ?

Можно ли действительно доверять выводам ИИ без количественной оценки неопределенности

Для заданного входного значения модель могла сгенерировать много других равно правдоподобных выводов. Это могло быть вызвано недостаточными данными для обучения, вариациями в данных для обучения или другими причинами. При развертывании моделей организации могут использовать количественную оценку неопределенности, чтобы предоставить своим конечным пользователям более четкое понимание того, насколько они должны доверять выводу модели ИИ/МО. Количественная оценка неопределенности – это процесс оценки того, какие другие выводы могли быть сгенерированы.

Представьте себе модель, предсказывающую завтрашнюю максимальную температуру. Модель могла сгенерировать вывод 21ºC, но количественная оценка неопределенности, примененная к этому выводу, могла указать, что модель могла сгенерировать выводы 12 ºC, 15 ºC или 16 ºC; зная это, насколько мы теперь доверяем простому прогнозу 20 ºC? Несмотря на свой потенциал для укрепления доверия или для осторожности, многие организации выбирают пропустить количественную оценку неопределенности из-за дополнительной работы, которую им необходимо выполнить для ее реализации, а также из-за требований к вычислительным ресурсам и скорости вывода.

Системы с человеком в цикле, такие как системы медицинской диагностики и прогнозирования, включают людей в процесс принятия решений. Доверяя слепо данным медицинских решений ИИ/МО, медицинские работники рискуют неправильно диагностировать пациента, что потенциально может привести к плохим результатам лечения – или хуже. Количественная оценка неопределенности может позволить медицинским работникам увидеть, количественно, когда они могут доверять выводам ИИ и когда они должны относиться к конкретным прогнозам с осторожностью. Аналогично, в полностью автоматизированной системе, такой как самоходный автомобиль, вывод модели для оценки расстояния до препятствия мог привести к аварии, которую можно было бы избежать при наличии количественной оценки неопределенности оценки расстояния.

Проблема использования методов Монте-Карло для построения доверия к моделям ИИ/МО

Методы Монте-Карло, разработанные во время Манхэттенского проекта, являются надежным способом выполнения количественной оценки неопределенности. Они включают повторное запуск алгоритмов с немного разными входными данными до тех пор, пока дальнейшие итерации не дадут много новой информации в выводах; когда процесс достигает такого состояния, говорят, что он с収ился. Одним из недостатков методов Монте-Карло является то, что они обычно медленные и требуют больших вычислительных ресурсов, требуя многих повторений своих составных вычислений, чтобы получить с収енный вывод и имея врожденную изменчивость по этим выводам. Поскольку методы Монте-Карло используют выводы генераторов случайных чисел как один из своих ключевых строительных блоков, даже когда вы запускаете метод Монте-Карло с многими внутренними повторениями, результаты, которые вы получаете, будут меняться, когда вы повторите процесс с идентичными параметрами.

Путь вперед к достоверности моделей ИИ/МО

В отличие от традиционных серверов и ускорителей ИИ, новый тип платформ вычислений разрабатывается для прямой обработки эмпирических вероятностных распределений так же, как традиционные платформы вычислений обрабатывают целые числа и числа с плавающей запятой. Развертывая свои модели ИИ на этих платформах, организации могут автоматизировать реализацию количественной оценки неопределенности на своих предварительно обученных моделях и также ускорить другие виды вычислительных задач, которые традиционно использовали методы Монте-Карло, такие как расчеты VaR в финансах. В частности, для сценария VaR этот новый тип платформ позволяет организациям работать с эмпирическими распределениями, построенными直接 из реальных рыночных данных, а не приближать эти распределения с помощью образцов, сгенерированных генераторами случайных чисел, для более точных анализов и быстрых результатов.

Недавние прорывы в вычислениях значительно снизили барьеры для количественной оценки неопределенности. Недавняя исследовательская статья, опубликованная моими коллегами и мной в семинаре по машинному обучению с новыми парадигмами вычислений на NeurIPS 2024, подчеркивает, как платформа следующего поколения вычислений, которую мы разработали, позволила анализу количественной оценки неопределенности работать более чем в 100 раз быстрее по сравнению с традиционным анализом, основанным на методах Монте-Карло, на сервере Intel Xeon высокого класса. Прорывы, такие как эти, позволяют организациям, развертывающим решения ИИ, реализовывать количественную оценку неопределенности с легкостью и запускать такую оценку с низкими накладными расходами.

Будущее достоверности ИИ/МО зависит от передовых вычислений следующего поколения

По мере того, как организации интегрируют больше решений ИИ в общество, достоверность ИИ/МО станет главным приоритетом. Предприятиям больше не можно позволить себе пропустить реализацию возможностей в своих развертываниях моделей ИИ, чтобы потребители знали, когда следует относиться к конкретным выводам моделей ИИ с скептицизмом. Спрос на такую объяснимость и количественную оценку неопределенности очевиден, поскольку примерно три из четырех человек указали, что они будут более склонны доверять системе ИИ, если будут установлены соответствующие механизмы обеспечения.

Новые технологии вычислений делают все проще реализацию и развертывание количественной оценки неопределенности. Пока отрасль и регулирующие органы борются с другими проблемами, связанными с развертыванием ИИ в обществе, есть хотя бы возможность воспитать доверие, которое люди требуют, сделав количественную оценку неопределенности нормой в развертываниях ИИ.