Исследователи в области ИИ разработали быстрый метод расчета доверительных интервалов, сообщающий, когда модель не должна быть доверена

Исследователи из MIT недавно разработали технику, которая позволяет глубоким обучающим сетям быстро рассчитывать уровни доверия, что может помочь специалистам по данным и другим пользователям ИИ понять, когда можно доверять прогнозам, сделанным моделью.

Системы ИИ, основанные на искусственных нейронных сетях, все чаще принимают решения, многие из которых связаны со здоровьем и безопасностью людей. Поэтому нейронные сети должны иметь метод оценки доверия к своим выходным данным, чтобы специалисты по данным могли оценить надежность своих прогнозов. Недавно команда исследователей из Гарварда и MIT разработала быстрый способ для нейронных сетей генерировать указание на уровень доверия модели вместе с ее прогнозами.

Модели глубокого обучения стали все более сложными за последнее десятилетие и теперь могут легко превосходить людей в задачах классификации данных. Модели глубокого обучения используются в областях, где здоровье и безопасность людей могут быть под угрозой, если они не сработают, например, при управлении автономными транспортными средствами и диагностике медицинских условий по результатам сканирования. В этих случаях недостаточно, чтобы модель была точной на 99%, поскольку 1% случаев, когда модель не сработает, может привести к катастрофе. Следовательно, должна быть возможность для специалистов по данным определить, насколько надежен каждый прогноз.

Существует несколько способов генерировать доверительный интервал вместе с прогнозами нейронных сетей, но традиционные методы оценки неопределенности для нейронной сети довольно медленные и вычислительно дорогие. Нейронные сети могут быть невероятно большими и сложными, содержащими миллиарды параметров. Само генерирование прогнозов может быть вычислительно дорогим и занимать значительное время, а генерирование уровня доверия для прогнозов занимает еще больше времени. Большинство предыдущих методов количественной оценки неопределенности полагались на выборку или многократный запуск сети для получения оценки ее доверия. Это не всегда возможно для приложений, требующих высокоскоростного трафика.

Как сообщает MIT News, Александр Амини возглавляет объединенную группу исследователей из MIT и Гарварда, и, по словам Амини, метод, разработанный их исследователями, ускоряет процесс генерирования оценок неопределенности с помощью техники, называемой “глубокой эвиденциальной регрессией”. Амини объяснил через MIT, что специалистам по данным требуются как высокоскоростные модели, так и надежные оценки неопределенности, чтобы можно было различать ненадежные модели. Чтобы сохранить как скорость модели, так и сгенерировать оценку неопределенности, исследователи разработали способ оценить неопределенность из одного запуска модели.

Исследователи разработали нейронную сеть так, чтобы она генерировала вероятностное распределение вместе с каждым решением. Сеть сохраняет доказательства своих решений во время процесса обучения, генерируя вероятностное распределение на основе доказательств. Эвиденциальное распределение представляет доверие модели, и оно представляет неопределенность как для окончательного решения модели, так и для исходных входных данных. Захват неопределенности как для входных данных, так и для решений важен, поскольку снижение неопределенности зависит от знания источника неопределенности.

Исследователи протестировали свою технику оценки неопределенности, применив ее к задаче компьютерного зрения. После того, как модель была обучена на серии изображений, она сгенерировала как прогнозы, так и оценки неопределенности. Сеть правильно спроецировала высокую неопределенность для случаев, когда был сделан неправильный прогноз. “Это было очень хорошо откалибровано к ошибкам, которые делает сеть, что, по нашему мнению, было одним из наиболее важных факторов при оценке качества нового оценщика неопределенности”, – сказал Амини, комментируя результаты тестирования модели.

Команда исследователей провела дополнительные тесты со своей архитектурой сети. Чтобы проверить технику на прочность, они также протестировали данные на “внеклассных” данных, наборах данных, состоящих из объектов, которые сеть никогда не видела раньше. Как ожидалось, сеть сообщила о более высокой неопределенности для этих незнакомых объектов. Когда она была обучена на внутренних средах, сеть показала высокую неопределенность при тестировании на изображениях из внешних сред. Тесты показали, что сеть может выделить, когда ее решения подвержены высокой неопределенности и не должны быть доверены в определенных высокорисковых ситуациях.

Команда исследователей даже сообщила, что сеть может определить, когда изображения были изменены. Когда команда исследователей изменила фотографии с помощью враждебного шума, сеть пометила новые измененные изображения оценками высокой неопределенности,尽管 эффект был слишком незаметным, чтобы быть увиденным средним человеческим наблюдателем.

Если техника окажется надежной, глубокая эвиденциальная регрессия может улучшить безопасность моделей ИИ в целом. По словам Амини, глубокая эвиденциальная регрессия может помочь людям принимать осторожные решения при использовании моделей ИИ в рискованных ситуациях. Как объяснил Амини через MIT News:

“Мы начинаем видеть все больше этих [нейронных сетей] моделей, которые выходят из исследовательской лаборатории и входят в реальный мир, в ситуации, которые затрагивают людей с потенциально опасными для жизни последствиями. Любой пользователь метода, будь то врач или человек в пассажирском кресле транспортного средства, должен быть осведомлен о любом риске или неопределенности, связанной с этим решением.”