Исследователи разрабатывают инструмент “DeepTrust”, чтобы повысить доверие к ИИ

Безопасность и достоверность искусственного интеллекта (ИИ) является одним из наиболее важных аспектов этой технологии. Она постоянно улучшается и совершенствуется лучшими экспертами в различных областях, и будет иметь решающее значение для полного внедрения ИИ в общество.

Некоторые из этих новых разработок исходят из Университета Южной Калифорнии, где исследователи USC Viterbi Engineering разработали новый инструмент, способный генерировать автоматические индикаторы для определения достоверности алгоритмов ИИ в их данных и прогнозах.

Исследование было опубликовано в Frontiers in Artificial Intelligence, под названием “Есть надежда после всего: количественная оценка мнений и достоверности в нейронных сетях”. Авторами статьи являются Mingxi Cheng, Shahin Nazarian и Paul Bogdan из группы USC Cyber Physical Systems.

Достоверность нейронных сетей

Одной из наиболее важных задач в этой области является обеспечение того, чтобы нейронные сети генерировали прогнозы, которым можно доверять. Во многих случаях это является препятствием для полного внедрения технологий, основанных на ИИ.

Например, самоходные транспортные средства должны действовать самостоятельно и принимать точные решения в автономном режиме. Они должны быть способны принимать эти решения чрезвычайно быстро, одновременно расшифровывая и распознавая объекты на дороге. Это особенно важно в ситуациях, когда технология должна различать скоростной бугор, другой объект или живое существо.

Другие сценарии включают решение самоходного транспортного средства о том, что делать, когда другое транспортное средство движется навстречу, и наиболее сложное решение – если самоходное транспортное средство должно решить, ударить то, что оно воспринимает как другое транспортное средство, объект или живое существо.

Все это означает, что мы вкладываем огромное доверие в способность программного обеспечения самоходного транспортного средства принимать правильные решения за доли секунды. Это становится еще более сложным, когда есть противоречивая информация от различных датчиков, таких как компьютерное зрение с камер и лидар.

Ведущий автор Minxi Cheng решил взяться за этот проект, подумав: “Даже люди могут быть нерешительными в определенных ситуациях принятия решений. В случаях, когда есть противоречивая информация, почему машины не могут сказать нам, когда они не знают?”

DeepTrust

Инструмент, созданный исследователями, называется DeepTrust, и он может количественно оценить степень неопределенности, согласно Paul Bogdan, ассоциированному профессору кафедры электротехники и компьютерных наук Ming Hsieh.

Команда потратила почти два года на разработку DeepTrust, в основном используя субъективную логику для оценки нейронных сетей. В одном из примеров работы инструмента он смог проанализировать опросы президентских выборов 2016 года и предсказать, что существует большая вероятность ошибки в победе Хиллари Клинтон.

Инструмент DeepTrust также упрощает проверку надежности алгоритмов ИИ, обычно обучаемых на миллионах точек данных. Другой способ сделать это – независимо проверить каждую из этих точек данных, чтобы проверить точность, что является чрезвычайно трудоемкой задачей.

По мнению исследователей, архитектура этих систем нейронных сетей более точна, и точность и доверие можно максимизировать одновременно.

“На наш взгляд, не существует модели или инструмента для количественной оценки доверия для глубокого обучения, искусственного интеллекта и машинного обучения. Это первый подход и открывает новые направления исследований”, – говорит Богдан.

Богдан также считает, что DeepTrust может помочь продвинуть ИИ вперед до точки, когда он будет “осведомленным и адаптивным”.