Дослідники штучного інтелекту розробили швидкий метод розрахунку інтервалів довіри, звітуючи, коли модель не повинна бути довіреною

Дослідники з Массачусетського технологічного інституту недавно розробили техніку, яка дозволяє глибинним мережам швидко розрахувати рівні довіри, що може допомогти вченим-дослідникам та іншим користувачам штучного інтелекту знати, коли довіряти прогнозам, зробленим моделлю.

Системи штучного інтелекту, засновані на штучних нейронних мережах, відповідають за все більше число рішень, включаючи рішення, пов’язані зі здоров’ям і безпекою людей. Через це нейронні мережі повинні мати деякий метод оцінки довіри до своїх виходів, щоб вчені-дослідники могли сказати, наскільки довірчі їхні прогнози. Нещодавно команда дослідників з Гарвардського університету та Массачусетського технологічного інституту розробила швидкий спосіб для нейронних мереж генерувати вказівку на рівень довіри моделі поряд з її прогнозами.

Моделі глибинного навчання стали все більш складними за останні десять років і тепер можуть легко перевершити людей у завданнях класифікації даних. Моделі глибинного навчання використовуються в галузях, де здоров’я і безпека людей можуть бути під загрозою, якщо вони викажуться, наприклад, при керуванні автономними транспортними засобами та діагностуванні медичних станів за допомогою сканування. У цих випадках недостатньо, якщо модель є 99% точною, оскільки 1% випадків, коли модель викажеться, може привести до катастрофи. Через це існує потреба у методі, за допомогою якого вчені-дослідники можуть визначити, наскільки довірчі прогнози моделі.

Існує кілька способів генерації інтервалу довіри поряд з прогнозами нейронних мереж, але традиційні методи оцінки невизначеності для нейронної мережі досить повільні та обчислювально дорогі. Нейронні мережі можуть бути дуже великими та складними, містити мільярди параметрів. Самі прогнози можуть бути обчислювально дорогими та займати значний час, а генерація рівня довіри для прогнозів займає ще більше часу. Більшість попередніх методів кількісної оцінки невизначеності ґрунтувалися на вибірці або повторному запуску мережі для отримання оцінки її довіри. Це не завжди можливо для застосунків, які вимагають високошвидкісного трафіку.

Як повідомляє Массачусетський технологічний інститут, Олександер Аміні очолює об’єднану команду дослідників з Массачусетського технологічного інституту та Гарвардського університету, і згідно з Аміні, метод, розроблений їхніми дослідниками, прискорює процес генерації оцінок невизначеності за допомогою техніки, званої “глибинна евіденційна регресія”. Аміні пояснив через Массачусетський технологічний інститут, що вчені-дослідники потребують як високошвидкісних моделей, так і надійних оцінок невизначеності, щоб розрізняти недовіричні моделі. Для збереження як швидкості моделі, так і генерації оцінки невизначеності дослідники розробили спосіб оцінки невизначеності за допомогою лише одного запуску моделі.

Дослідники розробили модель нейронної мережі таким чином, щоб поряд з кожним рішенням генерувалася ймовірнісна розподілена функція. Мережа зберігає докази своїх рішень під час процесу навчання, генеруючи ймовірнісну розподільну функцію на основі цих доказів. Евіденційна розподільна функція представляє рівень довіри моделі та невизначеність як для остаточного рішення, так і для вихідних даних. Захоплення невизначеності як для вихідних даних, так і для рішень є важливим, оскільки зниження невизначеності залежить від знання джерела невизначеності.

Дослідники протестували свою техніку оцінки невизначеності, застосувавши її до завдання комп’ютерного зору. Після того, як модель була навчена на серії зображень, вона генерувала як прогнози, так і оцінки невизначеності. Мережа правильно проєктувала високу невизначеність для випадків, коли була зроблена неправильна прогноз. “Це було дуже добре підігнано до помилок, які робить мережа, що, на нашу думку, було одним з найважливіших аспектів оцінки якості нового оцінювача невизначеності”, – сказав Аміні щодо результатів тестування моделі.

Команда дослідників провела ще більше тестів зі своєю архітектурою мережі. Для проведення стрес-тестування техніки вони також протестували дані на “даних поза розподілом”, тобто наборах даних, що складаються з об’єктів, яких мережа ніколи не бачила раніше. Як і очікувалося, мережа повідомляла про вищу невизначеність для цих незнайомих об’єктів. Коли мережа була навчена на внутрішніх середовищах, вона демонструвала високу невизначеність під час тестування на зображеннях зовнішніх середовищ. Тести показали, що мережа могла виділити випадки, коли її рішення були під впливом високої невизначеності і не повинні були довіряти в певних високоризикових ситуаціях.

Команда дослідників甚至 повідомила, що мережа могла розрізняти, коли зображення були підроблені. Коли команда дослідників змінила фотографії за допомогою адверсарного шуму, мережа позначила нові змінені зображення оцінками високої невизначеності,尽管 цей ефект був надто тонким, щоб його міг побачити середній спостерігач.

Якщо техніка виявиться надійною, глибинна евіденційна регресія може покращити безпеку моделей штучного інтелекту загалом. Згідно з Аміні, глибинна евіденційна регресія може допомогти людям приймати обережні рішення при використанні моделей штучного інтелекту в ризикових ситуаціях. Як пояснив Аміні через Массачусетський технологічний інститут:

“Ми починаємо бачити все більше цих [нейронних мережевих] моделей, які виходять з дослідницької лабораторії та входять у реальний світ, у ситуації, які торкаються людей з потенційно життєво-небезпечними наслідками. Будь-хто, хто використовує цей метод, чи то лікар, чи людина в пасажирському кріслі транспортного засобу, повинен бути обізнаний про будь-який ризик або невизначеність, пов’язану з цим рішенням.”