Дослідники Google виявили проблему недоозначеності, яка утримує багато моделей штучного інтелекту

Нещодавно команда дослідників з Google (GOOGL ) виявила одну з основних причин невдач моделей штучного інтелекту, вказуючи на недоозначеність як одну з основних причин, через яку моделі машинного навчання часто працюють зовсім по-іншому в реальному світі, ніж під час тестування та розробки.

Моделі машинного навчання часто відмовляються, коли виконують завдання в реальному середовищі, навіть якщо моделі працюють оптимально в лабораторії. Є багато причин, через які відбувається розбіжність між навчанням/розробкою та реальною продуктивністю. Однією з найпоширеніших причин невдач моделей штучного інтелекту під час виконання реальних завдань є концепція, відома як зміна даних. Зміна даних означає фундаментальну різницю між типом даних, використованих для розробки моделі машинного навчання, та даними, які подаються в модель під час застосування. Наприклад, моделі комп’ютерного зору, навчені на високоякісних даних зображень, будуть складно працювати, коли їм подаються дані, захоплені низькоякісними камерами, які знаходяться в середовищі моделі.

За даними MIT Technology Review, команда з 40 різних дослідників у Google виявила ще одну причину, через яку продуктивність моделі машинного навчання може змінюватися так сильно. Проблема полягає в “недоозначеності” – статистичній концепції, яка описує питання, коли спостережувані явища мають багато можливих причин, не всі з яких враховуються моделлю. За словами лідера дослідження Олександра Д’Амура, проблема спостерігається в багатьох моделях машинного навчання, кажучи, що це “трапляється всюди”.

Типовий метод навчання моделі машинного навчання полягає у тому, щоб надати моделі велику кількість даних, які вона може проаналізувати та витягнути відповідні закономірності. Після цього модель подається приклади, яких вона не бачила, та просить передбачити їхню природу на основі ознак, які вона вивчила. Як тільки модель досягне певного рівня точності, навчання зазвичай вважається завершеним.

За словами команди дослідників Google, потрібно зробити більше, щоб забезпечити можливість моделей справді узагальнювати дані, які не були використані під час навчання. Класичний метод навчання моделей машинного навчання дає різні моделі, які можуть пройти свої тести, але ці моделі відрізняються дрібними способами, які здаються незначними, але не є такими. Різні вузли моделей мають різні випадкові значення, призначені їм, або дані для навчання можуть бути вибрані або представлені різними способами. Ці варіації дрібні та часто довільні, і якщо вони не мають великого впливу на продуктивність моделей під час навчання, їх легко проігнорувати. Однак, коли вплив усіх цих дрібних змін накопичується, вони можуть привести до великих змін у реальній продуктивності.

Ця недоозначеність проблематична, оскільки вона означає, що навіть якщо процес навчання здатний виробляти хороші моделі, він також може виробляти погану модель, і різниця не буде виявлена до тих пір, поки модель не вийде з виробництва та не вступить у використання.

Для оцінки впливу недоозначеності команда дослідників розглянула ряд різних моделей. Кожна модель була навчена за допомогою одного та того ж процесу навчання, а потім моделі були піддані серії тестів для підкреслення різниць у продуктивності. У одному випадку 50 різних версій системи розпізнавання зображень були навчені на наборі даних ImageNet. Моделі були однакові, за винятком нейронних мережових значень, які були випадково призначені їм на початку навчання. Тести на витривалість, які використовувалися для визначення різниць у моделях, проводилися за допомогою ImageNet-C, варіанту оригінального набору даних, що складається з зображень, змінених за допомогою контрасту або яскравості. Моделі також тестувалися на ObjectNet, серії зображень із звичайними об’єктами в незвичайних орієнтаціях та контекстах. Хоча всі 50 моделей мали приблизно однакову продуктивність на наборі даних для навчання, продуктивність сильно коливалася, коли моделі проходили тести на витривалість.

Команда дослідників отримала подібні результати, коли навчала та тестила дві різні системи обробки природної мови, а також коли тестувала різні інші моделі комп’ютерного зору. У кожному випадку моделі сильно розходилися одна від одної, хоча процес навчання для всіх моделей був однаковий.

За словами Д’Амура, дослідники та інженери штучного інтелекту повинні проводити набагато більше тестів на витривалість, перш ніж випускати моделі у дике життя. Це може бути складно зробити, оскільки тести на витривалість потрібно адаптувати до конкретних завдань за допомогою даних з реального світу, які можуть бути складно отримати для деяких завдань та контекстів. Одним з потенційних рішень проблеми недоозначеності є створення багатьох моделей одночасно, а потім тестування моделей на серії реальних завдань, вибір моделі, яка постійно показує найкращі результати. Розробка моделей таким чином займає багато часу та ресурсів, але компроміс може бути вартим цього, особливо для моделей штучного інтелекту, які використовуються в медичних контекстах або інших областях, де безпека є першочерговою проблемою. Як пояснив Д’Амур через MIT Technology Review :

“Нам потрібно стати краще у визначенні саме тих вимог, які ми маємо до наших моделей. Бо часто відбувається так, що ми виявляємо ці вимоги тільки після того, як модель вийшла у світ.”