Дослідження Google виявило плями в гіпермасштабних підходах до штучного інтелекту

Нова робота від Google Research вказує на те, що поточна тенденція до створення дуже великих наборів даних може бути контрпродуктивною для розробки ефективних систем штучного інтелекту. Насправді, дослідження показує, що кращі продукти машинного навчання можуть виникнути в результаті навчання на менше точних (тобто технічно «гірших») наборах даних.

Якщо принципи, отримані дослідниками, є дійсними, це означає, що «гіпермасштабні» набори даних, такі як недавно випущений LAION-400M (який містить 400 мільйонів пар текст/зображення), і дані за нейронною мовною системою GPT-3 (яка містить 175 мільярдів параметрів), потенційно підлягають певному «термічному ліміту» в традиційних і популярних архітектурах та методах машинного навчання, за допомогою яких величезний обсяг даних «насищує» додатки нижнього рівня і запобігає їм узагальнюватися корисним чином.

Дослідники також пропонують альтернативні методи для переосмислення архітектури гіпермасштабних наборів даних, щоб виправити дисбаланс.

У роботі зазначається:

‘Досліджуючи причини, які призводять до цих явищ, ми показуємо, що поведінка насичення, яку ми спостерігаємо, тісно пов’язана з тим, як представлення еволюціонують через шари моделей. Ми демонструємо ще одну екстремальну ситуацію, в якій продуктивність на верхньому і нижньому рівнях знаходяться в протиріччі один з одним. Тобто, щоб мати кращу продуктивність на нижньому рівні, нам потрібно шкодити точності верхнього рівня.’

Дослідження називається Дослідження меж великомасштабної попередньої підготовки і походять від чотирьох авторів з Google Research.

Дослідження ‘насичення’

Автори викликають під сумнів панівні припущення щодо відносин між машинним навчанням та даними в епоху гіпермасштабних даних: що масштабування моделей і розміру даних суттєво покращує продуктивність (вірення, яке було закріплено в гіпі навколо GPT-3 з моменту його запуску); і що ця покращена продуктивність «проходить» до завдань нижнього рівня лінійним (тобто бажаним) чином, так що алгоритми, які запускаються на пристрої, в кінцевому підсумку виводяться на ринок, походять відotherwise ungovernably великих наборів даних і недистильованих навчених моделей, повністю виграють від ідей повномасштабних, верхніх архітектур.

‘Ці погляди,’ відзначають дослідники ‘пропонують, що витрати на обчислювальні ресурси та дослідження з метою покращення продуктивності на одному величезному корпусі окупляться, оскільки це дозволить нам розв’язати багато завдань нижнього рівня майже безкоштовно.’

Але робота стверджує, що нестача обчислювальних ресурсів і подальші «економічні» методи оцінки моделей сприяють хибному враженню про динаміку відносин між об’ємом даних і корисними системами штучного інтелекту. Автори ідентифікують цю звичку як «значну недолік», оскільки дослідницька спільнота зазвичай припускає, що локальні (позитивні) результати перекладуться в корисні пізніші реалізації:

‘[Через] обмеження обчислень, продуктивність для різних виборів значень гіперпараметрів не повідомляється. Графіки масштабування здаються більш сприятливими, якщо гіперпараметр, вибраний для кожного масштабу, фіксований або визначається простою функцією масштабування.’

Дослідники далі зазначають, що багато досліджень щодо масштабування вимірюються не проти абсолютних масштабів, а як інкрементні покращення проти стану справ (SotA), спостерігаючи, що «немає причини, a priori, для того, щоб масштабування трималося поза вивченим діапазоном».

Попередня підготовка

Робота розглядає практику «попередньої підготовки», заходу, призначеного для збереження обчислювальних ресурсів і скорочення часто жахливих часових масштабів, необхідних для навчання моделі на великомасштабних даних з нуля. Знімки попередньої підготовки обробляють «азбуку» того, як дані в одному домені стають узагальненими під час навчання, і зазвичай використовуються в різних секторах і спеціальностях машинного навчання, від обробки природної мови (NLP) до глибоких підробок.

Попередні академічні дослідження виявили, що попередня підготовка може суттєво покращити стійкість і точність моделі, але нова робота пропонує, що складність функцій, навіть у відносно коротких знімках попередньої підготовки, може бути більш корисною, якщо передана далі в процесі.

Однак це не може статися, якщо дослідники продовжують покладатися на попередньо навчені моделі, які використовують сучасну найкращу практику застосування швидкостей навчання, які, як висновує дослідження, можуть суттєво вплинути на кінцеву точність кінцевих застосунків роботи. У цьому відношенні автори відзначають, що «неможливо сподіватися знайти одну попередньо навчену контрольну точку, яка добре працює на всіх можливих завданнях нижнього рівня».

Дослідження

Для встановлення ефекту насичення автори провели 4800 експериментів на Vision Transformers, ResNets і MLP-Mixers, кожен з різним числом параметрів, від 10 мільйонів до 10 мільярдів, усіх навчених на найбільш об’ємних наборах даних, доступних у відповідних секторах, включаючи ImageNet21K і власний JFT-300M від Google.

Результати, стверджує робота, показують, що різноманітність даних повинна бути розглянута як додаткова вісь при спробі «масштабувати» дані, параметри моделі та час обчислень. Як воно є, важка концентрація ресурсів навчання (і уваги дослідників) на верхньому рівні трубопроводу штучного інтелекту ефективно бомбардує додатки нижнього рівня потоком параметрів до точки «насичення», знижуючи здатність розгорнутих алгоритмів навігації через функції та виконання висновків або перетворень.

Робота завершується:

‘Через обширне дослідження ми встановлюємо, що коли ми покращуємо продуктивність завдання верхнього рівня або шляхом масштабування, або вибором гіперпараметрів і архітектурних рішень, продуктивність завдань нижнього рівня показує насичуючу поведінку. Крім того, ми надаємо сильні емпіричні докази того, що, на відміну від загального нарративу, масштабування не веде до рішення «одна модель підходить всім».’