Нова бібліотека Neural Tangent Library від Google дає дослідникам даних «безпрецедентне» розуміння моделей

Google розробив нову бібліотеку з відкритим вихідним кодом, призначену для того, щоб відкрити чорну скриньку машинного навчання та дати інженерам більше зрозуміти, як працюють їхні системи машинного навчання. Як повідомляє VentureBeat, дослідницька група Google каже, що бібліотека може дати «безпрецедентне» розуміння того, як працюють моделі машинного навчання.

Нейронні мережі працюють через нейрони, що містять математичні функції, які перетворюють дані різними способами. Нейрони в мережі об’єднані шарами, а нейронні мережі мають глибину та ширину. Глибина нейронної мережі контролюється кількістю шарів, а різні шари мереж регулюють зв’язки між нейронами, впливаючи на те, як дані обробляються під час їх переміщення між шарами. Кількість нейронів у шарі - це ширина шару. За словами інженера-дослідника Google Романа Новака та старшого наукового співробітника Google Семюеля С. Шенгольца, ширина моделей тісно пов’язана зі звичайною, повторюваною поведінкою. У дописі в блозі два дослідники пояснили, що розширення нейронних мереж робить їхню поведінку більш регулярною та легшою для інтерпретації.

Існує інший тип моделі машинного навчання, який називається процесом Гауса. Гаусівський процес — це стохастичний процес, який можна представити у вигляді багатовимірного нормального розподілу. За допомогою процесу Гаусса кожна множина/кінцева лінійна комбінація змінних буде нормально розподілена. Це означає, що надзвичайно складні взаємодії між змінними можна представити як рівняння лінійної алгебри, які можна інтерпретувати, і, отже, поведінку ШІ можна вивчати через цю призму. Як саме моделі машинного навчання пов’язані з процесами Гауса? Моделі машинного навчання, які мають нескінченно велику ширину, сходяться до процесу Гаусса.

Однак, незважаючи на те, що можна інтерпретувати моделі машинного навчання через призму процесу Гаусса, для цього потрібно визначити обмеження нескінченної ширини моделі. Це складна серія обчислень, які необхідно виконати для кожної окремої архітектури. Щоб зробити ці обчислення легшими та швидшими, дослідницька група Google розробила нейронні дотичні. Neural Tangents дозволяє спеціалісту з обробки даних використовувати лише кілька рядків коду та навчати кілька мереж нескінченної ширини одночасно. Кілька нейронних мереж часто навчаються на тих самих наборах даних, а їхні прогнози усереднюються, щоб отримати більш надійний прогноз, несприйнятливий до проблем, які можуть виникнути в будь-якій окремій моделі. Таку техніку називають ансамблевим навчанням. Одним із недоліків ансамблевого навчання є те, що воно часто обчислюється дорого. Проте, коли тренується нескінченно широка мережа, ансамбль описується процесом Гаусса, і дисперсія та середнє значення можуть бути обчислені.

Три різні архітектури нейронної мережі нескінченної ширини порівнювали як тест, і результати порівняння опублікували в дописі в блозі. Загалом, результати ансамблевих мереж, керованих процесами Гауса, подібні до продуктивності звичайної кінцевої нейронної мережі:

Як пояснює дослідницька група у своєму блозі:

«Ми бачимо, що, імітуючи скінченні нейронні мережі, мережі нескінченної ширини дотримуються подібної ієрархії продуктивності з повнозв’язаними мережами, які працюють гірше, ніж згорткові мережі, які, у свою чергу, працюють гірше, ніж широкі залишкові мережі. Однак, на відміну від звичайних тренувань, динаміка навчання цих моделей повністю простежується в закритій формі, що дозволяє [новому] зрозуміти їхню поведінку».

Випуск Neural Tangents, здається, приурочений до саміту TensorFlow Dev Summit. На саміті розробників зустрічаються інженери машинного навчання, які використовують платформу Google TensorFlow. Анонс Neural Tangents також з’явився незабаром після оголошення TensorFlow Quantum.

Neural Tangents став доступним через GitHub, а також є блокнот Google Collaboratory та підручник, до якого зацікавлені можуть отримати доступ.