Новая библиотека Neural Tangent от Google дает специалистам по данным “беспрецедентное” представление о моделях

Google разработала новую открытую библиотеку, предназначенную для раскрытия “черного ящика” машинного обучения и предоставления инженерам более глубокого понимания того, как работают их системы машинного обучения. Как сообщает VentureBeat, команда исследователей Google заявляет, что библиотека может предоставить “беспрецедентное” представление о том, как работают модели машинного обучения.

Нейронные сети работают через нейроны, содержащие математические функции, которые преобразуют данные различными способами. Нейроны в сети соединены друг с другом в слоях, и нейронные сети имеют глубину и ширину. Глубина нейронной сети контролируется количеством слоев, и разные слои сети регулируют связи между нейронами, влияя на то, как обрабатываются данные при движении между слоями. Количество нейронов в слое является шириной слоя. Согласно исследователю Google Роману Новаку и старшему исследователю Google Сэмуэлю С. Шоенхольцу, ширина моделей тесно связана с регулярным, повторяющимся поведением. В блог-посте два исследователя объяснили, что увеличение ширины нейронных сетей делает их поведение более регулярным и легким для интерпретации.

Существует другой тип модели машинного обучения, называемый гауссовским процессом. Гауссовский процесс – это стохастический процесс, который можно представить как многомерное нормальное распределение. С гауссовским процессом каждый набор/конечная линейная комбинация переменных будет нормально распределена. Это означает, что можно представить чрезвычайно сложные взаимодействия между переменными как интерпретируемые линейные алгебраические уравнения, и поэтому возможно изучать поведение ИИ через эту призму. Как именно модели машинного обучения связаны с гауссовскими процессами? Модели машинного обучения, которые бесконечно велики в ширине, сходятся к гауссовскому процессу.

Однако, хотя возможно интерпретировать модели машинного обучения через призму гауссовского процесса, для этого требуется получение предела бесконечной ширины модели. Это сложная серия вычислений, которые необходимо выполнить для каждой отдельной архитектуры. Чтобы сделать эти вычисления проще и быстрее, команда исследователей Google разработала Neural Tangents. Neural Tangents позволяет специалисту по данным использовать всего несколько строк кода и обучать несколько сетей бесконечной ширины одновременно. Часто несколько нейронных сетей обучаются на одних и тех же наборах данных, и их прогнозы усредняются, чтобы получить более прочный прогноз, нечувствительный к проблемам, которые могут возникнуть в любой отдельной модели. Такой метод называется ансамблевым обучением. Одним из недостатков ансамблевого обучения является то, что оно часто вычислительно дорого. Однако, когда сеть бесконечной ширины обучается, ансамбль описывается гауссовским процессом, и можно рассчитать дисперсию и среднее значение.

Три различные архитектуры бесконечной ширины нейронных сетей были сравнены в качестве теста, и результаты сравнения были опубликованы в блог-посте. В целом, результаты ансамблевых сетей, управляемых гауссовскими процессами, похожи на результаты обычных, конечных нейронных сетей:

Как объясняет команда исследователей в блог-посте:

“Мы видим, что, имитируя конечные нейронные сети, сети бесконечной ширины следуют подобной иерархии производительности, при которой полностью связанные сети работают хуже, чем свёрточные сети, которые, в свою очередь, работают хуже, чем широкие сети с остатками. Однако, в отличие от обычной тренировки, динамика обучения этих моделей полностью трассируема в закрытой форме, что позволяет получить [новое] представление о их поведении”.

Выпуск Neural Tangents, кажется, совпадает с конференцией TensorFlow Dev Summit. На конференции встречаются инженеры машинного обучения, которые используют платформу Google TensorFlow. Объявление о Neural Tangents также происходит не久 после объявления о TensorFlow Quantum.

Neural Tangents доступна через GitHub, и существует блокнот Google Colaboratory и учебник, к которым могут получить доступ заинтересованные лица.