Новая библиотека Neural Tangent от Google дает ученым-“данным” “беспрецедентную” информацию о моделях

Google (GOOGL ) разработала новую открытую библиотеку, предназначенную для раскрытия “черного ящика” машинного обучения и предоставления инженерам более глубокого понимания того, как работают их системы машинного обучения. Как сообщает VentureBeat, команда исследователей Google заявляет, что библиотека может предоставить “беспрецедентную” информацию о том, как работают модели машинного обучения.

Нейронные сети работают через нейроны, содержащие математические функции, которые преобразуют данные различными способами. Нейроны в сети соединены друг с другом в слоях, и нейронные сети имеют глубину и ширину. Глубина нейронной сети контролируется количеством слоев, и разные слои сети регулируют связи между нейронами, влияя на то, как обрабатываются данные при движении между слоями. Количество нейронов в слое является шириной слоя. Согласно исследователю Google Роману Новаку и старшему исследователю Google Сэмуэлю С. Шонхольцу, ширина моделей тесно связана с регулярным, повторяющимся поведением. В блог-посте два исследователя объяснили, что увеличение ширины нейронных сетей делает их поведение более регулярным и легким для интерпретации.

Существует другой тип модели машинного обучения, называемый гауссовским процессом. Гауссовский процесс – это стохастический процесс, который можно представить как многомерное нормальное распределение. С гауссовским процессом каждый набор/конечная линейная комбинация переменных будет нормально распределен. Это означает, что можно представить чрезвычайно сложные взаимодействия между переменными как интерпретируемые линейные алгебраические уравнения, и поэтому можно изучать поведение ИИ через эту призму. Как именно модели машинного обучения связаны с гауссовскими процессами? Модели машинного обучения, которые бесконечно велики в ширине, сходятся к гауссовскому процессу.

Однако, хотя возможно интерпретировать модели машинного обучения через призму гауссовского процесса, для этого необходимо получить бесконечную ширину модели. Это сложная серия вычислений, которую необходимо выполнить для каждой отдельной архитектуры. Чтобы сделать эти вычисления проще и быстрее, команда исследователей Google разработала Neural Tangents. Neural Tangents позволяет ученому-“данным” использовать всего несколько строк кода и обучать несколько бесконечно-широких сетей одновременно. Часто несколько нейронных сетей обучаются на одних и тех же наборах данных, и их прогнозы усредняются, чтобы получить более надежный прогноз, не подверженный проблемам, которые могут возникнуть в любой отдельной модели. Такой метод называется ансамблевым обучением. Одним из недостатков ансамблевого обучения является то, что оно часто вычислительно дорого. Однако, когда сеть, которая бесконечно широка, обучается, ансамбль описывается гауссовским процессом, и можно рассчитать дисперсию и среднее значение.

Три различных бесконечно-широких архитектуры нейронных сетей были сравнены в качестве теста, и результаты сравнения были опубликованы в блог-посте. В целом, результаты ансамблевых сетей, управляемых гауссовскими процессами, аналогичны производительности обычных, конечных нейронных сетей:

Как объясняет команда исследователей в блог-посте:

«Мы видим, что, подобно конечным нейронным сетям, бесконечно-широкие сети следуют аналогичной иерархии производительности, при которой полностью связанные сети работают хуже, чем свёрточные сети, которые, в свою очередь, работают хуже, чем широкие сети с остатками. Однако, в отличие от обычной тренировки, динамика обучения этих моделей полностью трассируема в замкнутой форме, что позволяет получить новые знания о их поведении».

Выпуск Neural Tangents, кажется, совпал с конференцией TensorFlow Dev Summit. На конференции встречаются инженеры машинного обучения, которые используют платформу Google TensorFlow. Объявление о Neural Tangents также последовало вскоре после объявления о TensorFlow Quantum.

Neural Tangents была размещена на GitHub, и существует ноутбук Google Colaboratory и учебник, к которым могут получить доступ заинтересованные лица.