La nueva biblioteca de tangente neuronal de Google brinda a los científicos de datos una visión "sin precedentes" de los modelos

Google ha diseñado una nueva biblioteca de código abierto destinada a abrir la caja negra del aprendizaje automático y brindar a los ingenieros más información sobre cómo funcionan sus sistemas de aprendizaje automático. Según lo informado por VentureBeat, el equipo de investigación de Google dice que la biblioteca podría brindar información "sin precedentes" sobre cómo funcionan los modelos de aprendizaje automático.

Las redes neuronales operan a través de neuronas que contienen funciones matemáticas que transforman los datos de varias maneras. Las neuronas de la red están unidas en capas, y las redes neuronales tienen profundidad y anchura. La profundidad de una red neuronal está controlada por la cantidad de capas que tiene, y las diferentes capas de las redes ajustan las conexiones entre las neuronas, lo que afecta la forma en que se manejan los datos a medida que se mueven entre las capas. El número de neuronas en la capa es el ancho de la capa. Según el ingeniero de investigación de Google, Roman Novak, y el científico investigador principal de Google, Samuel S. Schoenholz, el ancho de los modelos está estrechamente relacionado con el comportamiento regular y repetible. En una publicación de blog, los dos investigadores explicaron que ampliar las redes neuronales hace que su comportamiento sea más regular y más fácil de interpretar.

Existe un tipo diferente de modelo de aprendizaje automático llamado proceso gaussiano. Un proceso gaussiano es un proceso estocástico que se puede representar como una distribución normal multivariante. Con un proceso gaussiano, cada conjunto/combinación lineal finita de variables se distribuirá normalmente. Esto significa que es posible representar interacciones extraordinariamente complejas entre variables como ecuaciones de álgebra lineal interpretables y, por lo tanto, es posible estudiar el comportamiento de una IA a través de esta lente. ¿Cómo se relacionan exactamente los modelos de aprendizaje automático con los procesos gaussianos? Los modelos de aprendizaje automático que tienen un ancho infinitamente grande convergen en un proceso gaussiano.

Sin embargo, si bien es posible interpretar modelos de aprendizaje automático a través de la lente de un proceso gaussiano, requiere derivar el límite de ancho infinito de un modelo. Esta es una serie compleja de cálculos que deben realizarse para cada arquitectura por separado. Para hacer estos cálculos más fáciles y rápidos, el equipo de investigación de Google diseñó Neural Tangents. Neural Tangents permite a un científico de datos usar solo unas pocas líneas de código y entrenar múltiples redes de ancho infinito al mismo tiempo. A menudo, varias redes neuronales se entrenan en los mismos conjuntos de datos y se promedian sus predicciones para obtener una predicción más robusta inmune a los problemas que pueden ocurrir en cualquier modelo individual. Tal técnica se llama aprendizaje conjunto. Uno de los inconvenientes del aprendizaje conjunto es que a menudo es computacionalmente costoso. Sin embargo, cuando se entrena una red infinitamente ancha, el conjunto se describe mediante un proceso gaussiano y se pueden calcular la varianza y la media.

Se compararon tres arquitecturas de redes neuronales de ancho infinito diferentes como prueba, y los resultados de la comparación se publicaron en la publicación del blog. En general, los resultados de las redes de conjunto impulsadas por procesos gaussianos son similares al rendimiento de una red neuronal finita regular:

Como explica el equipo de investigación en un blog:

“Vemos que, al imitar las redes neuronales finitas, las redes de ancho infinito siguen una jerarquía de rendimiento similar con redes totalmente conectadas que funcionan peor que las redes convolucionales, que a su vez funcionan peor que las redes residuales anchas. Sin embargo, a diferencia del entrenamiento regular, la dinámica de aprendizaje de estos modelos es completamente manejable en forma cerrada, lo que permite una nueva visión de su comportamiento”.

El lanzamiento de Neural Tangents parece estar programado para coincidir con TensorFlow Dev Summit. La cumbre de desarrollo reúne a ingenieros de aprendizaje automático que utilizan la plataforma TensorFlow de Google. El anuncio de Neural Tangents también se produce poco después de que se anunciara TensorFlow Quantum.

Neural Tangents está disponible a través de GitHub y hay un cuaderno y un tutorial de Google Colaboratory a los que pueden acceder los interesados.