Nueva Biblioteca de Tangentes Neuronales de Google Brinda a los Científicos de Datos una Visión “Sin Precedentes” de los Modelos

Google ha diseñado una nueva biblioteca de código abierto destinada a abrir la caja negra del aprendizaje automático y brindar a los ingenieros más visibilidad sobre cómo funcionan sus sistemas de aprendizaje automático. Como informó VentureBeat, el equipo de investigación de Google afirma que la biblioteca podría brindar una visión “sin precedentes” de cómo funcionan los modelos de aprendizaje automático.

Las redes neuronales operan a través de neuronas que contienen funciones matemáticas que transforman los datos de diversas maneras. Las neuronas en la red están unidas en capas, y las redes neuronales tienen profundidad y anchura. La profundidad de una red neuronal está controlada por la cantidad de capas que tiene, y las diferentes capas de la red ajustan las conexiones entre neuronas, lo que afecta cómo se manejan los datos a medida que se mueven entre capas. El número de neuronas en la capa es el ancho de la capa. Según el ingeniero de investigación de Google, Roman Novak, y el científico senior de investigación de Google, Samuel S. Schoenholz, el ancho de los modelos está estrechamente correlacionado con el comportamiento regular y repetible. En una publicación de blog, los dos investigadores explicaron que hacer que las redes neuronales sean más anchas hace que su comportamiento sea más regular y fácil de interpretar.

Existe un tipo diferente de modelo de aprendizaje automático llamado proceso gaussiano. Un proceso gaussiano es un proceso estocástico que se puede representar como una distribución normal multivariante. Con un proceso gaussiano, cada conjunto/combinaición lineal finita de variables estará distribuida normalmente. Esto significa que es posible representar interacciones extraordinariamente complejas entre variables como ecuaciones de álgebra lineal interpretables, y por lo tanto, es posible estudiar el comportamiento de una IA a través de esta lente. ¿Cómo exactamente están relacionados los modelos de aprendizaje automático con los procesos gaussianos? Los modelos de aprendizaje automático que son infinitamente grandes en anchura convergen en un proceso gaussiano.

Sin embargo, aunque es posible interpretar los modelos de aprendizaje automático a través de la lente de un proceso gaussiano, requiere derivar el límite de anchura infinita de un modelo. Esto es una serie compleja de cálculos que deben realizarse para cada arquitectura separada. Para hacer que estos cálculos sean más fáciles y rápidos, el equipo de investigación de Google diseñó Neural Tangents. Neural Tangents permite a un científico de datos utilizar solo unas pocas líneas de código y entrenar múltiples redes de anchura infinita al mismo tiempo. A menudo, se entrenan múltiples redes neuronales en los mismos conjuntos de datos y se promedian sus predicciones para obtener una predicción más robusta inmune a los problemas que pueden ocurrir en cualquier modelo individual. Tal técnica se llama aprendizaje de conjunto. Una de las desventajas del aprendizaje de conjunto es que a menudo es computacionalmente costoso. Sin embargo, cuando se entrena una red que es infinitamente ancha, el conjunto se describe mediante un proceso gaussiano y se pueden calcular la varianza y la media.

Se compararon tres arquitecturas de redes neuronales de anchura infinita diferentes como una prueba, y los resultados de la comparación se publicaron en la publicación de blog. En general, los resultados de los conjuntos de redes impulsados por procesos gaussianos son similares al rendimiento de las redes neuronales finitas regulares:

Como explica el equipo de investigación en una publicación de blog:

“Vemos que, imitando las redes neuronales finitas, las redes de anchura infinita siguen una jerarquía de rendimiento similar, con redes completamente conectadas que funcionan peor que las redes convolucionales, que a su vez funcionan peor que las redes residuales anchas. Sin embargo, a diferencia del entrenamiento regular, la dinámica de aprendizaje de estos modelos es completamente trazable en forma cerrada, lo que permite [nueva] visión en su comportamiento”.

La liberación de Neural Tangents parece estar sincronizada con la cumbre de desarrolladores de TensorFlow. La cumbre de desarrolladores reúne a ingenieros de aprendizaje automático que utilizan la plataforma TensorFlow de Google. El anuncio de Neural Tangents también llega poco después de que se anunciara TensorFlow Quantum.

Neural Tangents está disponible a través de GitHub y hay una notebook y tutorial de Google Colaboratory que los interesados pueden acceder.