Nueva Biblioteca Neural Tangent de Google Ofrece a los Científicos de Datos “Insight Sin Precedentes” en los Modelos

Google (GOOGL ) ha diseñado una nueva biblioteca de código abierto destinada a abrir la caja negra del aprendizaje automático y dar a los ingenieros más información sobre cómo funcionan sus sistemas de aprendizaje automático. Según informa VentureBeat, el equipo de investigación de Google afirma que la biblioteca podría proporcionar “insight sin precedentes” sobre cómo funcionan los modelos de aprendizaje automático.

Las redes neuronales operan a través de neuronas que contienen funciones matemáticas que transforman los datos de diversas maneras. Las neuronas de la red están unidas en capas, y las redes neuronales tienen profundidad y anchura. La profundidad de una red neuronal está controlada por la cantidad de capas que tiene, y las diferentes capas de la red ajustan las conexiones entre las neuronas, lo que afecta cómo se manejan los datos a medida que se mueven entre las capas. El número de neuronas en la capa es el ancho de la capa. Según el ingeniero de investigación de Google, Roman Novak, y el científico de investigación senior de Google, Samuel S. Schoenholz, el ancho de los modelos está estrechamente relacionado con el comportamiento regular y repetible. En una publicación de blog, los dos investigadores explicaron que hacer que las redes neuronales sean más anchas hace que su comportamiento sea más regular y fácil de interpretar.

Existe un tipo diferente de modelo de aprendizaje automático llamado proceso gaussiano. Un proceso gaussiano es un proceso estocástico que se puede representar como una distribución normal multivariante. Con un proceso gaussiano, cada conjunto/combinaición lineal finita de variables estará normalmente distribuida. Esto significa que es posible representar interacciones extraordinariamente complejas entre variables como ecuaciones lineales algebraicas interpretables, y por lo tanto es posible estudiar el comportamiento de una IA a través de esta lente. ¿Cómo exactamente se relacionan los modelos de aprendizaje automático con los procesos gaussianos? Los modelos de aprendizaje automático que son infinitamente grandes en anchura convergen en un proceso gaussiano.

Sin embargo, aunque es posible interpretar los modelos de aprendizaje automático a través de la lente de un proceso gaussiano, requiere derivar el límite de anchura infinita de un modelo. Esto es una serie compleja de cálculos que deben realizarse para cada arquitectura separada. Para hacer que estos cálculos sean más fáciles y rápidos, el equipo de investigación de Google diseñó Neural Tangents. Neural Tangents permite a un científico de datos utilizar solo unas pocas líneas de código y entrenar múltiples redes neuronales de anchura infinita al mismo tiempo. A menudo se entrenan múltiples redes neuronales en los mismos conjuntos de datos y se promedian sus predicciones para obtener una predicción más robusta inmune a los problemas que pueden ocurrir en cualquier modelo individual. Esta técnica se llama aprendizaje de conjuntos. Una de las desventajas del aprendizaje de conjuntos es que a menudo es computacionalmente costoso. Sin embargo, cuando se entrena una red que es infinitamente ancha, el conjunto se describe mediante un proceso gaussiano y se pueden calcular la varianza y la media.

Se compararon tres arquitecturas de redes neuronales de anchura infinita diferentes como prueba, y los resultados de la comparación se publicaron en la publicación de blog. En general, los resultados de los conjuntos de redes impulsados por procesos gaussianos son similares al rendimiento de las redes neuronales finitas regulares:

Como explica el equipo de investigación en una publicación de blog:

“Vemos que, imitando a las redes neuronales finitas, las redes de anchura infinita siguen una jerarquía de rendimiento similar, con redes completamente conectadas que funcionan peor que las redes convolucionales, que a su vez funcionan peor que las redes residuales anchas. Sin embargo, a diferencia del entrenamiento regular, la dinámica de aprendizaje de estos modelos es completamente trazable en forma cerrada, lo que permite un nuevo insight en su comportamiento.”

El lanzamiento de Neural Tangents parece estar sincronizado con la Cumbre de Desarrolladores de TensorFlow. La cumbre de desarrolladores reúne a los ingenieros de aprendizaje automático que utilizan la plataforma TensorFlow de Google. El anuncio de Neural Tangents también llega poco después de que se anunciara TensorFlow Quantum.

Neural Tangents ha sido puesto a disposición a través de GitHub y hay una notebook y tutorial de Google Colaboratory que aquellos interesados pueden acceder.