Ingenieros desarrollan método “Pájaro Tempranero” de energía eficiente para entrenar redes neuronales profundas

Los ingenieros de la Universidad de Rice han desarrollado un nuevo método para entrenar redes neuronales profundas (DNN) con una fracción de la energía normalmente requerida. Las DNN son la forma de inteligencia artificial (IA) que juega un papel clave en el desarrollo de tecnologías como los coches autónomos, asistentes inteligentes, reconocimiento facial y otras aplicaciones.

Pájaro Tempranero se detalló en un artículo el 29 de abril por investigadores de Rice y la Universidad de Texas A&M. Tuvo lugar en la Conferencia Internacional sobre Representaciones de Aprendizaje, o ICLR 2020.

Los autores principales del estudio fueron Haoran You y Chaojian Li del Laboratorio de Computación Eficiente e Inteligente (EIC) de Rice. En un estudio, demostraron cómo el método podría entrenar una DNN al mismo nivel y precisión que los métodos actuales, pero utilizando 10,7 veces menos energía.

La investigación fue dirigida por el director del Laboratorio EIC, Yingyan Lin, Richard Baraniuk de Rice y Zhangyang Wang de Texas A&M. Otros coautores incluyen a Pengfei Xu, Yonggan Fu, Yue Wang y Xiaohan Chen.

“Una fuerza impulsora importante en los avances recientes de la IA es la introducción de DNN más grandes y más costosos”, dijo Lin. “Pero entrenar estos DNN requiere una cantidad considerable de energía. Para que se produzcan más innovaciones, es fundamental encontrar métodos de entrenamiento ‘más verdes’ que aborden las preocupaciones ambientales y reduzcan las barreras financieras de la investigación de la IA”.

Costoso entrenar DNN

Puede ser muy costoso entrenar las mejores DNN del mundo, y la etiqueta de precio sigue aumentando. En 2019, un estudio dirigido por el Instituto Allen de IA en Seattle encontró que para entrenar una red neuronal profunda de alto nivel, se necesitan 300.000 veces más cálculos que en 2012-2018. Otro estudio de 2019, esta vez dirigido por investigadores de la Universidad de Massachusetts Amherst, encontró que al entrenar una sola DNN de élite, se emiten aproximadamente la misma cantidad de emisiones de dióxido de carbono que cinco automóviles estadounidenses.

Para que las DNN realicen sus tareas altamente especializadas, constan de al menos millones de neuronas artificiales. Pueden aprender a tomar decisiones, sometimes superando a los humanos, observando grandes cantidades de ejemplos. Pueden hacer esto sin necesidad de programación explícita.

Poda y entrenamiento

Lin es profesor asistente de ingeniería eléctrica y computación en la Escuela de Ingeniería Brown de Rice.

“La forma de estado del arte para realizar el entrenamiento de DNN se llama poda y entrenamiento progresivo”, dijo Lin. “Primero, entrenas una red gigante y densa, luego eliminas las partes que no parecen importantes, como podar un árbol. Luego, vuelves a entrenar la red podada para restaurar el rendimiento porque el rendimiento se degrada después de la poda. Y en la práctica, necesitas podar y volver a entrenar muchas veces para obtener un buen rendimiento”.

Este método se utiliza porque no todas las neuronas artificiales son necesarias para completar la tarea especializada. Las conexiones entre neuronas se fortalecen debido al entrenamiento, y otras pueden ser descartadas. Este método de poda reduce los costos computacionales y reduce el tamaño del modelo, lo que hace que las DNN completamente entrenadas sean más asequibles.

“El primer paso, entrenar la red gigante y densa, es el más costoso”, dijo Lin. “Nuestra idea en este trabajo es identificar la red podada completamente funcional, que llamamos el ‘boleto de pájaro tempranero’, en la etapa inicial de este costoso primer paso”.

Los investigadores hacen esto buscando patrones de conectividad de red clave, y pudieron descubrir estos boletos de pájaro tempranero. Esto les permitió acelerar el entrenamiento de la DNN.

Pájaro Tempranero en la fase inicial de entrenamiento

Lin y los otros investigadores encontraron que el Pájaro Tempranero podría aparecer una décima parte o menos de la forma a través de la fase inicial de entrenamiento.

“Nuestro método puede identificar automáticamente los boletos de pájaro tempranero dentro del primer 10% o menos del entrenamiento de las redes gigantes y densas”, dijo Lin. “Esto significa que puedes entrenar una DNN para lograr la misma o incluso mejor precisión para una tarea determinada en aproximadamente el 10% o menos del tiempo necesario para el entrenamiento tradicional, lo que puede llevar a más de una orden de ahorro en computación y energía”.

Además de ser más rápido y energéticamente eficiente, los investigadores tienen un fuerte enfoque en el impacto ambiental.

“Nuestro objetivo es hacer que la IA sea más ecológica y más inclusiva”, dijo. “El tamaño de los problemas de IA complejos ha mantenido a los jugadores más pequeños. La IA verde puede abrir la puerta para que los investigadores con una laptop o recursos computacionales limitados exploren las innovaciones de la IA”.

La investigación recibió apoyo de la Fundación Nacional de Ciencia.