Crecer y podar la estrategia de IA parece reducir el consumo de energía de la IA

El cerebro humano opera con una estrategia de “crecer y podar”, inicialmente comenzando con una gran cantidad de conexiones neuronales y luego eliminando las conexiones no utilizadas con el tiempo. Recientemente, un equipo de investigadores de IA ha aplicado este enfoque a los sistemas de IA y ha descubierto que podría reducir sustancialmente la cantidad de energía necesaria para entrenar a una IA.

Un equipo de investigadores de la Universidad de Princeton creó recientemente un nuevo método de entrenamiento de sistemas de inteligencia artificial. Este nuevo método de entrenamiento parece capaz de cumplir o superar los estándares de la industria en cuanto a precisión, pero puede lograrlo mientras consume mucha menos potencia computacional, y por lo tanto menos energía, que los modelos de aprendizaje automático tradicionales. A lo largo de dos artículos diferentes, los investigadores de Princeton demostraron cómo crecer una red agregando neuronas y conexiones a ella. Las conexiones no utilizadas se eliminaron con el tiempo, dejando solo las partes más efectivas y eficientes del modelo.

Niraj Jha, profesor de Ingeniería Eléctrica en Princeton, explicó a Princeton News que el modelo desarrollado por los investigadores opera en un “paradigma de crecer y podar”. Jha explicó que el cerebro humano es el más complejo que será alrededor de los tres años de edad, y después de este punto el cerebro comienza a eliminar las conexiones sinápticas no necesarias. Como resultado, el cerebro completamente desarrollado puede realizar todas las tareas extremadamente complejas que realizamos todos los días, pero utiliza alrededor de la mitad de todas las sinapsis que tenía en su punto máximo. Jha y los otros investigadores imitaron esta estrategia para mejorar el entrenamiento de la IA.

Jha explicó:

“Nuestro enfoque es lo que llamamos un paradigma de crecer y podar. Es similar a lo que hace el cerebro desde que somos un bebé hasta que somos un niño pequeño. En su tercer año, el cerebro humano comienza a cortar las conexiones entre las células del cerebro. Este proceso continúa hasta la edad adulta, de modo que el cerebro completamente desarrollado opera a aproximadamente la mitad de su pico sináptico. El cerebro adulto se especializa en lo que hemos entrenado. No es tan bueno para el aprendizaje de propósito general como el cerebro de un niño pequeño”.

Gracias a la técnica de crecer y podar, se pueden hacer predicciones igualmente buenas sobre patrones en los datos utilizando solo una fracción de la potencia computacional que se requería anteriormente. Los investigadores están tratando de encontrar métodos para reducir el consumo de energía y el costo computacional, ya que hacerlo es clave para llevar el aprendizaje automático a dispositivos pequeños como teléfonos y relojes inteligentes. Reducir la cantidad de energía consumida por los algoritmos de aprendizaje automático también puede ayudar a la industria a reducir su huella de carbono. Xiaoliang Dai, el primer autor de los artículos, explicó que los modelos necesitan ser entrenados localmente debido a que la transmisión a la nube requiere mucha energía.

Durante el transcurso del primer estudio, los investigadores trataron de desarrollar una herramienta de creación de redes neuronales que pudieran utilizar para ingenierizar redes neuronales y recrear algunas de las redes de mejor rendimiento desde cero. La herramienta se llamaba NeST (Herramienta de síntesis de redes neuronales), y cuando se le proporcionan solo unas pocas neuronas y conexiones, rápidamente aumenta en complejidad agregando más neuronas a la red. Una vez que la red cumple con un benchmark seleccionado, comienza a podarse con el tiempo. Si bien los modelos de red anteriores han utilizado técnicas de poda, el método ingenierizado por los investigadores de Princeton fue el primero en tomar una red y simular etapas de desarrollo, pasando de “bebé” a “niño pequeño” y finalmente a “cerebro adulto”.

Durante el segundo artículo, los investigadores colaboraron con un equipo de la Universidad de California-Berkeley y Facebook (META ) para mejorar su técnica utilizando una herramienta llamada Chameleon. Chameleon es capaz de comenzar con el punto de llegada deseado, los resultados deseados, y trabajar hacia atrás para construir el tipo correcto de red neuronal. Esto elimina mucha de la conjetura involucrada en ajustar manualmente una red, lo que da a los ingenieros puntos de partida que probablemente sean inmediatamente útiles. Chameleon predice el rendimiento de diferentes arquitecturas bajo diferentes condiciones. Combinar Chameleon y el marco de NeST podría ayudar a las organizaciones de investigación que carecen de recursos computacionales pesados a aprovechar el poder de las redes neuronales.