Las IA compiten en la competencia de aprendizaje automático de Minecraft

Según informa Nature, pronto se llevará a cabo una nueva competencia de IA, la competencia MineRL, que animará a los ingenieros y codificadores de IA a crear programas capaces de aprender a través de la observación y el ejemplo. El caso de prueba para estos sistemas de IA será el muy popular juego de video de crafting y supervivencia Minecraft.

Los sistemas de inteligencia artificial han logrado algunos logros impresionantes recientemente en lo que respecta a los videojuegos. Recientemente, una IA superó a los mejores jugadores humanos del mundo en el juego de estrategia StarCraft II. Sin embargo, StarCraft II tiene objetivos definibles que son más fáciles de desglosar en pasos coherentes que una IA puede utilizar para entrenar. Una tarea mucho más difícil es que una IA aprenda a navegar en un juego de mundo abierto y sandbox como Minecraft. Los investigadores están tratando de ayudar a los programas de IA a aprender a través de la observación y el ejemplo, y si tienen éxito, podrían reducir sustancialmente la cantidad de potencia de procesamiento necesaria para entrenar a un programa de inteligencia artificial.

Los participantes en la competencia tendrán cuatro días para crear una IA que se probará con Minecraft, tomando hasta ocho millones de pasos para entrenar su IA. El objetivo de la IA es encontrar un diamante dentro del juego excavando. Ocho millones de pasos de entrenamiento es un período de tiempo mucho más corto que el tiempo necesario para entrenar a modelos de IA potentes en la actualidad, por lo que los participantes en la competencia necesitan ingeniar métodos que mejoren drásticamente los métodos de entrenamiento actuales.

Los enfoques que utilizan los participantes se basan en un tipo de aprendizaje llamado aprendizaje por imitación. El aprendizaje por imitación se diferencia del aprendizaje por refuerzo, que es un método popular para entrenar sistemas sofisticados como brazos robóticos en fábricas o las IA capaces de superar a los jugadores humanos en StarCraft II. La principal desventaja de los algoritmos de aprendizaje por refuerzo es que requieren una gran cantidad de potencia de procesamiento para entrenar, dependiendo de cientos o incluso miles de computadoras conectadas para aprender. Por el contrario, el aprendizaje por imitación es un método de entrenamiento mucho más eficiente y menos costoso en términos computacionales. Los algoritmos de aprendizaje por imitación tratan de imitar cómo los humanos aprenden a través de la observación.

William Guss, candidato a doctorado en teoría de aprendizaje profundo en la Universidad Carnegie Mellon, explicó a Nature que hacer que una IA explore y aprenda patrones en un entorno es una tarea tremendamente difícil, pero el aprendizaje por imitación proporciona a la IA una base de conocimientos o suposiciones previas sobre el entorno. Esto puede hacer que el entrenamiento de una IA sea mucho más rápido en comparación con el aprendizaje por refuerzo.

Minecraft sirve como un entorno de entrenamiento particularmente útil por varias razones. Una razón es que Minecraft permite a los jugadores utilizar bloques de construcción simples para crear estructuras y objetos complejos, y los muchos pasos necesarios para crear estas estructuras sirven como marcadores tangibles de progreso que los investigadores pueden utilizar como métricas. Minecraft también es extremadamente popular, y debido a esto, es relativamente fácil recopilar datos de entrenamiento. Los organizadores de la competencia MineRL reclutaron a muchos jugadores de Minecraft para demostrar una variedad de tareas como crear herramientas y romper bloques. Al subcontratar la generación de datos, los investigadores pudieron capturar 60 millones de ejemplos de acciones que se podrían tomar en el juego. Los investigadores proporcionaron aproximadamente 1000 horas de video a los equipos de la competencia.

Utilice el conocimiento que los humanos han construido, dice Rohin Shah, candidato a doctorado en ciencias de la computación en la Universidad de California, Berkeley, explicó a Nature que esta competencia es probablemente la primera en centrarse en utilizar el conocimiento que los humanos ya han generado para acelerar el entrenamiento de la IA.

Guss y los otros investigadores están esperanzados de que el concurso pueda tener resultados con implicaciones más allá de Minecraft, lo que daría lugar a mejores algoritmos de aprendizaje por imitación y inspiraría a más personas a considerar el aprendizaje por imitación como una forma viable de entrenar a una IA. La investigación podría potencialmente ayudar a crear IA que sean mejores capaces de interactuar con las personas en entornos complejos y cambiantes.