Por qué el modelo de inteligencia artificial Orca-2 de Microsoft marca un avance significativo en la inteligencia artificial sostenible

A pesar de los notables avances logrados por la inteligencia artificial en la última década, que incluyen derrotar a campeones humanos en juegos estratégicos como Ajedrez y Go y predecir la estructura tridimensional de las proteínas, la adopción generalizada de modelos de lenguaje grande (LLMs) significa un cambio de paradigma. Estos modelos, que están a punto de transformar las interacciones entre humanos y computadoras, se han vuelto indispensables en various sectores, incluyendo la educación, los servicios al cliente, la recuperación de información, el desarrollo de software, los medios y la atención médica. Mientras que estos avances tecnológicos desbloquean descubrimientos científicos y impulsan el crecimiento industrial, existe un inconveniente notable para el planeta.

El proceso de entrenar y utilizar LLMs consume una cantidad enorme de energía, lo que resulta en un impacto ambiental sustancial marcado por un aumento de la huella de carbono y las emisiones de gases de efecto invernadero. Un estudio reciente de la Facultad de Información y Ciencias de la Computación de la Universidad de Massachusetts Amherst reveló que el entrenamiento de LLMs puede emitir más de 626,000 libras de dióxido de carbono, aproximadamente equivalente a las emisiones de cinco automóviles durante su vida útil. Hugging Face, una startup de inteligencia artificial, encontró que el entrenamiento de BLOOM, un modelo de lenguaje grande lanzado anteriormente en el año, generó 25 toneladas métricas de emisiones de dióxido de carbono. De manera similar, el modelo de inteligencia artificial de Facebook , Meena, acumula una huella de carbono similar al impacto ambiental de conducir un automóvil durante más de 240,000 millas durante su proceso de entrenamiento.

A pesar del entrenamiento de LLMs, la demanda de computación en la nube, crucial para LLMs, ahora contribuye con más emisiones que la industria aérea en su conjunto. Un solo centro de datos puede consumir tanta energía como 50,000 hogares. Otro estudio destaca que el entrenamiento de un solo modelo de lenguaje grande puede liberar tanto CO2 como cinco automóviles que utilizan energía durante toda su vida útil. Las predicciones sugieren que las emisiones de inteligencia artificial aumentarán un 300% para 2025, lo que subraya la urgencia de equilibrar el progreso de la inteligencia artificial con la responsabilidad ambiental y promover iniciativas para hacer que la inteligencia artificial sea más ecológica. Para abordar el impacto ambiental adverso de los avances de la inteligencia artificial, la inteligencia artificial sostenible está surgiendo como un campo de estudio crucial.

Inteligencia artificial sostenible

La inteligencia artificial sostenible representa un cambio de paradigma en el desarrollo y la implementación de sistemas de inteligencia artificial, centrándose en minimizar el impacto ambiental, consideraciones éticas y beneficios sociales a largo plazo. El enfoque tiene como objetivo crear sistemas inteligentes que sean eficientes en términos de energía, responsables con el medio ambiente y alineados con los valores humanos. La inteligencia artificial sostenible se centra en el uso de energías limpias para computadoras, algoritmos inteligentes que utilizan menos energía y en seguir pautas éticas para garantizar decisiones justas y transparentes. Es importante destacar que existe una diferencia entre inteligencia artificial para la sostenibilidad y la inteligencia artificial sostenible; la primera puede involucrar el uso de la inteligencia artificial para optimizar procesos existentes sin considerar necesariamente sus consecuencias ambientales o sociales, mientras que la segunda integra activamente principios de sostenibilidad en cada fase del desarrollo de la inteligencia artificial, desde el diseño hasta la implementación, para crear un impacto positivo y duradero en el planeta y la sociedad.

De LLMs a Modelos de Lenguaje Pequeños (SLMs)

En la búsqueda de la inteligencia artificial sostenible, Microsoft (MSFT ) está trabajando en el desarrollo de Modelos de Lenguaje Pequeños (SLMs) para alinearse con las capacidades de los Modelos de Lenguaje Grande (LLMs). En este esfuerzo, recientemente presentaron Orca-2, diseñado para razonar como GPT-4. A diferencia de su predecesor, Orca-1, que cuenta con 13 mil millones de parámetros, Orca-2 contiene 7 mil millones de parámetros utilizando dos técnicas clave.

1. Ajuste de instrucción: Orca-2 mejora aprendiendo de ejemplos, mejorando su calidad de contenido, capacidades de disparo cero y habilidades de razonamiento en varias tareas.
2. Ajuste de explicación: Reconociendo las limitaciones del ajuste de instrucción, Orca-2 introduce el Ajuste de Explicación. Esto implica crear explicaciones detalladas para modelos de enseñanza, enriqueciendo señales de razonamiento y mejorando la comprensión general.

Orca-2 utiliza estas técnicas para lograr un razonamiento altamente eficiente, comparable a lo que los LLMs logran con muchos más parámetros. La idea principal es permitir que el modelo descubra la mejor manera de resolver un problema, ya sea dando una respuesta rápida o pensando en ello paso a paso. Microsoft llama a esto “Razonamiento Cauteloso”.

Para entrenar a Orca-2, Microsoft crea un nuevo conjunto de datos de entrenamiento utilizando anotaciones FLAN, Orca-1 y el conjunto de datos de Orca-2. Comienzan con preguntas fáciles, agregan algunas complicadas y luego utilizan datos de modelos de conversación para hacerlo aún más inteligente.

Orca-2 se somete a una evaluación exhaustiva, que cubre el razonamiento, la finalización de texto, la fundamentación, la veracidad y la seguridad. Los resultados muestran el potencial de mejorar el razonamiento de los SLM a través de un entrenamiento especializado en datos sintéticos. A pesar de algunas limitaciones, los modelos Orca-2 muestran promesa para futuras mejoras en el razonamiento, el control y la seguridad, demostrando la efectividad de aplicar datos sintéticos estratégicamente en el refinamiento del modelo después del entrenamiento.

Importancia de Orca-2 hacia la inteligencia artificial sostenible

Orca-2 representa un salto significativo hacia la inteligencia artificial sostenible, desafiando la creencia prevaleciente de que solo los modelos más grandes, con su consumo sustancial de energía, pueden avanzar realmente en las capacidades de la inteligencia artificial. Este modelo de lenguaje pequeño presenta una perspectiva alternativa, sugiriendo que lograr la excelencia en los modelos de lenguaje no necesariamente requiere enormes conjuntos de datos y una gran potencia de cómputo. En cambio, subraya la importancia del diseño inteligente y la integración efectiva.

Este avance abre nuevas posibilidades al promover un cambio de enfoque, desde simplemente ampliar la inteligencia artificial hasta centrarse en cómo la diseñamos. Esto marca un paso crucial para hacer que la inteligencia artificial avanzada sea más accesible a una audiencia más amplia, garantizando que la innovación sea inclusiva y llegue a una mayor variedad de personas y organizaciones.

Orca-2 tiene el potencial de tener un impacto significativo en el desarrollo de futuros modelos de lenguaje. Ya sea que se trate de mejorar tareas relacionadas con el procesamiento del lenguaje natural o de permitir aplicaciones de inteligencia artificial más sofisticadas en various industrias, estos modelos más pequeños están a punto de generar cambios positivos sustanciales. Además, actúan como pioneros en la promoción de prácticas de inteligencia artificial más sostenibles, alineando el progreso tecnológico con un compromiso con la responsabilidad ambiental.

En resumen:

El modelo de inteligencia artificial Orca-2 de Microsoft representa un movimiento innovador hacia la inteligencia artificial sostenible, desafiando la creencia de que solo los modelos grandes pueden avanzar en la inteligencia artificial. Al priorizar el diseño inteligente sobre el tamaño, Orca-2 abre nuevas posibilidades, ofreciendo un enfoque más inclusivo y responsable con el medio ambiente para el desarrollo de inteligencia artificial avanzada. Este cambio marca un paso significativo hacia un nuevo paradigma en el diseño de sistemas inteligentes.