Los costos de capacitación de IA siguen en picada

Los altos costos de capacitación de IA han sido una barrera significativa para la adopción de IA, impidiendo que muchas empresas implementen tecnología de IA. Según un informe de Forrester Consulting de 2017, el 48% de las empresas destacó los altos costos tecnológicos como una de las razones principales para no implementar soluciones impulsadas por IA.

Sin embargo, los desarrollos recientes han demostrado que los costos de capacitación de IA están disminuyendo rápidamente, y se espera que esta tendencia continúe en el futuro. Según el informe ARK Invest Big Ideas 2023, los costos de capacitación de un modelo de lenguaje grande similar al rendimiento de GPT-3 han disminuido de $4,6 millones en 2020 a $450,000 en 2022, una disminución del 70% anual.

Exploraremos esta tendencia de disminución de los costos de capacitación de IA y discutiremos los factores que contribuyen a esta disminución.

¿Cómo han cambiado los costos de capacitación de IA con el tiempo?

Según la investigación reciente de ARK Invest 2020, el costo de capacitación de modelos de aprendizaje profundo está mejorando 50 veces más rápido que la Ley de Moore. De hecho, el gasto asociado con la ejecución de un sistema de inferencia de IA ha disminuido drásticamente a niveles casi despreciables para numerosos casos de uso.

Además, los costos de capacitación han disminuido diez veces al año en los últimos años. Por ejemplo, en 2017, capacitar un clasificador de imágenes como ResNet-50 en una nube pública costaba alrededor de $1,000, pero para 2019, el costo había disminuido significativamente a aproximadamente $10.

Estos hallazgos coinciden con un informe de OpenAI de 2020, que encontró que la cantidad de potencia de cálculo necesaria para capacitar un modelo de IA para realizar la misma tarea ha disminuido en un factor de dos cada 16 meses desde 2012.

Además, el informe de ARK destaca la disminución de los costos de capacitación de IA. El informe prevé que para 2030, el costo de capacitación de un modelo de nivel GPT-3 disminuirá a $30, en comparación con $450,000 en 2022.

Costo de capacitación de un modelo de nivel GPT-3 – ARK Invest Big Ideas 2023

Factores que contribuyen a la disminución de los costos de capacitación de IA

La capacitación de modelos de IA se vuelve más barata y fácil a medida que las tecnologías de IA siguen mejorando, haciéndolas más accesibles a una amplia gama de empresas. Varios factores, incluyendo los costos de hardware y software y la IA basada en la nube, han contribuido a la disminución de los costos de capacitación de IA.

Exploraremos estos factores a continuación.

1. Hardware

La IA requiere hardware especializado de alta gama y costoso para procesar grandes volúmenes de datos y cálculos. Organizaciones como NVIDIA (NVDA ), IBM y Google (GOOGL ) proporcionan GPU y TPU para ejecutar cargas de trabajo de cálculo de alto rendimiento (HPC). Los altos costos de hardware hacen que sea difícil democratizar la IA a gran escala.

Sin embargo, a medida que avanza la tecnología, los costos de hardware disminuyen. Según el informe de ARK Invest 2023, la Ley de Wright predice que los costos de producción de unidades de cálculo relativas a la IA (RCU), es decir, los costos de hardware de capacitación de IA, deberían disminuir en un 57% anual, lo que llevaría a una reducción del 70% en los costos de capacitación de IA para 2030, como se muestra en el gráfico a continuación.

Costo de hardware de capacitación de IA – ARK Invest Big Ideas 2023

2. Software

Los costos de capacitación de software de IA se pueden reducir en un 47% anual a través de una mayor eficiencia y escalabilidad. Los marcos de software como TensorFlow y PyTorch permiten a los desarrolladores capacitar modelos de aprendizaje profundo complejos en sistemas distribuidos con alto rendimiento, ahorrando tiempo y recursos.

Además, los modelos preentrenados grandes como Inceptionv3 o ResNet y las técnicas de transferencia de aprendizaje también ayudan a reducir los costos al permitir que los desarrolladores ajusten los modelos existentes en lugar de capacitarlos desde cero.

Costo de capacitación de software de IA – ARK Invest Big Ideas 2023

3. IA basada en la nube

La capacitación de IA basada en la nube reduce los costos al proporcionar recursos de cálculo escalables a demanda. Con el modelo de pago por uso, las empresas solo pagan por los recursos de cálculo que utilizan. Además, los proveedores de la nube ofrecen servicios de IA preconstruidos que aceleran la capacitación de IA.

Por ejemplo, Azure Machine Learning es un servicio de nube para análisis predictivo que permite el desarrollo y la implementación rápidos de modelos. Ofrece recursos de cálculo flexibles y memoria. Los usuarios pueden escalar hasta miles de GPU rápidamente para aumentar su rendimiento de cálculo. Les permite trabajar a través de sus navegadores en entornos de IA preconfigurados, eliminando la sobrecarga de configuración e instalación.

El impacto de la disminución de los costos de capacitación de IA

La disminución de los costos de capacitación de IA tiene implicaciones significativas para diversas industrias y campos, lo que resulta en una mayor innovación y competitividad.

Discutamos algunos de ellos a continuación.

1. Adopción masiva de chatbots de IA sofisticados

Los chatbots de IA están en auge debido a la disminución de los costos de IA. Especialmente después del desarrollo de ChatGPT y GPT-4 (Generative Pre-trained Transformer) de OpenAI, ha habido un aumento notable en el número de empresas que buscan desarrollar chatbots de IA con capacidades similares o mejores.

Por ejemplo, cinco días después de su lanzamiento en noviembre de 2022, ChatGPT reunió 1 millón de usuarios. Aunque hoy en día, el costo de ejecutar el modelo a escala es de aproximadamente $0,01 por consulta, la Ley de Wright predice que para 2030, las aplicaciones de chatbot similares a ChatGPT serán desplegables a gran escala a un costo mucho menor (estimado en $650 para ejecutar 1.000 millones de consultas), con el potencial de procesar 8.500 millones de búsquedas por día, equivalente a Google Search.

Costo de ejecutar inferencias de IA por mil millones de consultas – ARK Invest Big Ideas 2023

2. Aumento del uso de IA generativa

La disminución de los costos de capacitación de IA ha llevado a un aumento en el desarrollo y la implementación de tecnologías de IA generativa. En 2022, hubo un aumento significativo en el uso de IA generativa, impulsado por la introducción de herramientas de IA generativa innovadoras como DALL-E 2, Meta Make-A-Video y Stable Diffusion. En 2023, ya hemos presenciado un modelo innovador en la forma de GPT-4.

Además de la generación de imágenes y texto, la IA generativa está ayudando a los desarrolladores a escribir código. Programas como GitHub Copilot pueden ayudar a completar una tarea de codificación en la mitad del tiempo.

Tiempo para completar tareas de codificación – ARK Invest Big Ideas 2023

3. Mejor uso de los datos de capacitación

Se espera que la reducción de los costos de capacitación de IA permita un mejor uso de los datos de capacitación de aprendizaje automático. Por ejemplo, el informe de ARK Invest 2023 sugiere que para 2030, el costo de capacitación de un modelo con 57 veces más parámetros y 720 veces más tokens que GPT-3 (175B parámetros) se proyecta que disminuirá de $17 mil millones a $600,000.

La disponibilidad y calidad de los datos serán el factor limitante principal para el desarrollo de modelos de aprendizaje automático avanzados en este mundo de cálculo de bajo costo. Sin embargo, los modelos de capacitación desarrollarán la capacidad de procesar un estimado de 162 billones de palabras o 216 billones de tokens.

El futuro de la IA se ve muy prometedor. Para obtener más información sobre las últimas tendencias y investigaciones en el campo de la inteligencia artificial, visite Unite.ai.