Para reducir los costos de la IA, comience con el gasto en la nube

La llamada “parte desordenada” de la IA puede haber alcanzado su mayor desorden hasta ahora.

A medida que una escasez global de hardware choca con una gran demanda, los costos de la IA han aumentado vertiginosamente. En una lucha por más capacidad de cómputo, las empresas de servicios de IA no han tenido más remedio que aumentar sus precios y revisar sus modelos de facturación, sacando los presupuestos de equilibrio y descarrilando la innovación justo cuando muchas organizaciones estaban alcanzando finalmente su ritmo.

El resultado es más que un choque de precios: es una crisis existencial para un mundo empresarial que efectivamente acaba de tener una. Las empresas han rehecho sus hojas de ruta para acomodar el impacto de la IA. Los equipos han reorganizado sus flujos de trabajo en línea con las capacidades de la IA. La habilitación de la IA se ha convertido en el principal diferenciador competitivo de las organizaciones. La IA se introdujo en el campo, iniciando una transformación masiva, y ahora los equipos se les pide que se retiren cuando apenas han comenzado a operacionalizarla.

Empresas como Uber han hecho titulares al colocar límites agresivos en el uso de la IA para contener el flujo. Pero mientras que los límites de uso pueden ser una medida efectiva de reducción de costos, no son la única forma en que las empresas pueden reducir su gasto en cómputo.

El primer lugar que deben buscar es su factura de la nube.

Parece contradictorio. Mientras que la fórmula siempre ha sido que más potencia de cómputo equivale a más impacto de la IA, eso no necesariamente la hace más eficiente. Las empresas están sangrando sus presupuestos en servicios de IA mientras aún confían en infraestructuras sobredimensionadas y sobrevaloradas; los crecientes costos de la IA simplemente están exponiendo un problema profundamente arraigado que las empresas ya no pueden ignorar.

Cómo se acumula el gasto en la nube

El gasto en infraestructura de TI es a menudo el segundo artículo más grande de una organización después de la nómina, que representa un promedio de 10% de los ingresos anuales de una empresa – una cifra que la demanda de IA ha empujado hacia arriba en los últimos años. Pero muchos están agregando volumen a un marco de TI ya inflado.

Los CTO y otros responsables de la toma de decisiones tecnológicas se sienten atraídos por lo que es familiar y confiable. Desafortunadamente, esto también es lo que está aumentando sus facturas de la nube. Al aceptar lo probado y verdadero, se están encerrando en acuerdos de un tamaño único con grandes proveedores de servicios en la nube, donde pagan por soluciones que no generan valor.

Con el tiempo, descubren que están pagando por servicios inactivos o no utilizados, hardware no optimizado y almacenamiento vacío, cuando podrían estar invirtiendo ese dinero en innovación de IA. Con la IA volviéndose cada vez más costosa, necesitarán cada dólar que puedan obtener.

Ajustar el tamaño de la infraestructura para la eficiencia de la IA

Controlar el crecimiento descontrolado de la nube requiere una combinación de acción aguda a corto plazo y evolución a largo plazo. Abordar lo que se puede solucionar hoy les da a las empresas espacio para respirar y planificar ajustes más grandes durante el próximo año.

Transicionar a una nueva infraestructura lleva tiempo, y las organizaciones necesitan soluciones ahora para que sus equipos puedan seguir trabajando con la IA. Aquí hay tres pasos que las empresas pueden tomar de inmediato para modular su gasto en la nube:

1 – Analizar el uso de CPU y memoria

Hay algo así como “demasiado” rendimiento. Los equipos de TI deben realizar un diagnóstico exhaustivo del uso de los servicios en la nube, y luego degradar las instancias que exceden los requisitos de rendimiento. Un análisis profundo del uso de la nube también ayuda a los equipos a descubrir características y infraestructuras que no se están utilizando en absoluto; si su contrato actual lo permite, es posible que puedan desmantelar estos servicios o negociar un pago más bajo durante el resto del contrato. De lo contrario, identificar características no utilizadas proporciona un marco valioso para determinar los parámetros de su enfoque de nube reconfigurado.

A medida que las empresas cambian su estrategia de infraestructura, querrán optar por servicios en la nube que economizen el uso de la memoria. Por ejemplo, la infraestructura optimizada para la memoria y los vCPUs ofrecen un soporte más asequible para el soporte de nivel empresarial en comparación con las optimizaciones basadas en Arm que suelen ofrecer los proveedores de servicios en la nube. Esto alivia parte de la carga de monitoreo de los equipos de TI, al mismo tiempo que disminuye el gasto total en la nube.

2 – Establecer límites estrictos de gasto

Los límites de gasto y uso han sido la respuesta del sector tecnológico a los aumentos de precios de la IA, pero no es solo establecer los límites lo que importa. Es cómo se definen, se comunican y se aplican esos límites.

En primer lugar, los límites de gasto deben ser específicos del uso. Los líderes deben poder utilizarlos como guía para la planificación de proyectos y la asignación de recursos, lo que les permite estructurar presupuestos, plazos y equipos de proyecto individuales con miras a la eficiencia.

En cuanto a la comunicación, es crucial que toda la fuerza laboral comprenda el por qué detrás de los límites. Estamos acostumbrados a ver lo digital como infinito, pero en esta fase del auge de la IA, estamos enfrentando las leyes de la física. A medida que las escasez y los cambios en la facturación impactan los flujos de trabajo diarios de los empleados, los límites de gasto deben presentarse como una forma sostenible de mantener su nueva dependencia de las herramientas impulsadas por la IA, en lugar de una restricción.

3 – Hacer cumplir los protocolos de etiquetado

Los protocolos de etiquetado evitan el uso no gestionado de TI que sube silenciosamente los gastos de cómputo. Con un código de etiquetado robusto, los líderes de TI pueden obtener una mejor comprensión del tráfico de los servicios en la nube, lo que permite a los equipos apuntar a la fuente del uso excesivo y hacer ajustes estratégicos para recortar recursos donde se produce la inflación. Al mismo tiempo, los protocolos de etiquetado también pueden mostrar dónde los equipos pueden necesitar una actualización.

A medida que los contratos de nube existentes de las empresas expiren, tienen la oportunidad de reestructurar su ecosistema de cómputo con un enfoque de nube múltiple y componible. Esto no necesariamente significa abandonar a sus socios de proveedores de servicios en la nube de larga data, sino reducir sus contratos para armonizarlos con infraestructuras más eficientes en otras partes de la pila. Las soluciones de nube alternativas, soluciones de borde que descargan la carga de la infraestructura basada en GPU, y las soluciones de software de código abierto componen una estrategia de múltiples proveedores flexible que hace más que simplemente ahorrar costos: aumenta el ROI de cada iniciativa de IA al maximizar el precio por rendimiento, lo que permite a las empresas invertir los ahorros en innovación de IA.

Reconfigurando la mentalidad de la eficiencia

Administrar el gasto de la IA también es un problema de cultura. Las fuerzas laborales habilitadas por la IA están notablemente obsesionadas con la eficiencia. Es por eso que están construyendo agentes, automatizando sus comunicaciones y dejando que la IA haga el trabajo pesado mientras expanden su capacidad para la creatividad y la innovación. Pero el uso irresponsable de estas herramientas tiene el efecto contrario.

El “tokenmaxxing” y otras tendencias que fomentan el uso derrochador de la IA son incompatibles con un sesgo hacia la eficiencia. Si los equipos quieren realmente hacer más con menos, su interacción con la IA debe reflejar ese principio.

Esto requiere cambiar la cultura y la tecnología al mismo tiempo. Fomentar el uso de mejores instrucciones para reducir la carga de inferencia, pero también adoptar infraestructuras que economizan automáticamente la inferencia. Adoptar modelos de IA más pequeños con casos de uso de precisión. Aceptar modelos y software de código abierto para reducir las cargas de trabajo de entrenamiento. Empoderar a los desarrolladores para resolver problemas de manera eficiente y educar a los usuarios no técnicos de la IA. Las empresas que desean fomentar el uso responsable de la IA por parte de sus empleados deben hacerlo de manera responsable.

A pesar de los aumentos de precios, no hemos aplicado los frenos a la transformación de la IA. Operacionalizar la IA a gran escala siempre fue una empresa costosa, que requiere una planificación cuidadosa y una asignación estratégica de capital para seguir siendo sostenible. Donde estamos es un punto de estrangulamiento: los movimientos que los líderes de TI hacen ahora determinarán quién pasa y quién se queda atrás.

Mientras que la industria se moviliza para resolver la creciente crisis de cómputo, las empresas necesitan encontrar formas de hacer lo mejor con lo que tienen. Las empresas pueden protegerse contra el gasto astronómico de la IA abordando el gasto excesivo en soluciones en la nube, economizando la inferencia en una nube distribuida y invirtiendo en infraestructuras que promuevan un ROI real.