No construya su inteligencia artificial empresarial con acceso prestado

Todas las aplicaciones y despliegues de inteligencia artificial empresarial se han construido hasta ahora con la suposición de que el acceso a los modelos de inteligencia artificial de vanguardia permanecerá posible y casi ilimitado. Esa era la mentalidad correcta, hasta ahora. La tendencia era que las nuevas capacidades de los modelos de vanguardia se estaban convirtiendo en bienes comunes o se estaban abriendo al código dentro de 6 meses y, por lo tanto, el enfoque se centraba solo en comprender las capacidades futuras lo antes posible. Las compañías, equipos o personas que podían construir productos al comprender y adaptarse a las nuevas capacidades de vanguardia lo antes posible para construir aplicaciones han estado ganando. Sin embargo, varias señales pueden indicar que esta era pronto terminará. La decisión del Departamento de Comercio de EE. UU. de restringir el acceso a los modelos Fable y Mythos de Anthropic a nacionales de EE. UU. fue solo una primera señal. Sin embargo, esa restricción se levantó más tarde después de la coordinación con Anthropic, lo que muestra lo rápido que pueden cambiar las condiciones de acceso y la necesidad de sistemas de inteligencia artificial empresarial adaptables.

Las cuatro razones por las que el acceso al modelo de vanguardia no está garantizado

La mentalidad de construir solo para los modelos de vanguardia puede dejar de ser la correcta si su disponibilidad deja de estar garantizada. Hay al menos cuatro razones por las que esto podría suceder. Primero, la economía de la inteligencia artificial de vanguardia se basa en un precio subsidiado que no durará. Los recientes preparativos para la oferta pública inicial de OpenAI y Anthropic los obligaron a abrir los libros y revelaron claramente el costo real de los servicios de inteligencia artificial patrocinados actuales, que pueden no ser viables económicamente después de la oferta pública inicial. Se rumorea que la suscripción privada de $200 ofrecida por Anthropic en realidad cuesta varios miles a la compañía. Por lo tanto, se espera que los precios de los tokens sigan aumentando, y la era del acceso a los modelos de vanguardia artificialmente barato terminará.

En segundo lugar, los modelos de vanguardia no se están volviendo más baratos de ejecutar. A diferencia de la informática clásica, donde la Ley de Moore redujo constantemente el costo de cualquier operación dada con el tiempo, la inteligencia artificial no parece seguir esta curva. Los modelos están creciendo pero también se están volviendo más intensivos en términos de cómputo. Todos nuestros ingenieros han agotado sus créditos de Claude dentro de 10 minutos después del (temporal) lanzamiento de Fable 5. Esto puede sugerir que los próximos modelos de vanguardia requerirán más tokens, más cómputo y más infraestructura con cada iteración.

En tercer lugar, parece que cada vez hay menos jugadores que realmente están en la carrera por los verdaderos modelos de vanguardia. Mistral, que alguna vez fue la esperanza de Europa para competir en el ámbito global de los modelos de vanguardia, ha revisado sus ambiciones para ser un modesto seguidor. Los modelos chinos son seguidores rápidos pero siguen rezagados con respecto a los mejores lanzamientos de los laboratorios líderes.

Finalmente, los modelos de vanguardia pueden ser demasiado peligrosos para ser utilizados en todas las aplicaciones. No estamos utilizando reactores nucleares miniaturizados en los automóviles, en parte porque este campo está altamente regulado y es peligroso. Los propios experimentos de Anthropic muestran que es muy difícil mantener un modelo de vanguardia bajo control para asegurarse de que permanezca inofensivo mientras se preserva su capacidad. Esto puede ser una lección real a largo plazo y la razón subyacente detrás de la regulación de EE. UU. del modelo Fable 5. En cualquier caso, es muy probable que los modelos de vanguardia sean tratados como activos estratégicos por los estados y, por lo tanto, no estarán tan libremente disponibles como lo están ahora.

Por lo tanto, podemos estar entrando en un mundo donde los costos de los tokens importan y donde los modelos de vanguardia no están disponibles para todas las aplicaciones en todos los países.

Entra la capa de aplicación

En un mundo donde no todas las llamadas al modelo van al mejor modelo disponible, ¿cómo podemos garantizar que cada tarea se resuelva de manera confiable y con el mejor nivel de rendimiento posible? La respuesta puede estar en la llamada “capa de aplicación”.

El director ejecutivo de NVIDIA, Jensen Huang, describió la inteligencia artificial como un pastel de 5 capas: energía, chips, centros de datos, modelos y aplicaciones. Argumenta que la capa de aplicación es a la vez la más importante y la que todavía está en gran medida ausente.

Para algunas aplicaciones, como los chatbots, esta capa es extremadamente delgada, esencialmente solo una interfaz de chat. En otras, como las aplicaciones industriales y de ingeniería avanzadas, es mucho más importante y crítica. Es la capa determinante en la cadena de valor. A medida que el acceso a un modelo de vanguardia específico ya no esté garantizado, el papel de la capa de aplicación será uniformizar los resultados en los modelos y mantener los costos de los tokens bajo control.

Concretamente, si quiero realizar una tarea compleja y crítica para la misión, como rediseñar mi cadena de fabricación para un nuevo modelo de avión, le pediré a un modelo de vanguardia poderoso que me ayude. El modelo puede ser capaz de averiguar cómo hacerlo solo, construir una herramienta de planificación para mí y comunicar el resultado a todos mis equipos. Sin embargo, si cambio de modelo a uno más capaz, menos costoso o de un proveedor diferente, puedo perder rendimiento o perder consistencia en mi resultado final. En muchos casos prácticos en configuraciones empresariales, esta imprevisibilidad no es aceptable. Aquí es donde la capa de aplicación juega un papel crítico: en lugar de dejar que el modelo opere en un espacio abierto y confiar en sus capacidades brutales para producir el resultado, la capa de aplicación define un lienzo claro, un conjunto limitado de acciones disponibles y un perímetro definido dentro del cual puede operar. El modelo ya no se le pide que averigüe todo desde cero, se le da un lienzo bien definido que mejorará enormemente la probabilidad de que cualquier modelo se desempeñe bien.

En términos de costo, mi modelo también puede decidir realizar acciones de bajo nivel para alcanzar su objetivo. Puede volver a escribir un algoritmo de planificación desde cero, construir una nueva interfaz para que yo visualice su trabajo o incluso desarrollar un nuevo solucionador de optimización. Pero esto puede ser increíblemente costoso en tokens, mientras que buenas directrices o herramientas preconstruidas pueden ayudar al modelo a lograr el mismo resultado con menos tokens. Este es el papel de la capa de aplicación. La buena noticia es que los modelos tienden a ser perezosos y buscan caminos más cortos, por lo que es posible que no necesitemos limitarlos demasiado una vez que tengan acceso al conjunto correcto de habilidades, herramientas y recursos de cómputo.

En resumen, una buena capa de aplicación proporcionará habilidades, herramientas y directrices claras para que el modelo opere de manera confiable y rentable. Además de mejorar el rendimiento y controlar los costos de los tokens, esto también significa que la dependencia de un modelo específico disminuye. Si incorpora su inteligencia en la capa de aplicación en lugar de en el modelo en sí, el modelo subyacente se vuelve intercambiable. En muchos casos, puede ser lo que hace la diferencia entre la inteligencia artificial empresarial experimental y escalable.

Llamada a la acción para los líderes empresariales

En todas las industrias, nos reunimos todos los días con líderes empresariales que trabajan para establecer su pila de inteligencia artificial. La mayoría de las compañías comienzan con uno o varios proveedores de modelos de vanguardia para establecer su capa de modelo necesaria en su pila. Para la capa de aplicación, confían en herramientas construidas en casa, capacidades completamente compradas o una mezcla de ambas.

La prohibición de Anthropic fue un recordatorio de que esta pila puede ser interrumpida de la noche a la mañana. Las arquitecturas de las compañías deben estar listas para cuando suceda nuevamente. Para estar preparados, las compañías deben considerar la velocidad de implementación, pero también construir soluciones que mitiguen los efectos de los cambios en los modelos, así como los crecientes costos de los tokens. No es un camino fácil, pero mi consejo sería:

• Invierta en su aplicación de manera estratégica y temprana. Las compañías que pierden el tren siempre tendrán una brecha en comparación con los adoptantes tempranos
• Haga que la agnosticidad del modelo sea un principio de diseño, no una solución
• El costo de cambiar de modelo no debe ser una pregunta existencial para sus operaciones
• Asóciese con compañías especializadas que puedan comparar modelos, validar el rendimiento en múltiples configuraciones y ayudar a garantizar garantías de rendimiento a largo plazo.

Las compañías que ganarán el juego en la próxima fase de inteligencia artificial empresarial no son necesariamente aquellas que tengan acceso a los mejores modelos, sino aquellas que habrán construido la capa correcta alrededor de ellos. Las compañías que pueden benchmarkear modelos, validar el rendimiento en múltiples configuraciones y ayudar a garantizar garantías de rendimiento a largo plazo son las que ganarán el juego en la próxima fase de inteligencia artificial empresarial.