Entrevistas

Sadeepa Wijesekara, vicepresidente de Private Cloud AI en HPE: serie de entrevistas

Antoine Tardif
Añade Unite.AI a tus fuentes preferidas en Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Puntos claveLa economía de la IA se convierte en una disciplina empresarial solo cuando los pilotos…
Ver más
  • La economía de la IA se convierte en una disciplina empresarial solo cuando los pilotos escalan a producción y finanzas se suma a la conversación.
  • El costo por token mide el consumo mientras que el costo por resultado empresarial revela si la inversión realmente tiene sentido.
  • Los flujos de trabajo agénticos pueden multiplicar drásticamente el consumo de tokens incluso mientras los precios de inferencia continúan disminuyendo.

Sadeepa Wijesekara es vicepresidente de Private Cloud AI en Hewlett Packard Enterprise (HPE), donde dirige el trabajo sobre software y plataformas de IA empresarial para entornos de nube privada. Su labor incluye ayudar a las organizaciones a implementar la IA de forma segura y a gran escala, conectando al mismo tiempo las decisiones sobre infraestructura con las necesidades del negocio. Aporta una perspectiva de ingeniería a la economía de la IA en producción, que abarca la gestión de cargas de trabajo, la selección de modelos y los costos de mantener la fiabilidad de sistemas cada vez más autónomos.

Hewlett Packard Enterprise (HPE) ofrece tecnología empresarial en ámbitos como la IA, la nube, las redes, la computación y el almacenamiento. Su cartera Private Cloud AI ayuda a las organizaciones a implementar cargas de trabajo de IA en infraestructuras que controlan, junto con servicios de nube híbrida y servicios externos. En esta entrevista, Wijesekara explica por qué el gasto en IA debe evaluarse en función de los resultados empresariales, cómo los flujos de trabajo con agentes modifican el consumo y qué factores financieros y operativos influyen en las decisiones sobre modelos, orquestación e infraestructura.

HPE ha ampliado la adopción de la IA a más de 70.000 empleados. ¿Qué les ha enseñado esa experiencia sobre cuándo la economía de la IA deja de ser una cuestión de TI y se convierte en una disciplina empresarial más amplia?

La economía de la IA se convierte en una disciplina empresarial más amplia cuando las empresas pasan de los proyectos piloto a la producción. Un proyecto piloto puede mostrar si la IA es capaz de realizar una tarea, pero también puede ocultar ineficiencias porque hay pocos usuarios. Cuando se pasa de 10 a 10.000 usuarios, hay que tener en cuenta los costos, la latencia y la fiabilidad, además de comprender el valor que genera la IA. En ese momento, la conversación debe incluir al área financiera y a los responsables de los procesos empresariales a los que da soporte la IA. El departamento de TI puede medir los recursos que consume una aplicación, pero los líderes empresariales deben determinar si los resultados justifican esa inversión.

Muchas organizaciones siguen centrándose en gran medida en métricas como el costo por token al evaluar la IA generativa. ¿Por qué considera que el costo por resultado empresarial es una medida más significativa y cómo deberían calcularlo las empresas en la práctica?

El costo por token indica cuánta IA se ha consumido, pero no permite saber si ese consumo produjo un resultado útil. Las empresas deberían definir primero el resultado empresarial y luego calcular el costo total necesario para obtenerlo. El modelo es solo una parte de ese costo, al que se suman el software, el almacenamiento, el movimiento de datos, la gobernanza y el personal. Comparar esos costos con el valor generado en un proceso empresarial específico permite a las empresas evaluar mejor si la inversión tiene sentido económico.

A medida que la IA pasa de los copilotos individuales a sistemas con agentes y multiagente capaces de ejecutar largas secuencias de tareas, ¿cuánto podría aumentar el consumo, aunque el costo subyacente de la inferencia siga disminuyendo?

El consumo puede aumentar muy rápidamente porque una solicitud de un usuario puede desencadenar mucho más trabajo entre bastidores. Un agente puede recuperar información y llamar a herramientas mientras completa varios pasos antes de generar un resultado. En una comparación representativa de HPE, una interacción básica con un chatbot utilizó unos 400 tokens, mientras que una solicitud de RAG agéntica utilizó unos 21.500. Aunque bajen los precios de los tokens, el consumo total puede aumentar considerablemente a medida que la IA asume tareas más complejas.

¿Cómo deberían evaluar las empresas si un caso de uso de IA está generando realmente valor económico, en lugar de limitarse a mejorar métricas de productividad o producir demostraciones impresionantes?

Antes de ampliarse, un caso de uso debe estar vinculado a un análisis de viabilidad empresarial con indicadores clave de rendimiento (KPI) claros. Las empresas deben comprender cuánto cuesta el proceso empresarial y cómo cambia ese costo al introducir la IA. También deben distinguir entre una mejora en una actividad y una mejora en el resultado empresarial. El tiempo ahorrado adquiere más valor cuando permite resolver más problemas de los clientes, reducir errores o completar tareas que antes quedaban sin hacer. La evaluación debe tener en cuenta la calidad del resultado y cualquier revisión o corrección adicional necesaria. Una demostración exitosa prueba una capacidad; las mejoras medibles en el proceso empresarial respaldan la decisión de ampliarla. En algunos casos, ese análisis puede indicar que la IA no es la solución adecuada.

La selección dinámica de modelos y la orquestación de la IA se mencionan cada vez más como formas de controlar los costos. ¿Cuánto valor pueden obtener las empresas al elegir dinámicamente entre modelos más pequeños, modelos de vanguardia, modelos especializados y software tradicional, según la tarea?

Hay mucho valor en adaptar el modelo a la tarea. Hemos visto empresas enviar cargas de trabajo muy distintas al mismo modelo de frontera, que es costoso, porque al principio su prioridad era poner en marcha la IA. Esto puede ser manejable cuando hay pocos usuarios, pero los costos aumentan rápidamente a medida que se amplía la adopción. Un modelo de frontera puede ser adecuado para tareas de razonamiento complejo, mientras que uno más pequeño puede bastar para una tarea rutinaria. Un modelo especializado puede ser más apropiado para un ámbito concreto, y el software tradicional puede gestionar con mayor eficiencia las tareas predecibles y basadas en reglas. La orquestación permite integrar esas opciones en un flujo de trabajo y recurrir a un modelo más capaz cuando la tarea lo exige. A medida que los modelos de pesos abiertos se vuelven más capaces, las empresas también tienen más oportunidades de ejecutar determinadas cargas de trabajo en su propia infraestructura, en lugar de pagar por modelos externos. A escala empresarial, esas decisiones de enrutamiento pueden reducir considerablemente los costos sin dejar de ofrecer la calidad que requiere el negocio.

¿En qué momento cambia la economía de ejecutar cargas de trabajo de IA: de alquilar capacidad de cómputo mediante una API o una nube pública a poseer o controlar una mayor parte de la infraestructura subyacente? ¿Qué variables deberían tener en cuenta las empresas al tomar esa decisión?

Lo veo como la diferencia entre alquilar y comprar. Alquilar puede tener sentido mientras las empresas están experimentando o cuando la demanda varía mucho. A medida que el uso aumenta y se vuelve más predecible, poseer o controlar una mayor parte de la infraestructura puede empezar a ser económicamente conveniente. Ser propietario de la infraestructura también permite realizar experimentos adicionales de IA en períodos de baja utilización y aprovechar mejor una inversión ya realizada. Las empresas deben tener en cuenta las características de la carga de trabajo, así como los costos de energía, gestión y actualización de los sistemas. Para muchas grandes empresas, lo más conveniente probablemente será combinar infraestructura privada y servicios externos, según la carga de trabajo.

HPE ha ampliado su infraestructura privada de IA a medida que las empresas trasladan más cargas de trabajo a entornos de producción. ¿En qué casos cree que la IA privada ofrece la mayor ventaja económica frente al uso exclusivo de servicios de nube pública?

La IA privada puede ofrecer una sólida ventaja económica en el caso de cargas de trabajo sostenidas para las que las empresas puedan aprovechar eficazmente la capacidad que poseen. En un análisis de HPE basado en determinados supuestos sobre las cargas de trabajo, se estimó que HPE Private Cloud AI costaba unos 45 dólares por hora de nodo, frente a unos 102 dólares para una configuración equivalente alquilada en la nube. Los resultados variarán según la carga de trabajo y deberían volver a calcularse para cada entorno. La IA privada también ofrece a las empresas otro modelo financiero, en el que la infraestructura se convierte en un activo que genera valor para la organización.

Los agentes de IA generan costos que van más allá de la inferencia, como la recuperación de datos, las llamadas a herramientas, la supervisión, la seguridad y la gobernanza. ¿Qué costos es más probable que las organizaciones subestimen al presupuestar la IA agéntica a gran escala?

Creo que es probable que las empresas subestimen el trabajo necesario para que los agentes sigan siendo fiables, seguros y útiles con el paso del tiempo. Además de la inferencia, hay costos asociados a la recuperación y preparación de datos, el acceso a herramientas externas y el traslado de información entre sistemas. Las llamadas repetidas a herramientas o los intentos fallidos pueden generar gastos sin completar la tarea. Las empresas también deben presupuestar la evaluación de resultados, la supervisión del comportamiento de los agentes, la gestión de permisos de acceso y el mantenimiento de los controles de seguridad y gobernanza. La supervisión humana también debe incluirse en ese cálculo, así como el tiempo que las personas dedican a revisar excepciones o corregir errores. Para entender cuánto cuesta completar una tarea con éxito, es necesario tener visibilidad de todo el flujo de trabajo.

Ha destacado la importancia de medir el consumo de IA en relación con cada caso de negocio. ¿Cómo es un marco interno de medición eficaz y con qué frecuencia deberían las organizaciones volver a evaluar si una aplicación de IA sigue justificando sus costos continuos de cómputo y operación?

El marco debe vincular directamente el uso con el caso de negocio. Las empresas necesitan saber qué aplicación consume recursos y qué resultado se espera que produzca. En HPE, hacemos un seguimiento de los indicadores clave de rendimiento (KPI) y de los costos unitarios subyacentes de cada caso de uso para medir si ofrece los resultados previstos. También querría ver esos datos desglosados por departamento y proceso de negocio, para que un director financiero pueda entender cuánto cuesta un proceso hoy y cuánto cuesta con IA. Este seguimiento debe ser continuo, porque el uso y la economía de una aplicación pueden cambiar con el tiempo. Las empresas también deberían volver a evaluarla cuando cambien sustancialmente un modelo, su precio o el flujo de trabajo, ya que esos cambios pueden afectar tanto el costo como el valor de la aplicación.

De aquí a tres a cinco años, a medida que la IA se integre en la mayoría de los procesos de negocio, ¿cómo espera que evolucione la economía de la IA empresarial? ¿La gestión del consumo de IA acabará pareciéndose a disciplinas como FinOps para la nube, o las organizaciones necesitarán un modelo operativo completamente nuevo?

Creo que la economía de la IA se basará en disciplinas de FinOps como la visibilidad de los costos, la asignación y la rendición de cuentas, y las ampliará para medir la calidad y el valor del trabajo que realiza la IA. A medida que los agentes asuman más etapas de un proceso empresarial, las compañías tendrán que entender cuánto cuesta completar ese proceso con éxito, incluidos los reintentos, la intervención humana y si el resultado cumple con el estándar requerido. Espero que esto se convierta en una responsabilidad compartida entre los equipos de TI, finanzas y operaciones comerciales. Aún estamos en una fase inicial en cuanto al establecimiento de métodos coherentes para hacer esas comparaciones entre organizaciones y sectores. Con el tiempo, me gustaría que hubiera métricas estándar que permitieran a las compañías entender con qué eficiencia operan con IA y reflejarlo en sus cuentas de pérdidas y ganancias (P&L).

Gracias por esta excelente entrevista. Los lectores que deseen obtener más información sobre la IA en la nube privada, la infraestructura empresarial y el escalado de cargas de trabajo de IA deberían visitar HPE.

Antoine es un líder visionario y socio fundador de Unite.AI, impulsado por una pasión inquebrantable por dar forma e impulsar el futuro de la IA y la robótica. Como emprendedor que ha fundado varias empresas, cree que la IA transformará la sociedad tanto como la electricidad y suele hablar con entusiasmo del potencial de las tecnologías disruptivas y de la inteligencia artificial general (AGI).

Como futurista, se dedica a explorar cómo estas innovaciones darán forma a nuestro mundo. Además, es el fundador de Securities.io, una plataforma centrada en invertir en tecnologías de vanguardia que están redefiniendo el futuro y transformando sectores enteros.