Pasos Tácticos para un PoC de GenAI Exitoso

Los proyectos de prueba de concepto (PoC) son el campo de pruebas para la nueva tecnología, y el Inteligencia Artificial Generativa (GenAI) no es la excepción. ¿Qué significa realmente el éxito para un PoC de GenAI? En pocas palabras, un PoC exitoso es aquel que se transiciona sin problemas a la producción. El problema es que, debido a la novedad de la tecnología y su rápida evolución, la mayoría de los PoC de GenAI se centran principalmente en la viabilidad técnica y métricas como la precisión y la recuperación. Este enfoque estrecho es una de las principales razones por las que los PoC fracasan. Una encuesta de McKinsey encontró que, si bien una cuarta parte de los encuestados se preocupaban por la precisión, muchos luchaban igualmente con la seguridad, la explicabilidad, la gestión de la propiedad intelectual (IP) y el cumplimiento normativo. Sumar problemas comunes como la mala calidad de los datos, los límites de escalabilidad y los dolores de cabeza de integración, y es fácil ver por qué tantos PoC de GenAI no logran avanzar.

Más allá del Hype: La Realidad de los PoC de GenAI

La adopción de GenAI está claramente en aumento, pero la tasa de éxito real de los PoC sigue siendo incierta. Los informes ofrecen estadísticas variadas:

• Gartner predice que, para fines de 2025, al menos el 30% de los proyectos de GenAI serán abandonados después de la etapa de PoC, lo que implica que el 70% podría pasar a producción.
• Un estudio de Avanade (citado en RTInsights) encontró que el 41% de los proyectos de GenAI siguen atascados en la etapa de PoC.
• El informe de Deloitte de enero de 2025 The State of GenAI in the Enterprise estima que solo el 10-30% de los PoC se escalarán a producción.
• Una investigación de IDC (citada en CIO.com) encontró que, en promedio, solo 5 de 37 PoC (13%) llegan a producción.

Con estimaciones que van desde el 10% hasta el 70%, es probable que la tasa de éxito real esté más cerca del extremo inferior. Esto destaca que muchas organizaciones luchan por diseñar PoC con un camino claro hacia la escalabilidad. La baja tasa de éxito puede drenar recursos, desanimar el entusiasmo y estancar la innovación, lo que lleva a lo que a menudo se llama “fatiga de PoC”, donde los equipos se sienten atrapados ejecutando pilotos que nunca llegan a producción.

Más allá de los Esfuerzos Malgastados

GenAI todavía está en las primeras etapas de su ciclo de adopción, al igual que la computación en la nube y la inteligencia artificial tradicional antes de ella. La computación en la nube tardó 15-18 años en alcanzar una adopción generalizada, mientras que la inteligencia artificial tradicional necesitó 8-10 años y sigue creciendo. Históricamente, la adopción de la inteligencia artificial ha seguido un ciclo de auge y caída en el que la emoción inicial conduce a expectativas infladas, seguido de un freno cuando surgen desafíos, antes de estabilizarse finalmente en el uso mainstream. Si la historia es una guía, la adopción de GenAI tendrá sus propias subidas y bajadas.

Para navegar este ciclo de manera efectiva, las organizaciones deben asegurarse de que cada PoC esté diseñado con la escalabilidad en mente, evitando las trampas comunes que llevan a esfuerzos malgastados. Reconociendo estos desafíos, las principales firmas de tecnología y consultoría han desarrollado marcos estructurados para ayudar a las organizaciones a moverse más allá de la experimentación y escalar sus iniciativas de GenAI con éxito.

El objetivo de este artículo es complementar estos marcos y esfuerzos estratégicos al describir pasos tácticos prácticos que pueden aumentar significativamente la probabilidad de que un PoC de GenAI pase de la prueba a un impacto real en el mundo.

Pasos Tácticos Clave para un PoC de GenAI Exitoso

1. Selecciona un caso de uso con producción en mente

Ante todo, elige un caso de uso con un camino claro hacia la producción. Esto no significa realizar una evaluación integral de la preparación para GenAI en toda la empresa. En su lugar, evalúa cada caso de uso individualmente según factores como la calidad de los datos, la escalabilidad y los requisitos de integración, y prioriza aquellos con la mayor probabilidad de llegar a producción.

Algunas preguntas clave adicionales para considerar al seleccionar el caso de uso correcto:

• ¿Mi PoC se alinea con los objetivos comerciales a largo plazo?
• ¿Puedo acceder y utilizar legalmente los datos necesarios?
• ¿Hay riesgos claros que impedirán la escalabilidad?

2. Define y alinea los métricas de éxito antes del inicio

Una de las principales razones por las que los PoC se estancan es la falta de métricas bien definidas para medir el éxito. Sin una sólida alineación de objetivos y expectativas de ROI, incluso los PoC técnicamente sólidos pueden luchar por obtener la aprobación para la producción. Estimar el ROI no es fácil, pero aquí hay algunas recomendaciones:

• Desarrolla o adopta un marco de trabajo como este.
• Utiliza calculadoras de costos, como esta herramienta de precios de la API de OpenAI y calculadoras de proveedores de la nube para estimar los gastos.
• En lugar de un objetivo único, desarrolla una estimación de ROI basada en rangos con probabilidades para tener en cuenta la incertidumbre.

Aquí hay un ejemplo de cómo el equipo de QueryGPT de Uber estimó el impacto potencial de su herramienta de GenAI de texto a SQL.

3. Habilita la experimentación rápida

Crear aplicaciones de GenAI es todo sobre la experimentación, lo que requiere una iteración constante. Al seleccionar tu pila de tecnología, arquitectura, equipo y procesos, asegúrate de que apoyen este enfoque iterativo. Las elecciones deben permitir una experimentación sin problemas, desde la generación de hipótesis y la ejecución de pruebas hasta la recopilación de datos, el análisis de resultados, el aprendizaje y el perfeccionamiento.

• Considera contratar a proveedores de servicios pequeños y medianos para acelerar la experimentación.
• Elige benchmarks, evaluaciones y marcos de evaluación desde el principio, asegurándote de que se alineen con tu caso de uso y objetivos.
• Utiliza técnicas como LLM-as-a-judge o LLM-as-Juries para automatizar (semi-automatizar) la evaluación.

4. Apunta a soluciones de baja fricción

Una solución de baja fricción requiere menos aprobaciones y, por lo tanto, enfrenta menos objeciones a la adopción y escalabilidad. El crecimiento rápido de GenAI ha llevado a una explosión de herramientas, marcos y plataformas diseñadas para acelerar los PoC y los despliegues de producción. Sin embargo, muchas de estas soluciones operan como cajas negras que requieren una escrutinía rigurosa de los equipos de TI, legales, de seguridad y de gestión de riesgos. Para abordar estos desafíos y agilizar el proceso, considera las siguientes recomendaciones para construir una solución de baja fricción:

• Crea una hoja de ruta dedicada para las aprobaciones: Considera crear una hoja de ruta dedicada para abordar las preocupaciones de los equipos de socios y obtener aprobaciones.
• Utiliza pilas de tecnología preaprobadas: Siempre que sea posible, utiliza pilas de tecnología que ya estén aprobadas y en uso para evitar retrasos en la aprobación y la integración.
• Enfócate en herramientas esenciales: Los primeros PoC generalmente no requieren afinación de modelos, bucles de retroalimentación automatizados o una observabilidad/SRE extensa. En su lugar, prioriza herramientas para tareas básicas como vectorización, incrustaciones, recuperación de conocimiento, guardrails y desarrollo de UI.
• Utiliza herramientas de bajo código/sin código con precaución: Si bien estas herramientas pueden acelerar los plazos, su naturaleza de caja negra limita la personalización y las capacidades de integración. Úsalas con precaución y considera sus implicaciones a largo plazo.
• Aborda las preocupaciones de seguridad desde el principio: Implementa técnicas como la generación de datos sintéticos, el enmascaramiento de datos de PII y el cifrado para abordar las preocupaciones de seguridad de manera proactiva.

5. Reúne un equipo delgado y emprendedor

Al igual que con cualquier proyecto, tener el equipo correcto con las habilidades esenciales es crucial para el éxito. Más allá de la experiencia técnica, tu equipo también debe ser ágil y emprendedor.

• Considera incluir a gerentes de productos y expertos en la materia (SME) para asegurarte de que estás resolviendo el problema correcto.
• Asegúrate de que tengas desarrolladores full-stack y ingenieros de aprendizaje automático en el equipo.
• Evita contratar específicamente para el PoC o pedir prestados recursos internos de proyectos de alta prioridad y largo plazo. En su lugar, considera contratar a proveedores de servicios pequeños y medianos que puedan aportar el talento adecuado rápidamente.
• Incorpora a socios de los equipos legales y de seguridad desde el primer día.

6. Prioriza los requisitos no funcionales también

Para un PoC exitoso, es crucial establecer límites de problema claros y un conjunto fijo de requisitos funcionales. Sin embargo, no deben pasarse por alto los requisitos no funcionales. Si bien el PoC debe permanecer centrado dentro de los límites del problema, su arquitectura debe diseñarse para un alto rendimiento. Más específicamente, lograr una latencia de milisegundos puede no ser una necesidad inmediata, sin embargo, el PoC debe ser capaz de escalar sin problemas a medida que los usuarios beta se expanden. Opta por una arquitectura modular que permanezca flexible y agnóstica de herramientas.

7. Desarrolla un plan para manejar las alucinaciones

Las alucinaciones son inevitables con los modelos de lenguaje. Por lo tanto, los guardrails son críticos para escalar soluciones de GenAI de manera responsable. Sin embargo, evalúa si los guardrails automatizados son necesarios durante la etapa de PoC y en qué medida. En lugar de ignorar o sobrediseñar los guardrails, detecta cuándo tus modelos alucinan y marcalos para los usuarios del PoC.

8. Adopta las mejores prácticas de gestión de productos y proyectos

Esta ilustración de XKCD se aplica a los PoC tanto como a la producción. No hay una guía que se adapte a todos. Sin embargo, adoptar las mejores prácticas de gestión de proyectos y productos puede ayudar a agilizar y lograr progreso.

• Utiliza métodos kanban o ágiles para la planificación y ejecución tácticas.
• Documenta todo.
• Realiza scrum de scrums para colaborar de manera efectiva con los equipos de socios.
• Mantén a tus partes interesadas y liderazgo informados sobre el progreso.

Conclusión

Ejecutar un PoC de GenAI exitoso no se trata solo de probar la viabilidad técnica, se trata de evaluar las elecciones fundamentales a largo plazo. Al seleccionar cuidadosamente el caso de uso correcto, alinear las métricas de éxito, habilitar la experimentación rápida, minimizar la fricción, reunir el equipo adecuado, abordar tanto los requisitos funcionales como los no funcionales y planificar desafíos como las alucinaciones, las organizaciones pueden mejorar dramáticamente sus posibilidades de pasar del PoC a la producción.

Dicho esto, los pasos descritos anteriormente no son exhaustivos, y no todas las recomendaciones se aplicarán a cada caso de uso. Cada PoC es único, y la clave del éxito es adaptar estas mejores prácticas para que se ajusten a tus objetivos comerciales específicos, restricciones técnicas y paisaje regulatorio.

Una visión y estrategia sólidas son esenciales para la adopción de GenAI, pero sin los pasos tácticos correctos, incluso los mejores planes pueden estancarse en la etapa de PoC. La ejecución es donde las grandes ideas tienen éxito o fracasan, y tener un enfoque claro y estructurado garantiza que la innovación se traduzca en un impacto real en el mundo.