Victor Thu, Presidente de Datatron – Serie de Entrevistas

Victor Thu es el Presidente de Datatron, una plataforma que ayuda a las empresas a aprovechar el poder del aprendizaje automático, acelerando los despliegues, detectando problemas temprano y aumentando la eficiencia de la gestión de múltiples modelos a escala.

Su experiencia es en Marketing de Producto, Lanzamiento al Mercado y Gestión de Producto, ¿cómo lo llevó a trabajar en aprendizaje automático y IA?

Me encanta la tecnología y algunos de mis amigos cercanos incluso me llaman el “susurrador de tecnología”. Me gusta tomar temas de tecnología complejos y traducirlos en un lenguaje que la gente pueda entender, y educarme sobre nuevas tecnologías para llegar al “por qué” detrás de las tecnologías que más importan a la gente.

Mi primer encuentro con lo que llamo “IA moderna” fue cuando estaba viendo una presentación de un famoso profesor de IA de Stanford, el Dr. Fei-Fei Li. La presentación del Dr. Li fue tan cautivadora que marcó un punto de inflexión en mi carrera. Me convenció de que este era el lugar donde quería estar a continuación. Quería ser parte de la próxima ola de tecnología donde usamos IA y ML para resolver desafíos empresariales.

Desde entonces, he estado con varias startups de IA/ML, trabajando para utilizar la tecnología para abordar necesidades empresariales reales. He trabajado muy estrechamente con científicos de ML de nivel de doctorado, que me han proporcionado un conocimiento tremendo en IA/ML. Y todavía estoy aprendiendo hoy, ya que el espacio está evolucionando muy rápidamente.

Así que, en realidad, fue mi pasión por la tecnología y cómo aprovecharla para ayudar a los demás lo que me llevó a trabajar estrechamente con IA/ML.

Datron se enfoca en MLOps, para los lectores que no están familiarizados con este término, ¿podría describir específicamente qué es?

MLOps es esencialmente codificar y simplificar el proceso altamente artesanal de llevar modelos de IA y ML desde la prototipación hasta la producción.

Una de las mayores concepciones erróneas es que, una vez que los científicos de datos han construido sus modelos de IA, pueden llevarlos a producción rápidamente. Sin embargo, la realidad es que puede tomar hasta un año antes de que un modelo pueda ser desplegado.

La principal razón de este retraso es que las personas que tienen experiencia en el desarrollo de modelos no necesariamente tienen experiencia en ingeniería de software. Una buena comparación es la de los arquitectos que diseñan rascacielos: no son también los desarrolladores que los construyen.

MLOps es esencialmente el puente entre los desarrolladores de modelos y la ingeniería de software. En lugar de tener que pasar más de 12 meses para llevar los modelos a producción, MLOps puede reducir ese proceso largo a solo unos días.

En un artículo que escribió para nosotros en septiembre de 2021, discutió cómo “El principal obstáculo para llevar soluciones a producción no es la calidad de los modelos, sino la falta de infraestructura para que las empresas puedan hacerlo”. ¿Por qué es este un obstáculo para la mayoría de las empresas?

Hay varios factores que contribuyen a esto.

• La romanticización excesiva del software de código abierto “gratis”. Quiero enfatizar primero que amamos el software de código abierto y creemos firmemente que ha ayudado a la industria a avanzar por saltos y bounds. Sin embargo, muchos no entienden la complejidad del código abierto en relación con IA y ML. Hoy en día, hay una escasez severa de talentos de IA/ML. Cuando se combina esto con la búsqueda de ingenieros de software (ingenieros de ML o MLOps) que saben cómo manejar las propiedades únicas del código de IA/ML, esperar contratar y construir una plataforma de MLOps a escala empresarial internamente, figurando cómo hacer funcionar los 300+ proyectos de MLOps de código abierto, es un camino hacia el fracaso.
• Falta de infraestructura para apoyar a los equipos de ingeniería. Las empresas necesitan un mejor entorno para configurar a los ingenieros para que tengan éxito. Debe haber una banda ancha y presupuesto adecuados para proporcionar a los equipos las herramientas correctas. La IA es una tecnología bastante nueva. Las empresas que están haciendo IA no siempre saben qué necesitan hacer para llevar los modelos a producción rápidamente, por lo que MLOps es una herramienta tan vital.

¿Cómo resuelve MLOps la falta de infraestructura?

MLOps resuelve la falta de infraestructura de cuatro maneras:

1. No se requieren cambios de código propietario: los científicos de datos quieren flexibilidad para construir modelos que se ajusten a los casos de uso empresariales en sus entornos, por lo que cualquier proceso de MLOps que requiera cambios de código complica la integridad de sus modelos.
2. Automatización/programación: muchos equipos están programando modelos de manera codificada, lo que lleva mucho tiempo. MLOps automatiza todo ese proceso, ahorrando mucho tiempo y energía.
3. Actualizaciones simplificadas: los modelos de IA cambian con regularidad para adaptarse a su entorno. A veces, los científicos de datos tienen que volver a actualizar los modelos con frecuencia. Sin MLOps, no hay forma de evitar esta actualización repetitiva.
4. Gestión de la infraestructura subyacente: para llevar los modelos a producción, necesitas computar la red y el almacenamiento, lo que requiere propiedades únicas de los modelos de IA/ML. Las herramientas de MLOps tienen la capacidad de aprovechar los recursos correctos para escalarlos según sea necesario.

También hay requisitos empresariales que a menudo no se consideran al construir su propia herramienta de MLOps, como: control de acceso basado en roles (RBAC), integración e interoperabilidad, soporte para diferentes herramientas de ML, abordar vulnerabilidades de seguridad y la partida inesperada de miembros clave del equipo.

¿Cuáles son sus puntos de vista personales sobre la importancia de la gobernanza de la IA?

Ha habido innumerables historias de horror sobre modelos de IA que no funcionan correctamente, desde etiquetar incorrectamente ciertos grupos de personas hasta causar pérdidas financieras masivas para empresas cotizadas.

La gobernanza de la IA es críticamente importante para las empresas cuando tienen modelos de IA en producción. Con eso dicho, no es diferente de la gobernanza de TI o empresarial. Hoy en día, cuando su TI ejecuta aplicaciones en la nube o incluso en sus propios centros de datos, tienen una serie de herramientas para asegurarse de que las aplicaciones funcionen correctamente.

Una vez que tenga modelos de IA en ejecución, necesita tener mecanismos y herramientas en lugar para dar a la empresa y a los científicos de datos visibilidad sobre lo que están haciendo los modelos.

Especially en esta etapa nascente de IA/ML, no hay una opción de “configurarlo y olvidarlo”. Al principio, necesitas monitorear cómo se comporta su modelo y hacer ajustes adecuados. Tener capacidades de monitoreo adecuadas para que pueda alertarlo cuando sus modelos se comporten fuera de los límites deseados es clave.

La gestión de riesgos de modelo (MRM) también debe tener en cuenta a las diferentes personas involucradas en el desarrollo y despliegue del modelo. ¿Qué control de acceso ha establecido para asegurarse de la integridad de los modelos? ¿O cómo asegura que las personas de diferentes grupos no utilicen accidentalmente sus modelos para casos de uso para los que no fueron diseñados? Todas son preguntas que los equipos necesitan hacerse.

¿Cómo ayuda Datatron con la gestión de riesgos de modelo?

MLOps permite actualizaciones y cambios de modelo rápidos. Por ejemplo, si un modelo está rechazando inapropiadamente a las personas en una solicitud de préstamo, MLOps permite retirar el modelo y reintroducir uno nuevo, gestionando ese riesgo de una manera sencilla.

Protege los modelos de un sesgo de deriva y mantiene las métricas clave mientras están en producción a través de un panel de control simple que presenta estas métricas utilizando datos detallados y profundos de una visión general de alto nivel que puede ser fácilmente entendida por los responsables de tomar decisiones empresariales.

La plataforma de gobernanza de IA de Datatron proporciona un nivel superior a una capacidad de monitoreo genérica, brindando contexto y lógica adicionales que muestran una visibilidad clara del modelo que es más relevante para los casos de uso del cliente.

En un artículo de blog en Datatron, describió cómo Datatron estaba adoptando el lema de IA Confiable. ¿Podría describir qué es esto en su opinión?

Cuando creamos esto, pensamos en cómo estamos tan cómodos volando en aviones comerciales hoy en día porque son muy confiables.

A pesar de todas estas conversaciones sobre IA ética, IA responsable, etc., la necesidad clave es que las empresas puedan utilizar IA/ML de manera confiable, al igual que si sus empleados subieran a un avión comercial.

Usar términos como IA ética, IA responsable, en realidad se ha originado a partir del problema de que los modelos de IA actuales no hacen lo que se supone que deben hacer, y por lo tanto son considerados poco confiables. Las empresas no están dispuestas a utilizar IA porque no tienen confianza en que sus modelos no estén sesgados. Esto significa que sus modelos son poco confiables y Datatron está decidido a cambiar eso.

¿Hay algo más que le gustaría compartir sobre Datatron?

Somos uno de los pocos jugadores de MLOps que están probados en la Super Bowl, trabajando con éxito en un escenario de alto estrés, lo que no es típico para una startup o una herramienta de código abierto. El cliente, Domino’s Pizza , trabaja con Datatron para operacionalizar fácil y rápidamente modelos de IA en producción, que luego se sometieron a la prueba definitiva durante la Super Bowl.

MLOps realmente es la forma de ayudar a los modelos de IA/ML a entrar en producción mientras se preservan los recursos y se reduce el costo. Somos una fuente sostenible para modelos de IA/ML exitosos y servimos como catalizador para los ingresos. Las empresas pueden finalmente obtener su retorno de la inversión de sus proyectos de IA y ML. Independientemente de sus márgenes, puede producir resultados utilizando MLOps.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Datatron.