Alex Ratner, CEO y Co-Fundador de Snorkel AI – Serie de Entrevistas

Alex Ratner es el CEO y Co-Fundador de Snorkel AI, una empresa nacida en el laboratorio de inteligencia artificial de Stanford.

Snorkel AI hace que el desarrollo de la inteligencia artificial sea rápido y práctico al transformar los procesos de desarrollo de la inteligencia artificial manual en soluciones programáticas. Snorkel AI permite a las empresas desarrollar inteligencia artificial que funcione para sus cargas de trabajo únicas utilizando sus datos y conocimientos propietarios 10-100 veces más rápido.

¿Qué te atrajo inicialmente a la informática?

Hay dos aspectos muy emocionantes de la informática cuando eres joven. Uno, puedes aprender tan rápido como quieras mediante la experimentación y la construcción, gracias a la retroalimentación instantánea, en lugar de tener que esperar a un maestro. Dos, puedes construir mucho sin tener que pedir permiso a nadie.

Me metí en la programación cuando era un niño por estas razones. También me gustaba la precisión que requería. Disfrutaba del proceso de abstraer procesos y rutinas complejos y codificarlos de manera modular.

Más tarde, como adulto, regresé a la informática profesionalmente a través de un trabajo en consultoría en el que me encargaron escribir scripts para realizar algunos análisis básicos del corpus de patentes. Me fascinó la cantidad de conocimiento humano – cualquier cosa que alguien hubiera considerado patentable – que estaba disponible, pero era inaccesible porque era tan difícil realizar incluso el análisis más simple sobre texto técnico complejo y datos multimodales.

Esto me llevó de regreso al camino y, finalmente, de regreso a la escuela de posgrado en Stanford, centrado en NLP, que es el área de utilizar ML/AI en lenguaje natural.

Comenzaste y lideraste el proyecto de código abierto Snorkel mientras estabas en Stanford, ¿podrías explicarnos el viaje de esos primeros días?

En ese momento, como muchos en la industria, nos centrábamos en desarrollar nuevos algoritmos y – es decir, todo el “material de aprendizaje automático sofisticado” que la gente en la comunidad hacía investigación y publicaba artículos sobre.

Sin embargo, siempre estuvimos muy comprometidos con basar esto en problemas del mundo real – principalmente con médicos y científicos en Stanford. Pero cada vez que presentábamos un nuevo modelo o algoritmo, la respuesta se convirtió en “seguro, lo probaríamos, pero necesitaríamos todos estos datos de entrenamiento etiquetados que no tenemos tiempo de crear”

Estábamos viendo que el gran problema no dicho era el proceso de etiquetado y curación de esos datos de entrenamiento – así que cambiamos todo nuestro enfoque a eso, y es como comenzó el proyecto Snorkel y la idea de “inteligencia artificial centrada en los datos”.

Snorkel tiene un enfoque de inteligencia artificial centrada en los datos, ¿podrías definir qué significa esto y cómo difiere del desarrollo de inteligencia artificial centrado en el modelo?

La inteligencia artificial centrada en los datos significa centrarse en construir mejores datos para construir mejores modelos.

Esto se opone a – pero funciona en conjunto con – la inteligencia artificial centrada en el modelo. En la inteligencia artificial centrada en el modelo, los científicos de datos o investigadores asumen que los datos son estáticos y dedican su energía a ajustar arquitecturas de modelos y parámetros para lograr mejores resultados.

Los investigadores todavía hacen un gran trabajo en la inteligencia artificial centrada en el modelo, pero los modelos y las técnicas de auto ML han mejorado tanto que la elección del modelo se ha convertido en algo común en la producción. Cuando eso es así, la mejor manera de mejorar estos modelos es suministrarles más y mejores datos.

¿Cuáles son los principios básicos de un enfoque de inteligencia artificial centrada en los datos?

El principio básico de la inteligencia artificial centrada en los datos es simple: mejores datos construyen mejores modelos.

En nuestro trabajo académico, hemos llamado a esto “programación de datos”. La idea es que si se alimenta a un modelo lo suficientemente robusto con suficientes ejemplos de entradas y salidas esperadas, el modelo aprende a duplicar esos patrones.

Esto presenta un desafío mayor de lo que podrías esperar. La gran mayoría de los datos no tienen etiquetas – o, al menos, no tienen etiquetas útiles para tu aplicación. Etiquetar esos datos a mano requiere tedio, tiempo y esfuerzo humano.

Contar con un conjunto de datos etiquetados también no garantiza la calidad. El error humano se filtra en todas partes. Cada ejemplo incorrecto en tu conjunto de datos de verdad de base degradará el rendimiento del modelo final. Nada de ajuste de parámetros puede disfrazar esa realidad. Los investigadores incluso han encontrado registros incorrectamente etiquetados en conjuntos de datos de código abierto fundamentales.

¿Podrías explicar qué significa que la inteligencia artificial centrada en los datos sea programática?

Etiquetar datos manualmente presenta serios desafíos. Esto requiere muchas horas humanas, y sometimes esas horas humanas pueden ser caras. Los documentos médicos, por ejemplo, solo pueden ser etiquetados por médicos.

Además, los sprints de etiquetado manual a menudo se convierten en proyectos de un solo uso. Los etiquetadores anotan los datos según un esquema rígido. Si las necesidades de una empresa cambian y requieren un conjunto diferente de etiquetas, los etiquetadores deben comenzar de nuevo desde cero.

Los enfoques programáticos para la inteligencia artificial centrada en los datos minimizan ambos problemas. El sistema de etiquetado programático de Snorkel AI incorpora señales de fuentes diversas – desde modelos heredados hasta etiquetas existentes y bases de conocimiento externas – para desarrollar etiquetas probabilísticas a gran escala. Nuestra principal fuente de señalizaciones proviene de expertos en la materia que colaboran con científicos de datos para construir funciones de etiquetado. Estas codifican su juicio experto en reglas escalables, lo que permite que el esfuerzo invertido en una decisión impacte decenas o cientos de puntos de datos.

Este marco también es flexible. En lugar de comenzar desde cero cuando las necesidades comerciales cambian, los usuarios agregan, eliminan y ajustan funciones de etiquetado para aplicar nuevas etiquetas en horas en lugar de días.

¿Cómo permite este enfoque de inteligencia artificial centrada en los datos la escalabilidad rápida de los datos no etiquetados?

Nuestro enfoque programático para la inteligencia artificial centrada en los datos permite la escalabilidad rápida de los datos no etiquetados al amplificar el impacto de cada elección. Una vez que los expertos en la materia establecen un conjunto inicial pequeño de datos de verdad de base, comienzan a colaborar con científicos de datos para una iteración rápida. Definen algunas funciones de etiquetado, entrenan un modelo rápido, analizan el impacto de sus funciones de etiquetado y luego agregan, eliminan o ajustan funciones de etiquetado según sea necesario.

Cada ciclo mejora el rendimiento del modelo hasta que cumple o supera los objetivos del proyecto. Esto puede reducir meses de trabajo de etiquetado de datos a solo horas. En uno de los proyectos de investigación de Snorkel, dos de nuestros investigadores etiquetaron 20.000 documentos en un solo día – un volumen que podría haber tomado a los etiquetadores manuales diez semanas o más.

Snorkel ofrece múltiples soluciones de inteligencia artificial, incluyendo Snorkel Flow, Snorkel GenGlow y Snorkel Foundry. ¿Cuáles son las diferencias entre estas ofertas?

La suite de Snorkel AI permite a los usuarios crear funciones de etiquetado (por ejemplo, buscar palabras clave o patrones en documentos) para etiquetar programáticamente millones de puntos de datos en minutos, en lugar de etiquetar manualmente un punto de datos a la vez.

Comprime el tiempo necesario para que las empresas traduzcan datos propietarios en modelos listos para la producción y comiencen a extraer valor de ellos. Snorkel AI permite a las empresas escalar enfoques de inteligencia artificial con humanos en el ciclo de retroalimentación incorporando eficientemente el juicio humano y el conocimiento de expertos en la materia.

Esto conduce a una inteligencia artificial más transparente y explicable, lo que permite a las empresas gestionar los sesgos y entregar resultados responsables.

Al llegar a los detalles, la inteligencia artificial de Snorkel permite a las empresas Fortune 500:

• Desarrollar datos etiquetados de alta calidad para entrenar modelos o mejorar RAG;
• Personalizar LLM con ajuste fino;
• Destilar LLM en modelos especializados que son mucho más pequeños y baratos de operar;
• Construir LLM específicos de dominio y tarea con pre-entrenamiento.

Has escrito algunos artículos innovadores, en tu opinión, ¿cuál es el más importante?

Uno de los artículos clave fue el original sobre programación de datos (etiquetado de datos de entrenamiento de forma programática) y sobre Snorkel.

¿Cuál es tu visión para el futuro de Snorkel?

Ve a Snorkel convirtiéndose en un socio de confianza para todas las grandes empresas que están seriamente interesadas en la inteligencia artificial.

Snorkel Flow debería convertirse en una herramienta ubicua para los equipos de ciencia de datos en las grandes empresas – ya sea que estén ajustando modelos de lenguaje grandes personalizados para sus organizaciones, construyendo modelos de clasificación de imágenes o construyendo modelos de regresión logística simples y desplegables.

Independientemente del tipo de modelos que una empresa necesite, necesitarán datos etiquetados de alta calidad para entrenarlos.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Snorkel AI,