Ali Ansari, fundador y director ejecutivo de micro1 – Serie de entrevistas

Ali Ansari es el fundador y director ejecutivo de micro1, donde se centra en convertir la experiencia humana en datos de entrenamiento y evaluaciones para sistemas avanzados de IA. Su trayectoria empresarial incluye la creación de una agencia de desarrollo de software y la fundación de peerlinc antes de lanzar micro1 en 2022. Estudió informática en UC Berkeley y Stanford, con especialización en aprendizaje por refuerzo, y ahora trabaja en los sistemas necesarios para obtener, evaluar y coordinar las contribuciones de expertos al desarrollo de la IA.

micro1 es un laboratorio de datos que ayuda a entrenar modelos de IA de frontera y a evaluar agentes de IA con la colaboración de expertos humanos y en entornos de trabajo realistas. Su plataforma integra la contratación de especialistas, la producción de datos, la revisión de calidad y la evaluación de modelos en ámbitos como el derecho, la salud, las finanzas, la ingeniería y la ciencia. En esta entrevista, Ansari habla de por qué crece la demanda de experiencia humana, de cómo los datos operativos respaldan el aprendizaje por refuerzo y de las oportunidades profesionales que surgen en torno al entrenamiento y la evaluación de la IA.

Fundaste micro1 en 2022, después de crear y vender peerlinc. ¿Qué problema intentabas resolver al principio y cómo evolucionó micro1 hasta convertirse en una empresa centrada en entrenar y evaluar modelos de IA de frontera?

Al principio, era un problema que tenía en mi propio negocio. Dirigía una agencia de desarrollo de software, y cada proyecto nuevo implicaba encontrar y entrevistar a más ingenieros. Dedicaba muchísimo tiempo a eso. Así que creamos un entrevistador de IA, Zara, para ayudarnos, y con el tiempo eso se convirtió en micro1.

Empezamos vendiendo el software de contratación y creando un mercado de profesionales cualificados. Luego, un cliente acudió a nosotros porque necesitaba cientos de ingenieros para entrenar modelos de IA. Empezamos a investigar por qué necesitaba tanta gente y nos dimos cuenta de que, detrás del desarrollo de modelos, había una enorme demanda de experiencia humana.

Ya llevábamos años desarrollando la capacidad de encontrar y evaluar personas a gran escala. Los datos humanos eran una aplicación muy potente de esa infraestructura. Así que nos volcamos por completo en ello: usamos nuestro sistema de contratación con IA para encontrar y evaluar profesionales expertos, y creamos otras plataformas de datos y sistemas de calidad en torno a esa labor. Hoy ayudamos a los laboratorios a convertir esa experiencia en mejores capacidades para los modelos.

Has sostenido que, a medida que los modelos de IA se vuelven más capaces, la demanda de experiencia humana, en realidad, aumenta en lugar de desaparecer. ¿Qué impulsa esa relación?

Están pasando un par de cosas. Primero, a medida que los modelos mejoran, les pedimos que hagan tareas más difíciles. Un modelo capaz de responder una pregunta es útil. Uno capaz de encargarse de todo un flujo de trabajo es mucho más útil, pero para llegar a ese punto hace falta mucha más aportación de expertos.

Segundo, las personas siguen creando nuevos trabajos. Si un abogado puede recurrir a la IA para gran parte de las tareas que ocupan su jornada, dispone de más tiempo para abordar problemas más complejos o desarrollar un nuevo servicio para sus clientes. Esas funciones completamente nuevas también se convierten en tareas que queremos destilar en los modelos. A eso nos referimos con que «no hay una última milla». El trabajo sigue evolucionando.

Los datos sintéticos hacen que esto sea aún más interesante. Se pueden usar para ampliar las tareas y los comentarios creados por expertos, lo que aumenta la utilidad de esa aportación humana inicial. Creo que esa combinación explica por qué la demanda de experiencia humana sigue creciendo junto con las capacidades de los modelos.

micro1 trabaja con expertos en distintas disciplinas, como el derecho, la salud, las finanzas, la ingeniería y la ciencia. ¿Qué pueden aportar estos profesionales a los sistemas de IA que no se pueda aprender simplemente a partir de los datos disponibles en internet?

Gran parte de lo que hace que alguien sea un gran médico, abogado o ingeniero es el criterio que ha desarrollado ejerciendo su profesión. Algunas cosas quedan documentadas, pero muchas se reflejan en cómo aborda un caso inusual, detecta la falta de información o decide qué detalle es realmente importante.

Eso es sumamente valioso para entrenar modelos. Un experto puede crear una tarea difícil, explicar cómo debería ser un buen resultado e identificar exactamente en qué se queda corto un modelo. Una respuesta puede sonar muy convincente y, aun así, pasar por alto lo que más importa a alguien que ejerce esa profesión.

Necesitamos que los expertos hagan esas distinciones. También necesitamos múltiples perspectivas y un proceso de revisión riguroso, porque el criterio de una sola persona no abarcará todos los casos. El objetivo es convertir esa experiencia en una señal de la que el modelo pueda aprender. Además, cada campo encierra una enorme complejidad. La experiencia jurídica, por ejemplo, no es algo único: varía según el área de práctica, el estado o la jurisdicción y los sistemas jurídicos de cada país. Cada nivel exige más conocimientos especializados y capacidad de juicio. Esa misma profundidad existe en todos los ámbitos y en sus numerosos subcampos, por lo que necesitamos expertos que comprendan lo que esas distinciones significan en la práctica.

A medida que la industria presta cada vez más atención al posentrenamiento, el aprendizaje por refuerzo y la evaluación, ¿dónde ves hoy los principales cuellos de botella para mejorar los modelos de frontera?

Creo que el acceso a datos realistas es uno de los principales cuellos de botella. Las empresas llevan años resolviendo problemas, tomando decisiones y gestionando excepciones, y esa experiencia queda plasmada en sus documentos, sistemas y flujos de trabajo. Es increíblemente valiosa si se quiere que un modelo aprenda a realizar tareas reales.

Por eso creamos nuestro programa Company Data Partnerships, o CDP. Pagamos a las empresas para obtener licencias de sus datos operativos. Estos pueden incluir documentación interna, historiales de proyectos, registros de CRM y los procesos que siguen las personas para realizar su trabajo. Por conjuntos de datos empresariales valiosos, pagamos más de 2 millones de dólares; el importe depende de los datos y de la colaboración.

Usamos ese material para crear entornos realistas de entrenamiento y evaluación. Pensemos en la resolución de un problema de un cliente: quizá haya que consultar el historial de la cuenta, encontrar la política pertinente y determinar qué medidas tomar. Un entorno diseñado en torno a ese flujo de trabajo ofrece al modelo un espacio para practicar esos pasos. Los expertos definen la tarea y cómo evaluar si se completó correctamente. Esa retroalimentación es lo que hace que el entorno sea útil para el aprendizaje por refuerzo.

Las empresas conservan la propiedad de sus datos originales. Acordamos el alcance y los requisitos de tratamiento, incluidas las medidas de protección de la privacidad, y preparamos los datos para el uso previsto.

El valor reside en la experiencia que reflejan esos registros. CDP ofrece a las empresas una forma de generar ingresos a partir de esa experiencia y, al mismo tiempo, ayuda a los modelos a aprender a desenvolverse en entornos mucho más realistas.

¿Qué formas de criterio o experiencia humanos cree que seguirán siendo especialmente difíciles de reproducir para los sistemas de IA, incluso a medida que los modelos se vuelvan mucho más capaces?

Creo que el gusto y la creatividad humanos son aspectos que a los modelos les costará especialmente replicar. La razón tiene que ver con cómo creamos los datos de entrenamiento.

En muchas tareas, podemos reunir a expertos y lograr que se pongan de acuerdo sobre qué es un buen resultado. Eso nos proporciona una señal útil para el entrenamiento. Pero si preguntamos a la gente qué hace que una imagen sea magnífica, que una película sea excelente o que un diseño resulte cautivador, cuanto más lo debaten, más pueden divergir sus opiniones. No siempre hay una única respuesta en la que todos puedan coincidir.

La IA puede llegar a ser muy útil en esos ámbitos. Pero decidir qué se quiere crear, para quién y si realmente conecta con el público requiere mucho criterio humano. Creo que ese criterio cobra aún más importancia a medida que las herramientas facilitan la producción de contenido.

Se observa que cada vez más profesionales consideran el entrenamiento y la evaluación de la IA un trabajo profesional serio, en lugar de una actividad secundaria. ¿Podría esto dar lugar a una categoría laboral completamente nueva? ¿Cómo podrían ser esas carreras?

Sin duda. Esto ya constituye una nueva categoría laboral de varios miles de millones de dólares. Hay expertos que aplican los conocimientos adquiridos a lo largo de sus carreras para contribuir al entrenamiento y la evaluación de la IA. Para algunas personas, esto se está convirtiendo en una parte sustancial de su vida laboral.

El trabajo en sí puede ser muy profundo. Un abogado podría crear una situación compleja y definir cómo evaluar la respuesta del modelo. Un ingeniero podría diseñar una tarea que guíe a un agente a través de un flujo de trabajo de software completo. También hay personas que revisan los datos, mejoran los criterios de evaluación y dirigen equipos de expertos. Este trabajo también puede darles más margen para centrarse en lo que les atrajo de su campo en primer lugar. En la mayoría de los empleos, buena parte del tiempo se dedica a tareas administrativas y obligaciones ajenas al trabajo que las personas consideran más significativo. Entrenar la IA en su ámbito puede situar sus conocimientos especializados en el centro de su labor: resolver problemas complejos, aplicar su criterio y compartir lo que han aprendido con la experiencia. Es una oportunidad para dedicar más tiempo a las cosas que les importan y que mejor saben hacer, al tiempo que contribuyen a determinar cómo aborda la IA ese trabajo.

Creo que veremos surgir verdaderas trayectorias profesionales en torno a todo esto. Se puede llegar a dominar la conversión de los conocimientos especializados de un ámbito en datos de entrenamiento, o la gestión de una canalización de datos y la identificación de los aspectos en los que los modelos necesitan ayuda. Son habilidades valiosas, y todavía estamos en una fase muy temprana de definir cómo serán todos estos puestos.

A medida que las empresas contratan a médicos, abogados, ingenieros, científicos y otros especialistas para mejorar los modelos de IA, ¿cómo verifican su experiencia y garantizan que los datos de entrenamiento resultantes sean precisos y coherentes?

Hemos creado todo un sistema para ello. Empieza con Zara, nuestro agente de selección de personal con IA, que nos ayuda a encontrar y evaluar expertos con las habilidades que requiere cada proyecto. Después, nuestra herramienta Merit nos ayuda a hacer un seguimiento de la calidad, la rapidez y la fiabilidad de sus contribuciones a lo largo del tiempo. Es necesario entender tanto la experiencia de cada persona como la manera en que se refleja en los datos que produce.

Nuestra plataforma flow combina el trabajo de los expertos con los modelos que hemos creado para respaldar la generación y revisión de datos. Los expertos definen las tareas y las características de un buen resultado. A continuación, flow gen ayuda a ampliar ese punto de partida con nuevos ejemplos y variaciones. flow qc comprueba si hay problemas en los datos, como pruebas faltantes o discrepancias entre una tarea y sus criterios de puntuación. Por su parte, flow grader evalúa el desempeño del modelo según esos criterios.

Lo importante es lo que ocurre cuando un experto detecta un error. Esa corrección puede mejorar los datos de entrenamiento, pero también puede ayudarnos a mejorar los propios generadores y controles de calidad. Podemos convertir los errores recurrentes en pruebas para la siguiente versión.

Ese es el ciclo de retroalimentación de datos sintéticos que estamos construyendo. La experiencia humana nos proporciona el punto de partida y el criterio. Nuestras herramientas nos ayudan a ampliarlo, y los comentarios de los expertos contribuyen a mejorar el siguiente ciclo. Después comprobamos si esos cambios realmente mejoran el rendimiento del modelo. Eso es lo que hace valioso el ciclo.

Los agentes de IA necesitan cada vez más realizar tareas complejas de varios pasos, en lugar de limitarse a generar respuestas. ¿En qué se diferencian la formación y la evaluación de estos sistemas del trabajo necesario para mejorar los modelos de lenguaje grandes tradicionales?

La gran diferencia es la duración de la tarea. Puede que un agente tenga que realizar muchas acciones con distintas herramientas antes de llegar a un resultado útil. Puede ejecutar bien los primeros pasos y aun así no completar la tarea en su conjunto, porque los errores se van acumulando.

Por eso necesitamos entornos donde el modelo pueda practicar todo el flujo de trabajo y evaluaciones que nos indiquen en qué punto falla. ¿Encontró la información correcta? ¿Usó la herramienta adecuadamente? ¿Llegó realmente al resultado que buscábamos?

También está el contexto de la propia empresa. Un agente que trabaja dentro de una organización debe comprender sus procesos y expectativas. Las capacidades generales solo permiten llegar hasta cierto punto.

Ahí es donde los expertos en el área cobran mucha importancia. Nos ayudan a diagnosticar los fallos y a crear los datos necesarios para corregirlos. Se evalúa, se detectan las carencias, se entrena el modelo para subsanarlas y se vuelve a evaluar. El proceso continúa a medida que el agente asume más tareas.

A medida que los modelos de vanguardia adquieren más capacidad, ¿cómo está cambiando el tipo de datos generados por personas que necesitan y qué formas de experiencia o evaluación cree que adquirirán mucho más valor en los próximos años?

Cada vez importan más dos aspectos: la duración de la tarea y hasta qué punto refleja el mundo real. A medida que mejoran los modelos, los datos de entrenamiento útiles se orientan hacia flujos de trabajo complejos, con más decisiones, más contexto y más oportunidades de cometer errores.

Eso hace que la experiencia operativa sea muy valiosa. Quien lleva años realizando un trabajo entiende las excepciones y dependencias que es fácil pasar por alto al diseñar una tarea desde fuera. También puede decirte si el resultado de un agente sería realmente útil dentro de la empresa.

Creo que, con el tiempo, las evaluaciones empresariales se convertirán en un mercado enorme, que podría alcanzar un billón de dólares al año. Todas las empresas que implementen agentes tendrán que entender en qué casos funcionan, en cuáles fallan y cómo mejorarlos. Las personas capaces de convertir sus conocimientos en evaluaciones útiles serán fundamentales para ello. Será una necesidad constante, porque las empresas, los modelos y el trabajo no dejan de cambiar.

Algunos profesionales podrían estar ayudando, en la práctica, a entrenar sistemas de IA para que realicen parte de sus propios trabajos. ¿Cómo entiende esa tensión y cómo cree que será la relación entre la experiencia humana y la IA en los próximos tres a cinco años?

Creo que subestimamos cuánto trabajo nuevo crearán las personas cuando dispongan de estas herramientas.

Pensemos en la selección de personal. Si un agente puede encargarse de una mayor parte de la selección inicial, un reclutador puede dedicar más tiempo a establecer relaciones con los candidatos o a buscar la manera de atraer a personas a las que la empresa antes no podía llegar. Su función cambia y puede hacer más en el mismo tiempo.

Espero que ocurra algo parecido en muchas profesiones. En los próximos tres a cinco años, los agentes se convertirán cada vez más en compañeros de trabajo a quienes las personas dirigirán, proporcionarán contexto y evaluarán. A medida que esto ocurra, las personas asumirán nuevas responsabilidades.

Por eso soy optimista. Ya están surgiendo nuevos empleos relacionados con el entrenamiento y la evaluación de la IA, y creo que surgirán muchos más a medida que las personas descubran lo que pueden crear y lograr con ella.

Gracias por esta excelente entrevista. Los lectores que quieran saber más sobre los datos de entrenamiento dirigidos por expertos, la evaluación de la IA y las oportunidades de aportar sus conocimientos especializados pueden visitar micro1.