Ali Ansari, fundador e CEO da micro1 – Série de entrevistas

Ali Ansari é fundador e CEO da micro1, onde se dedica a transformar a expertise humana em dados de treinamento e avaliações para sistemas avançados de IA. Sua trajetória empreendedora inclui a criação de uma agência de desenvolvimento de software e a fundação da peerlinc, antes de lançar a micro1 em 2022. Estudou ciência da computação na UC Berkeley e em Stanford, com foco em aprendizado por reforço, e hoje trabalha nos sistemas necessários para encontrar, avaliar e coordenar as contribuições de especialistas para o desenvolvimento de IA.

micro1 é um laboratório de dados que ajuda a treinar modelos de IA de fronteira e a avaliar agentes de IA com a contribuição de especialistas humanos e em ambientes de trabalho realistas. Sua plataforma reúne recrutamento especializado, produção de dados, revisão de qualidade e avaliação de modelos em áreas como direito, saúde, finanças, engenharia e ciências. Nesta entrevista, Ansari fala sobre o crescimento da demanda por expertise humana, como os dados operacionais ajudam no aprendizado por reforço e as oportunidades de carreira que estão surgindo nas áreas de treinamento e avaliação de IA.

Você fundou a micro1 em 2022, depois de criar e vender a peerlinc. Que problema estava tentando resolver inicialmente e como a micro1 se tornou uma empresa focada no treinamento e na avaliação de modelos de IA de fronteira?

No começo, era um problema que eu enfrentava no meu próprio negócio. Eu administrava uma agência de desenvolvimento de software, e cada novo projeto exigia encontrar e entrevistar mais engenheiros. Eu gastava uma enorme parte do meu tempo com isso. Então criamos uma entrevistadora de IA, Zara, para ajudar — e isso acabou se tornando a micro1.

Começamos vendendo o software de recrutamento e criando um mercado de talentos selecionados. Depois, um cliente nos procurou porque precisava de centenas de engenheiros para treinar modelos de IA. Começamos a investigar por que precisava de tanta gente e percebemos que havia uma enorme demanda por expertise humana no desenvolvimento de modelos.

Já havíamos passado anos desenvolvendo a capacidade de encontrar e avaliar pessoas em grande escala. Os dados humanos eram uma aplicação muito poderosa dessa infraestrutura. Então nos dedicamos totalmente a essa área: usamos nosso recrutador de IA para encontrar e avaliar talentos especializados e criamos outras plataformas de dados e sistemas de qualidade para dar suporte a esse trabalho. Hoje, ajudamos laboratórios a transformar essa expertise em recursos melhores para os modelos.

Você argumentou que, à medida que os modelos de IA se tornam mais capazes, a demanda por expertise humana está, na verdade, aumentando em vez de desaparecer. O que impulsiona essa relação?

Há algumas coisas acontecendo. Primeiro, conforme os modelos melhoram, pedimos que realizem tarefas mais difíceis. Um modelo capaz de responder a uma pergunta é útil. Um modelo capaz de assumir um fluxo de trabalho inteiro é muito mais útil, mas chegar a esse ponto exige muito mais contribuição de especialistas.

Segundo, os seres humanos continuam criando novos trabalhos. Se um advogado pode usar IA para muitas das tarefas que ocupam seu dia, sobra mais tempo para lidar com problemas mais complexos ou desenvolver um novo serviço para os clientes. Essas novas funções passam então a ser coisas que também queremos destilar em modelos. É isso que queremos dizer com “não existe última milha”. O trabalho continua evoluindo.

Os dados sintéticos tornam isso ainda mais interessante. É possível usá-los para ampliar as tarefas e o feedback criados por especialistas, tornando mais valiosa essa contribuição humana inicial. Acho que essa combinação explica por que a demanda por expertise humana continua crescendo junto com a capacidade dos modelos.

A micro1 trabalha com especialistas de áreas como direito, saúde, finanças, engenharia e ciências. O que esses profissionais podem oferecer aos sistemas de IA que não possa ser simplesmente aprendido com os dados já disponíveis na internet?

Boa parte do que torna alguém um excelente médico, advogado ou engenheiro é o discernimento desenvolvido na prática. Parte desse conhecimento está documentada, mas muito dele se revela na maneira como a pessoa lida com um caso incomum, percebe a falta de informações ou decide qual detalhe realmente importa.

Isso tem enorme valor para o treinamento de modelos. Um especialista pode criar uma tarefa difícil, explicar como seria um bom resultado e identificar exatamente em que ponto o modelo falha. Uma resposta pode soar muito convincente e, ainda assim, deixar passar aquilo que mais importa para quem exerce aquela profissão.

Precisamos de especialistas para fazer essas distinções. Também precisamos de múltiplas perspectivas e de um processo de revisão rigoroso, porque o discernimento de uma única pessoa não dará conta de todos os casos. O objetivo é transformar essa experiência em um sinal com o qual o modelo possa aprender. Além disso, há enorme complexidade dentro de cada área. A expertise jurídica, por exemplo, não é uma coisa só: varia conforme a área de atuação, o estado ou a jurisdição e os sistemas jurídicos de diferentes países. Cada camada exige conhecimentos e discernimento mais especializados. A mesma profundidade existe em todos os domínios e em suas muitas subáreas, e é por isso que precisamos de especialistas que entendam o significado prático dessas distinções.

À medida que o setor volta cada vez mais sua atenção para o pós-treinamento, o aprendizado por reforço e a avaliação, onde estão hoje os maiores gargalos para aprimorar os modelos de fronteira?

Acho que o acesso a dados realistas é um dos maiores gargalos. As empresas passaram anos resolvendo problemas, tomando decisões e lidando com exceções, e essa experiência está registrada em seus documentos, sistemas e fluxos de trabalho. Ela é extremamente valiosa para ensinar um modelo a realizar tarefas reais.

Foi por isso que criamos o programa Company Data Partnerships, ou CDP. Pagamos às empresas para licenciar seus dados operacionais. Isso pode incluir documentação interna, históricos de projetos, registros de CRM e os processos que as pessoas seguem para realizar o trabalho. Por conjuntos de dados empresariais valiosos, estamos pagando mais de US$ 2 milhões, dependendo dos dados e da parceria.

Usamos esse material para criar ambientes realistas de treinamento e avaliação. Pense na resolução de um problema de um cliente: talvez seja necessário consultar o histórico da conta, encontrar a política relevante e decidir o que fazer. Um ambiente criado em torno desse fluxo de trabalho oferece ao modelo um espaço para praticar essas etapas. Especialistas definem a tarefa e como avaliar se ela foi concluída com sucesso. Esse feedback é o que torna o ambiente útil para o aprendizado por reforço.

As empresas mantêm a propriedade de seus dados originais. Acordamos o escopo e os requisitos de tratamento, incluindo as medidas de proteção da privacidade, e preparamos os dados para o uso pretendido.

O valor está na experiência registrada nesses dados. O CDP oferece às empresas uma maneira de gerar receita com essa experiência e, ao mesmo tempo, ajuda os modelos a aprender a operar em contextos muito mais realistas.

Que formas de julgamento ou especialização humanos você acredita que continuarão sendo especialmente difíceis de reproduzir para os sistemas de IA, mesmo com os modelos se tornando significativamente mais capazes?

Acredito que o gosto e a criatividade humanos serão particularmente difíceis para os modelos. Isso se deve à maneira como criamos dados de treinamento.

Em muitas tarefas, podemos reunir especialistas e fazer com que cheguem a um acordo sobre o que é considerado bom. Isso nos dá um sinal útil para orientar o treinamento. Mas, se perguntarmos às pessoas o que torna uma imagem excelente, um filme excelente ou um design envolvente, quanto mais elas discutem, mais suas opiniões podem divergir. Nem sempre há uma única resposta a que todos possam chegar.

A IA ainda pode se tornar muito útil nessas áreas. Mas decidir o que se quer criar, para quem e se aquilo realmente repercute envolve muito julgamento humano. Acredito que esse julgamento se torna ainda mais importante à medida que as ferramentas facilitam a produção.

Você está vendo cada vez mais profissionais tratarem o treinamento e a avaliação de IA como um trabalho profissional sério, e não como uma atividade paralela. Isso poderia se transformar em uma categoria de emprego inteiramente nova? Como seriam essas carreiras?

Com certeza. Essa já é uma nova categoria de trabalho que movimenta vários bilhões de dólares. Temos especialistas que aplicam o conhecimento adquirido ao longo de suas carreiras para ajudar a treinar e avaliar a IA. Para algumas pessoas, isso está se tornando uma parte substancial de sua vida profissional.

O trabalho em si pode ser muito profundo. Um advogado pode criar um cenário difícil e definir como avaliar a resposta do modelo. Um engenheiro pode elaborar uma tarefa que conduza um agente por todo um fluxo de trabalho de software. Há também pessoas que analisam os dados, aprimoram os critérios de avaliação e lideram equipes de especialistas. Esse trabalho também pode dar às pessoas mais espaço para se concentrarem no que as atraiu para sua área desde o início. Na maioria dos empregos, muito tempo é dedicado a tarefas administrativas e obrigações que não fazem parte do trabalho que as pessoas consideram mais significativo. Treinar a IA em seu domínio pode colocar a especialização delas no centro do que fazem: trabalhar em problemas difíceis, aplicar seu julgamento e compartilhar o que aprenderam com a experiência. É uma oportunidade de dedicar mais tempo ao que valorizam e fazem melhor, ajudando, ao mesmo tempo, a moldar a maneira como a IA aborda esse trabalho.

Acredito que veremos o desenvolvimento de verdadeiras trajetórias profissionais nessa área. É possível se tornar muito bom em traduzir a especialização em determinado domínio em dados de treinamento, ou em administrar um fluxo de dados e entender onde os modelos precisam de ajuda. Essas são habilidades valiosas, e ainda estamos nos primeiros passos para descobrir como serão todas essas funções.

À medida que as empresas recrutam médicos, advogados, engenheiros, cientistas e outros especialistas para aprimorar os modelos de IA, como vocês verificam a especialização e garantem que os dados de treinamento resultantes sejam precisos e consistentes?

Criamos todo um sistema em torno disso. Tudo começa com Zara, nossa ferramenta de recrutamento com IA, que nos ajuda a encontrar e avaliar especialistas com as habilidades exigidas por cada projeto. Em seguida, nossa ferramenta Merit nos ajuda a acompanhar a qualidade, a rapidez e a confiabilidade das contribuições dessas pessoas ao longo do tempo. É preciso entender tanto a especialização de cada pessoa quanto a maneira como ela se traduz nos dados que produz.

Nossa plataforma flow reúne o trabalho dos especialistas e os modelos que criamos para dar suporte à geração e à revisão de dados. Os especialistas definem as tarefas e o que caracteriza um bom resultado. Em seguida, flow gen ajuda a ampliar esse ponto de partida, criando novos exemplos e variações. flow qc verifica se há problemas nos dados, como falta de evidências ou incompatibilidade entre uma tarefa e os critérios usados para pontuá-la. E flow grader avalia o desempenho do modelo com base nesses critérios.

O mais importante é o que acontece quando um especialista identifica um erro. Essa correção pode melhorar os dados de treinamento, mas também pode nos ajudar a aprimorar os próprios geradores e verificações de qualidade. Podemos transformar erros recorrentes em testes para a versão seguinte.

Esse é o ciclo virtuoso de dados sintéticos que estamos construindo. A expertise humana nos dá o ponto de partida e o discernimento. Nossas ferramentas ajudam a ampliar esse trabalho, e o feedback de especialistas contribui para melhorar o próximo ciclo. Depois, testamos se essas mudanças realmente levam a um melhor desempenho do modelo. É isso que torna o ciclo valioso.

Os agentes de IA precisam cada vez mais realizar tarefas complexas, com várias etapas, em vez de simplesmente gerar respostas. Como o treinamento e a avaliação desses sistemas diferem do trabalho necessário para aprimorar os grandes modelos de linguagem tradicionais?

A grande diferença está na duração da tarefa. Um agente pode precisar executar muitas ações em diferentes ferramentas antes de chegar a um resultado útil. Ele pode realizar bem as primeiras etapas e, ainda assim, não concluir a tarefa como um todo, porque os erros se acumulam.

Por isso, precisamos de ambientes em que o modelo possa praticar todo o fluxo de trabalho e de avaliações que nos mostrem onde ele falha. Encontrou as informações certas? Usou a ferramenta corretamente? Chegou de fato ao resultado que queríamos?

Há também o contexto da própria empresa. Um agente que trabalha dentro de uma organização precisa entender os processos e as expectativas dela. As capacidades gerais só levam você até certo ponto.

É aí que os especialistas do setor se tornam realmente importantes. Eles nos ajudam a diagnosticar as falhas e a criar os dados necessários para corrigi-las. Avaliamos, identificamos as lacunas, treinamos para preenchê-las e avaliamos novamente. Esse processo continua à medida que o agente assume mais tarefas.

À medida que os modelos de ponta se tornam mais capazes, como está mudando o tipo de dados gerados por humanos de que precisam, e quais formas de expertise ou avaliação você espera que se tornem significativamente mais valiosas nos próximos anos?

Dois aspectos ganham cada vez mais importância: a duração da tarefa e o quanto ela reflete o mundo real. À medida que os modelos melhoram, os dados de treinamento mais úteis passam a envolver fluxos de trabalho complexos, com mais decisões, mais contexto e mais oportunidades de erro.

Isso torna a expertise operacional muito valiosa. Quem passou anos exercendo uma profissão entende as exceções e as dependências que são fáceis de ignorar ao elaborar uma tarefa sem conhecer a realidade do trabalho. Essa pessoa também pode dizer se o resultado de um agente funcionaria de fato dentro da empresa.

Acredito que, com o tempo, as avaliações empresariais se tornarão um mercado enorme, potencialmente de um trilhão de dólares por ano. Toda empresa que implementar agentes precisará entender em que situações eles funcionam, onde falham e como aprimorá-los. As pessoas capazes de transformar seu conhecimento em avaliações úteis serão essenciais nesse processo. Essa necessidade é contínua, porque as empresas, os modelos e o trabalho estão sempre mudando.

Alguns profissionais podem, na prática, estar ajudando a treinar sistemas de IA para executar partes do próprio trabalho. Como você encara essa tensão e como acredita que será a relação entre a expertise humana e a IA nos próximos três a cinco anos?

Acho que subestimamos quanto trabalho novo as pessoas criarão quando tiverem essas ferramentas.

Pense no recrutamento. Se um agente puder cuidar de uma parte maior da triagem inicial, o recrutador poderá dedicar mais tempo a construir relacionamentos com candidatos ou a descobrir como atrair pessoas que a empresa não conseguia alcançar antes. O papel dele muda, e ele pode fazer mais com o mesmo tempo.

Espero que algo semelhante aconteça em muitas profissões. Nos próximos três a cinco anos, os agentes se tornarão cada vez mais colegas de trabalho a quem as pessoas darão orientações e contexto e cujo trabalho avaliarão. À medida que isso acontecer, as pessoas assumirão novas responsabilidades.

É por isso que sou otimista. Já estamos vendo surgir novas funções ligadas ao treinamento e à avaliação de IA, e acredito que muito mais ainda virá à medida que as pessoas descobrirem o que podem criar e realizar com ela.

Obrigado pela ótima entrevista. Leitores que quiserem saber mais sobre dados de treinamento orientados por especialistas, avaliação de IA e oportunidades de contribuir com seus conhecimentos especializados devem visitar micro1.