Radha Basu, CEO e Fundadora da iMerit – Série de Entrevistas

Radha Basu, Fundadora e CEO da iMerit, construiu sua carreira na HP, passando 20 anos com o gigante da tecnologia e eventualmente liderando seu grupo de Soluções Empresariais. Ela então levou a Support.com ao público como sua CEO. Radha começou a Anudip Foundation em 2007 com Dipak Basu e, em seguida, fundou a iMerit em 2012. Ela é considerada uma líder empreendedora e mentora de tecnologia e uma pioneira nos negócios de software.

iMerit entrega soluções de dados de IA multimodais combinando automação, anotação humana especializada e análise avançada para apoiar a rotulagem de dados de alta qualidade e o ajuste fino de modelos em escala.

Você teve uma jornada notável – desde construir as operações da HP na Índia até fundar a iMerit com a missão de elevar jovens marginalizados em Butão, Índia e Nova Orleans. O que a inspirou a começar a iMerit, e quais desafios você enfrentou ao criar uma força de trabalho global e inclusiva do zero?

Antes de fundar a iMerit, eu era Presidente e CEO da SupportSoft, onde liderava a empresa através de suas ofertas públicas iniciais e secundárias, estabelecendo-a como uma líder global em software de automação de suporte. Essa experiência me mostrou o poder de combinar pessoas e tecnologia desde o início.

Embora o boom da tecnologia na Índia tenha criado novas oportunidades, notei que muitos jovens talentosos em áreas desfavorecidas foram deixados para trás. Acreditei em seu potencial e vontade de aprender. Uma vez que viram como o software poderia impulsionar tecnologias avançadas como a IA, eles abraçaram avidamente essas carreiras.

Lançamos a iMerit com uma equipe pequena e diversificada, metade da qual é composta por mulheres, e desde então crescemos rapidamente. A adaptabilidade e a capacidade de coaching da nossa equipe foram fundamentais, especialmente à medida que a demanda por especialistas qualificados aumentou com a IA centrada em dados.

Hoje, a iMerit é um fornecedor global de soluções de dados de IA para setores críticos, como veículos autônomos, IA médica e tecnologia. Nosso trabalho garante que os modelos de IA dos clientes sejam construídos com dados confiáveis e de alta qualidade, o que é essencial em ambientes de alto risco.

Em última análise, nossa força reside em uma base tecnológica sólida e em uma equipe de funcionários bem treinados e motivados que prosperam em uma cultura de apoio e aprendizado. Essa abordagem impulsionou nosso crescimento, nos manteve lucrativos e nos rendeu altas pontuações de NPS e clientes leais.

A iMerit agora trabalha com mais de 200 clientes, incluindo gigantes da tecnologia como a eBay e a Johnson & Johnson (JNJ ). Pode nos levar pelo crescimento da empresa – desde os primeiros dias até se tornar uma líder global em serviços de dados de IA?

Tivemos um assento na primeira fila para as jornadas de IA de nossos clientes, parceirando desde experimentos iniciais até a produção em grande escala. Nosso trabalho abrange startups, líderes globais de veículos autônomos e grandes empresas. Ao treinar seus modelos desde o início, ganhamos insights sem precedentes sobre o que realmente leva para dimensionar a IA no mundo real.

O campo evoluiu constantemente e rapidamente. Raramente vi uma tecnologia avançar tão dramaticamente em tão pouco tempo. Transformamos de um provedor de anotação de dados em uma empresa de dados de IA completa, entregando soluções especializadas em todo o ciclo de vida do loop humano (HITL): anotação, validação, auditoria e teste de equipe vermelha. Lidar com casos de bordo e exceções é vital para o deploy no mundo real, exigindo expertise profunda e julgamento nuances em cada etapa.

Nosso maior vertical é a mobilidade autônoma, onde gerenciamos a pilha de percepção completa, incluindo a fusão de sensores em 15 sensores para veículos de passageiros, entrega, caminhões e veículos agrícolas. Na saúde, impulsionamos a IA de imagens clínicas. Na alta tecnologia, estamos à frente do ajuste fino e validação do GenAI, exigindo maior sofisticação em nossos fluxos de trabalho e talentos.

O sucesso nesses domínios não é apenas sobre ter especialistas – é sobre cultivar expertise: a capacidade cognitiva de desafiar, treinar e contextualizar modelos de IA. É isso que diferencia nossas equipes.

Nosso crescimento é impulsionado por parcerias de longo prazo, e a maioria de nossos principais clientes esteve conosco por mais de cinco anos. À medida que suas necessidades crescem em complexidade, continuamos a elevar nosso conhecimento de domínio, ferramentas, treinamento e soluções. Tanto nossa pilha de tecnologia quanto nossas pessoas devem evoluir constantemente.

A fusão de software, automação, anotação e análise cria a rubrica para intervenções humanas no loop muito flexíveis, rápidas e precisas. 70% dos novos logotipos estão em nossa própria pilha de tecnologia, o que exige uma grande transformação interna. Mais uma vez, nossa cultura garante que as equipes estejam ansiosas para aprender e queiram crescer constantemente.

Quais foram os momentos mais cruciais na história da iMerit – seja em marcos tecnológicos ou decisões estratégicas – que ajudaram a moldar a trajetória da empresa?

Em um momento em que o trabalho de dados de IA era visto como trabalho de multidão, apostamos cedo que isso cresceria como uma carreira e exigiria complexidade e foco empresarial. Ao construir equipes internas dedicadas a casos de uso avançados, permitimos que nossos clientes escalassem rapidamente, culminando em nosso primeiro acordo de $1M MRR em veículos autônomos, um marco que validou nossa abordagem.

O bloqueio da COVID-19 testou nossa agilidade: transitamos de totalmente no escritório para totalmente remoto quase da noite para o dia, investindo pesadamente em infraestrutura, segurança e cultura. Em semanas, as operações do cliente se recuperaram, e crescemos tanto em receita quanto em pessoal naquele ano. Hoje, com 70% de nossa equipe de volta no local, continuamos a aproveitar o talento remoto, lançando os Acadêmicos, nossa rede global de especialistas em assuntos para ajuste fino e validação do GenAI. Seja um cardiologista ou um matemático espanhol, nossa cultura de alto toque atrai e motiva o melhor talento, elevando diretamente a qualidade e a consistência de nossas soluções.

Em 2023, adquirimos a Ango.ai, uma plataforma de rotulagem de dados de IA e automação de fluxo de trabalho impulsionada por IA, para impulsionar a próxima geração de ferramentas de dados de IA. Esse movimento crucial fundiu a expertise de domínio da iMerit com a ferramenta avançada da Ango, expandindo nossas capacidades em radiologia, fusão de sensores e ajuste fino do GenAI. Ainda trabalhamos com as ferramentas dos clientes, mas muitos novos clientes agora são embarcados diretamente no Ango Hub, atraídos por seus fluxos de trabalho de usuário amigável e segurança robusta, que são requisitos essenciais em nossa indústria.

As empresas consistentemente nos dizem que estão procurando o melhor dos dois mundos: insights humanos especializados para garantir a qualidade, combinados com uma plataforma segura e escalável que entrega automação e análise. Combinar forças com a Ango entrega exatamente isso, posicionando-nos de forma única para atender às demandas complexas dos projetos de IA mais ambiciosos de hoje e dimensionar com confiança.

A iMerit está profundamente envolvida em domínios avançados como veículos autônomos, IA médica e GenAI. Quais são alguns dos desafios de dados únicos que você enfrenta nesses setores, e como você os aborda?

As tarefas relacionadas a dados normalmente representam quase 80% do tempo gasto em projetos de IA, tornando-as um componente crítico do pipeline. A parte centrada em dados da IA pode ser demorada e cara se não for tratada de forma apropriada e escalável.

A qualidade dos dados, e especialmente a evasão de erros gritantes, é essencial em setores críticos de missão que operamos. Seja um algoritmo de percepção ou um detector de tumor, dados limpos são essenciais no loop de treinamento e validação.

O tratamento de exceções é desproporcionalmente valioso. A percepção humana de por que algo está fora do padrão ou por que um cenário quebrou o modelo cria um valor enorme em tornar o modelo mais completo e robusto.

Além disso, as janelas de contexto estão se tornando maiores. Estamos resumindo notas clínicas de uma consulta completa entre médico e paciente e analisando anomalias em MRIs com base não apenas na imagem, mas também no contexto médico do paciente. Especialistas em assuntos devem estabelecer rubricas para analisar os dados com precisão e garantir a qualidade.

Segurança, privacidade e confidencialidade são tópicos quentes. Nosso Diretor de Segurança deve proteger contra acesso não autorizado, exclusão e armazenamento de dados. Protocolos de infosec como SOC2, HIPAA e TISAX foram áreas importantes de investimento para nós.

Finalmente, nossos engenheiros e arquitetos de soluções estão constantemente trabalhando em integrações personalizadas e relatórios para que as necessidades únicas dos clientes sejam refletidas na última milha. Uma abordagem de um tamanho para todos não funciona na IA.

Você falou sobre combinar robótica e inteligência humana como um caminho mais seguro para a IA. Pode expandir sobre como essa fluxo de trabalho parece na prática – e por que você acredita que é melhor do que tentar eliminar a divergência criativa da IA?

A IA fornece escala, significando que as empresas estão desenvolvendo ferramentas para automatizar processos demorados tradicionalmente realizados por humanos. Mas os humanos fornecem a última milha de flexibilidade, certeza e resiliência. À medida que os serviços de software continuam a proliferar na IA, as empresas mais bem-sucedidas combinarão efetivamente a robótica com práticas humanas no loop (HITL).

Vemos o HITL como uma camada consistente em cada fase do ciclo de vida de desenvolvimento e implantação da IA, e também como um pilar de confiança e segurança. Consequentemente, a inteligência humana será essencial para corrigir o curso se os modelos falharem. Essas aplicações críticas precisarão da mente humana para determinar quais mudanças precisarão ser feitas. É aqui que os serviços HITL se tornarão ainda mais significativos à medida que integramos a IA na produção e operações de campo.

A plataforma Ango Hub combina automação com expertise humana no loop. Como esse modelo híbrido melhora a qualidade dos dados e o desempenho do modelo em sistemas de IA de produção?

A IA e a automação fornecem escala e velocidade, enquanto os humanos fornecem nuances, insights e supervisão. O HITL garante a participação humana em pontos críticos do ciclo de vida da IA – garantindo entradas de alta qualidade, validando saídas, identificando casos de bordo e ajustando finos de modelos para domínios, e fornecendo julgamento contextual. Os humanos ajudam a garantir a precisão revisando e verificando as saídas, capturando alucinações ou erros lógicos antes que causem danos. Eles também fornecem supervisão em contextos eticamente sensíveis ou de alto risco onde os LLMs não devem tomar decisões finais. Mais importante ainda, o feedback humano alimenta o aprendizado contínuo, ajudando os sistemas de IA a se alinharem mais de perto com os objetivos do usuário ao longo do tempo.

O HITL assume muitas formas. Especialistas humanos se envolvem em anotação direcionada, aplicam raciocínio complexo a casos de bordo e revisam o conteúdo gerado por IA usando interfaces de QA estruturadas. Em vez de avaliar cada decisão, sistemas de escalada contextual são frequentemente implementados. Esses sistemas roteiam apenas saídas de baixa confiança ou anomalias sinalizadas para revisores humanos, equilibrando a supervisão com eficiência.

Outro uso crítico do HITL é o ajuste fino de agentes de IA por meio do Aprendizado por Reforço com Feedback Humano (RLHF). Revisores humanos classificam, reescrevem ou fornecem feedback sobre respostas do agente, o que é especialmente importante em domínios sensíveis como saúde, serviços jurídicos ou suporte ao cliente. Em conjunto, testes baseados em cenários e testes de equipe vermelha permitem que avaliadores humanos testem agentes em condições adversárias ou incomuns para identificar e corrigir vulnerabilidades antes do deploy.

O potencial total da IA é realizado apenas quando os humanos permanecem no loop, orientando, validando e melhorando cada etapa. Seja refinando as saídas do agente, treinando loops de avaliação ou curando pipelines de dados confiáveis, a supervisão humana adiciona a estrutura e a responsabilidade que a IA precisa para ser confiável e eficaz.

Com a evolução rápida das ferramentas de IA Geradora, como a iMerit está se mantendo à frente na oferta de serviços de avaliação, RLHF e ajuste fino?

Recentemente, lançamos o Laboratório de Raciocínio Profundo da Ango Hub (DRL), uma plataforma unificada para o ajuste fino e desenvolvimento interativo de raciocínio em cadeia de pensamento com professores de IA. Nosso DRL permite processos em tempo real e baseados em preferências humanas, levando a respostas de modelo mais coerentes e precisas para problemas complexos.

Os avanços nos modelos e no desenvolvimento de aplicativos do GenAI destacam o valor dos dados limpos, criados por especialistas e validados. Com o DRL da Ango Hub, especialistas podem testar modelos, identificar fraquezas e gerar dados limpos usando raciocínio em cadeia de pensamento. Eles interagem com os modelos em tempo real e enviam prompts e correções de volta passo a passo em uma interface única.

Aproveitando os Acadêmicos da iMerit, o DRL da Ango Hub aprimora os processos de raciocínio do modelo. Ele aproveita a experiência extensa da iMerit com fluxos de trabalho HITL. Especialistas projetam cenários multietapas para tarefas complexas, como criar prompts de raciocínio em cadeia de pensamento para problemas avançados de matemática. Os Acadêmicos da iMerit revisam as saídas, corrigem erros e capturam interações de forma transparente. A magia não está em embarcar um grande número indiscriminadamente. Os melhores matemáticos não são necessariamente os melhores professores. Além disso, não se deve tratar um cardiologista como um trabalhador autônomo. O ajuste e o treinamento de especialistas em assuntos para pensar da maneira que mais beneficia o processo de treinamento do modelo fazem a diferença.

O que significa “especialista no loop” no contexto do ajuste fino da IA geradora? Pode compartilhar exemplos onde a expertise humana melhorou significativamente as saídas do modelo?

Especialista no loop combina inteligência humana com inteligência robótica para avançar a IA para a produção. Isso envolve especialistas humanos que validam, refinam e melhoram as saídas de sistemas automatizados.

Especificamente, a anotação de dados liderada por especialistas garante que os dados de treinamento sejam rotulados com precisão com conhecimento de domínio específico, melhorando a precisão e a confiabilidade dos modelos de IA preditivos. Reduzindo vieses e classificações incorretas, a anotação liderada por especialistas melhora a capacidade do modelo de generalizar efetivamente em cenários do mundo real. Isso resulta em sistemas de IA mais confiáveis, interpretáveis e alinhados com as necessidades específicas da indústria.

Por exemplo, após adquirir um grande corpus de dados médicos, uma empresa de tecnologia multinacional americana precisava avaliar os dados para uso em seu chatbot de saúde de enfrentamento para garantir conselhos médicos seguros e precisos para os usuários. Recorrendo à iMerit, eles aproveitaram nossa rede extensa de especialistas em saúde nos EUA e reuniram uma equipe de enfermeiros para trabalhar em um fluxo de trabalho de consenso com escaladas e arbitragem fornecida por um médico certificado pela Junta Americana. Os enfermeiros começaram avaliando a base de conhecimento com definições para avaliar a precisão e o risco.

Por meio da discussão de casos de bordo e revisão de diretrizes, os enfermeiros puderam chegar a um consenso em 99% dos casos. Isso permitiu que a equipe revisasse o design do projeto para uma estrutura de voto único com uma auditoria de 10%, reduzindo os custos do projeto em mais de 72%. Trabalhar com a iMerit permitiu que a empresa continuasse a identificar maneiras de dimensionar a anotação de dados médicos de forma ética e eficiente.

Com mais de 8.000 especialistas em tempo integral em todo o mundo, como você mantém a qualidade, o desempenho e o desenvolvimento dos funcionários em escala?

A definição de qualidade é sempre personalizada para cada caso de uso específico do cliente. Nossas equipes colaboram estreitamente com os clientes para definir e calibrar os padrões de qualidade, empregando processos personalizados que garantem que cada anotação seja rapidamente validada por especialistas em assuntos. A consistência é importante para o desenvolvimento de IA de alta qualidade. Isso é apoiado pela alta retenção de funcionários (90%) e um forte foco na análise de produção, um diferenciador-chave no design da Ango Hub, moldado pelo feedback diário dos usuários de nossa equipe.

Continuamos a investir em automação, otimização e gestão do conhecimento, sustentados por nossa plataforma de treinamento proprietária iMerit One. Esse compromisso com o aprendizado e o desenvolvimento não apenas impulsiona a excelência operacional, mas também apoia a progressão de carreira de longo prazo para nossos funcionários, fomentando uma cultura de expertise e crescimento.

Que conselho você daria a empreendedores de IA aspirantes que desejam construir algo significativo – tanto em tecnologia quanto em impacto social?

A IA está se movendo a um ritmo vertiginoso. Vá além da pilha de tecnologia e ouça seus clientes para entender o que importa para seus negócios. Entenda seu apetite por velocidade, mudança e risco. Clientes iniciais podem experimentar coisas. Clientes maiores precisam saber que você está aqui para ficar e que continuará a priorizá-los. Acalme-os com sua abordagem proativa em relação à transparência, segurança e responsabilidade.

Além disso, selecione cuidadosamente seus investidores e membros do conselho para garantir a alinhamento em valores e preocupações compartilhados. Na iMerit, experimentamos um apoio significativo de nosso conselho e investidores durante tempos desafiadores, como a COVID-19, o que creditamos a esse alinhamento.

As qualidades-chave que contribuem para o sucesso de um empreendedor na indústria de tecnologia vão além de correr riscos; envolvem construir uma empresa lucrativa e inclusiva.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar iMerit.