Carolyn Harvey, Diretora de Operações da LXT – Série de Entrevistas

Carolyn Harvey tem ampla experiência em liderar e crescer operações globais no campo de relevância de busca e anotação de dados de ML. Carolyn atualmente é Diretora de Operações (COO) da LXT, onde lidera a divisão de operações globais da empresa, garantindo a entrega consistente de todos os programas e projetos de dados de IA. Ela se concentra em dados de alta qualidade em escala, construindo eficiências em programas de longo prazo e escalando em grandes números de locais globais.

Como COO da LXT, Carolyn empresta sua rica experiência para desenvolver uma organização de classe mundial.

Você pode descrever brevemente o que a LXT faz e seu papel como COO?

A inteligência artificial depende de dados para existir, e a LXT é uma líder emergente na entrega de dados precisos, eticamente fontes, que impulsionam inovações de IA. Como Diretora de Operações, meu papel é supervisionar, liderar e expandir nossas operações globais por meio de estratégias, estrutura e processos que nos permitem entregar os dados de IA de alta qualidade aos nossos clientes. Eu garanto que entregamos no prazo em uma ampla gama de casos de uso, desde IA gerativa até relevância de busca e carros autônomos, entre muitos outros.

Como a missão da LXT evoluiu desde sua criação em 2010? 

Nossa missão é impulsionar as tecnologias do futuro por meio da geração e melhoria de dados em todos os idiomas, culturas e modalidades. Nosso objetivo é ajudar empresas de todos os tamanhos a capitalizar os incríveis benefícios que a IA entrega, impulsionando seus modelos com dados de alta qualidade. À medida que a missão da empresa evolui, o escopo de nossos serviços expandiu-se desde a transcrição de linguagem e coleta de voz para incluir uma ampla gama de soluções, incluindo coleta e anotação de dados para texto, imagem e vídeo, serviços de IA gerativa e mais. Também expandimos nossa pegada global de instalações certificadas ISO 27001 para atender às necessidades crescentes de nossos clientes por serviços de dados seguros.

Quais foram os principais impulsionadores de seu crescimento no setor de dados de treinamento de IA?

O investimento contínuo em IA por organizações de todos os tamanhos impulsionou nosso crescimento. As empresas agora sabem que a IA é fundamental para permanecerem competitivas, e os dados impulsionam a IA. Mas nem todos os dados são iguais, e as empresas que estão tendo sucesso na IA sabem que os dados de alta qualidade são críticos para criar IA mais precisa.

Agora, com a IA gerativa em mente de todos, essa tendência abriu ainda mais oportunidades de crescimento para a LXT. Os humanos são críticos para garantir que essas soluções sejam precisas, éticas e responsáveis. Nós oferecemos uma gama de serviços de IA gerativa em áreas como fine-tuning de grandes modelos de linguagem, criação de prompts e mais. Nossos clientes sabem que, para construir confiança com os usuários finais, a saída de seus produtos de IA gerativa precisa ser factual, representar uma audiência diversa e estar livre de linguagem tóxica. Podemos ajudá-los a alcançar esses objetivos com nossos serviços de humanos no loop.

Como a explosão de IA gerativa impactou a LXT e seus clientes?

A LXT viu uma demanda crescente por seus dados de treinamento de IA devido à IA gerativa, tanto para dados orientados à linguagem quanto para aspectos mais novos relacionados à análise, criatividade e pensamento crítico. Também estamos vendo um aumento na demanda por conhecimento de domínio e perfis especializados para trabalhadores de projeto.

Os pedidos dos clientes estão cada vez mais indo além das entradas de aprendizado de máquina de tarefas micro do passado para LLMs e os conjuntos de dados mais complexos necessários por aplicativos como ChatGPT, Gemini e muitas ramificações. Atualmente, estamos envolvidos em vários projetos inovadores onde estamos escrevendo prompts visando confundir a IA gerativa para ver como ela responde, e então criando a resposta correta.

No futuro, isso pode evoluir ainda mais para inteligência artificial geral (IAG), onde os conjuntos de dados mapearão ações ainda mais complicadas e sofisticadas.

Você tem anos de experiência trabalhando em busca e personalização para ajudar a melhorar esses algoritmos. Quais são algumas das maneiras pelas quais as principais empresas estão melhorando sua relevância de busca para fornecer uma melhor experiência do usuário?

Em um mundo onde o tempo é precioso e a informação está em todos os lugares, melhorar a relevância de busca pode fortalecer a lealdade, aumentar as taxas de conversão e tornar os usuários mais produtivos.

A relevância de busca começa com a limpeza e organização dos dados de nossos clientes, eliminando qualquer coisa que possa gerar falsos positivos, e criando campos de dados adicionais por meio dos quais os motores de busca e recomendação podem vasculhar para gerar resultados mais precisos. Com a ajuda do aprendizado de máquina e processamento de linguagem natural, os clientes podem capacitar seu mecanismo de busca a intuir mais intuitivamente a intenção do usuário e aprender sobre suas preferências com o tempo. O resultado é uma experiência de busca mais rápida que leva a resultados mais personalizados.

Alcançar esse objetivo requer grandes volumes de dados de treinamento, com um foco particular em treinar algoritmos para reconhecer, classificar e retornar entidades relevantes, e lidar com erros de digitação, erros gramaticais e outras anomalias de dados. Também recomendamos uma abordagem de reforço humano no loop (HITL) para garantir dados precisos, reduzir vieses e fornecer uma melhor experiência de busca para o usuário final. Com os avanços de ML nos últimos 10 anos, o HITL tem um foco intensificado em processos de revisão de qualidade, o que impulsiona a necessidade de experiência mais profunda por parte dos fornecedores de dados.

Você pode elaborar sobre a abordagem da LXT para anotação de dados e como ela garante a qualidade e a precisão dos dados de treinamento de IA?

Como equipe de operações, devemos primeiro entender como os clientes usam os dados que fornecemos no desenvolvimento de seus produtos e serviços para garantir que atendam às suas necessidades. Para fazer isso, precisamos encontrar especialistas em gerenciamento de projeto e anotação que tenham experiência com o tipo de dados necessário.

A partir daí, é principalmente sobre preparação e encontrar os recursos certos no início de cada projeto. Isso inclui alinhar com os clientes sobre fatores de sucesso durante a fase de escopo, bem como processos de qualificação e seleção rigorosos para anotadores de projeto que considerem detalhes importantes, como formação acadêmica, interesses especiais, demografia e experiência. Também desenvolvemos materiais de aprendizado e referência detalhados como um guia, personalizados para cada projeto. Aplicamos uma supervisão madura de gestão de qualidade e processo em todos os ciclos de vida do projeto. A abordagem que usamos alinha com e informa as melhores práticas da indústria, garantindo que os resultados atendam às expectativas dos clientes.

E todas essas metodologias estão a serviço de nossa promessa de garantia de qualidade de dados.

Como a LXT lida com o desafio de anotar dados não estruturados, que compõem mais de 80% de todos os dados?

A LXT construiu uma plataforma de anotação interna que automatiza muitas partes do processo de anotação e fornece estrutura e uma interface de usuário consistente para os trabalhadores. Na etapa de pré-processamento, nos concentramos na preparação dos dados, formatando os arquivos de entrada e removendo duplicatas, entre outras coisas, e na pós-processamento, abordamos a embalagem dos dados, coletando e formatando para entrega ao cliente.

Antes de o projeto começar, criamos diretrizes que são revisadas com o cliente e iteradas ao longo do ciclo de vida do projeto à medida que as coisas mudam. Podemos dividir o processo de rotulagem de dados em várias tarefas para nos concentrar em cada elemento do projeto adequadamente. Além disso, implementamos metodologias de controle de qualidade para impulsionar a eliminação de erros em escala.

Finalmente, nossa Equipe de Excelência Operacional é responsável por gestão de processo avançada para garantir alta eficiência e escalabilidade para nossos projetos em todo o mundo.

Quais são alguns dos maiores desafios que a LXT enfrenta ao coletar dados em escala global, e como você supera esses desafios?

Diversidade e viés nos participantes e nas coleções de dados resultantes são frequentemente alguns dos maiores desafios que a LXT, e qualquer fornecedor de dados de treinamento de IA, enfrentará. Outros desafios incluem uma demanda recente por especialização em domínio e um cenário em rápida mudança com a transição para LLMs e dados de IA gerativa.

Superamos esses desafios por meio de uma abordagem altamente proativa para fontes de nossa candidatos, onde revisamos especialização, experiência, funções anteriores, interesses e demografia para formar a diversidade certa entre equipes por gênero ou outros aspectos, como pensamento analítico ou escrita criativa, formação acadêmica, entre outros.

Uma vez que temos as fontes certas, nos esforçamos para envolver os trabalhadores regularmente para construir uma força de trabalho mais experiente, leal e satisfeita a longo prazo.

Em termos de avaliação de IA, como a LXT trabalha para mitigar o viés e garantir saídas éticas nos sistemas de IA que ajuda a treinar?

Como mencionado anteriormente, garantir a diversidade é um desafio que muitos fornecedores de dados de treinamento de IA devem resolver, e isso irá longe para mitigar o viés e garantir saídas éticas.

Vou me referir novamente às nossas práticas de engajamento, que incluem encontrar anotadores diversificados e representativos e sermos rigorosos com as diretrizes e medidas de controle de qualidade. Temos uma estratégia de fonte de impacto que nos permite levar trabalho a grupos diversificados e novos de anotadores, como em regiões de idioma de cauda longa.

Alcançamos saídas éticas por meio do uso de melhores práticas da indústria, alinhando expectativas com nossos clientes e impulsionando padrões mais altos para nossos gerentes de projeto e anotadores. A comunicação é essencial, bem como auditorias de conformidade, análise de viés e um compromisso com regulamentos de dados e requisitos de privacidade.

Qual é a visão de longo prazo para a LXT e como você vê a empresa evoluindo nos próximos cinco anos?

 Nossa visão é fornecer dados precisos, eticamente fontes, para ajudar a impulsionar o lançamento de IA e as tecnologias do futuro que melhorarão e aprimorarão a experiência das pessoas em todo o mundo.

Embora a automação e a tecnologia sejam importantes na IA, há também um componente humano importante que complementa a tecnologia. À medida que nos movemos de tarefas automatizadas simples para grandes modelos de linguagem (LLMs) e de IA gerativa para inteligência artificial geral (IAG), será crítico que os produtos de IA representem fielmente as pessoas, tanto aquelas que geram os dados quanto nossas comunidades globais em geral.

Na LXT, nos esforçamos para garantir que a IA seja usada de uma maneira positiva e transformadora que reflita esses valores.

Obrigado pela ótima entrevista, leitores que desejam aprender mais devem visitar LXT.