Carolyn Harvey, Diretora de Operações da LXT – Série de Entrevistas

Carolyn Harvey tem ampla experiência liderando e expandindo operações globais na área de relevância da pesquisa classificação e anotação para dados de ML. Carolyn é atualmente Diretora de Operações (COO) da LXT onde lidera a divisão de operações globais da empresa, garantindo a entrega consistente de todos os programas e projetos de dados de IA. Ela se concentra em dados de alta qualidade em escala, construindo eficiências em programas de longo prazo e expandindo para um grande número de localidades globais.

Como COO da LXT, Carolyn empresta sua vasta experiência para desenvolver a melhor organização do setor.

Você pode descrever brevemente o que a LXT faz e sua função como COO?

A inteligência artificial depende de dados para existir, e a LXT é um líder emergente no fornecimento de dados precisos e de origem ética que impulsionam as inovações em IA. Como Diretor de Operações, minha função é supervisionar, liderar e expandir nossas operações globais por meio de estratégias, estruturas e processos que nos permitam fornecer dados de IA da mais alta qualidade aos nossos clientes. Garanto que entregaremos dentro do prazo em uma ampla gama de casos de uso, desde IA generativa até relevância de pesquisa e carros autônomos, entre muitos outros.

Como a missão da LXT evoluiu desde sua criação em 2010? 

Nossa missão é impulsionar as tecnologias do futuro por meio da geração e aprimoramento de dados em todos os idiomas, culturas e modalidades. Nosso objetivo é ajudar empresas de todos os tamanhos a capitalizar os incríveis benefícios que a IA oferece, alimentando seus modelos com dados de alta qualidade. À medida que a missão da empresa evoluiu, o nosso âmbito de serviços expandiu-se da transcrição de idiomas e recolha de fala para incluir uma vasta gama de soluções, incluindo recolha de dados e anotação para texto, imagem e vídeo, serviços generativos de IA e muito mais. Também expandimos nossa presença global de instalações com certificação ISO 27001 para atender às crescentes necessidades de serviços de dados seguros de nossos clientes.

Quais foram os principais impulsionadores do seu crescimento no setor de dados de treinamento em IA?

O investimento contínuo em IA por parte de organizações de todos os tamanhos impulsionou o nosso crescimento. As empresas agora sabem que a IA é uma aposta decisiva para que permaneçam competitivas, e os dados fortalecem a IA. Mas nem todos os dados são iguais, e as empresas que têm sucesso na IA sabem que dados de alta qualidade são essenciais para criar uma IA mais precisa.

Agora, com a IA generativa na mente de todos, esta tendência abriu ainda mais oportunidades de crescimento para a LXT. Os humanos são essenciais para garantir que essas soluções sejam precisas, éticas e responsáveis. Fornecemos uma variedade de serviços de IA generativos em áreas como ajuste fino de grandes modelos de linguagem, criação imediata e muito mais. Nossos clientes sabem que, para construir a confiança dos usuários finais, o resultado de seus produtos generativos de IA precisa ser factual, representar um público diversificado e estar livre de linguagem tóxica. Podemos ajudá-los a atingir esses objetivos com nossos serviços humanos no circuito.

Como a explosão da IA ​​generativa impactou a LXT e seus clientes?

A LXT tem visto uma demanda crescente por seus dados de treinamento de IA devido à IA generativa, tanto para dados básicos orientados à linguagem quanto para aspectos mais recentes relacionados à análise, criatividade e pensamento crítico. Também estamos vendo um aumento na demanda por conhecimentos de domínio e perfis especializados para trabalhadores de projetos.

As solicitações dos clientes vão cada vez mais além das entradas de aprendizado de máquina de microtarefas do passado em direção aos LLMs e aos conjuntos de dados mais complexos exigidos por aplicativos como ChatGPT, Gemini e muitas ramificações. Atualmente, estamos envolvidos em vários projetos inovadores nos quais escrevemos prompts com o objetivo de confundir a IA generativa para ver como ela responde e, em seguida, criar a resposta correta.

No futuro, isto poderá evoluir ainda mais para a inteligência artificial geral (AGI), onde os conjuntos de dados serão mapeados para ações ainda mais complicadas e sofisticadas.

Você tem anos de experiência trabalhando em pesquisa e personalização para ajudar a melhorar esses algoritmos. Quais são algumas das maneiras pelas quais as empresas líderes estão melhorando sua relevância de pesquisa para fornecer uma melhor experiência ao usuário?

Num mundo onde o tempo é precioso e a informação está em todo o lado, melhorar a relevância da pesquisa pode reforçar a lealdade, aumentar as taxas de conversão e tornar os utilizadores mais produtivos.

A relevância da pesquisa começa com a limpeza e organização dos dados dos nossos clientes, eliminando qualquer coisa que possa gerar falsos positivos e criando campos de dados adicionais através dos quais os motores de pesquisa e recomendação podem vasculhar para gerar resultados mais precisos. Com a ajuda do aprendizado de máquina e do processamento de linguagem natural, os clientes podem capacitar seu mecanismo de pesquisa para determinar de forma mais intuitiva a intenção do usuário e aprender sobre suas preferências ao longo do tempo. O resultado é uma experiência de pesquisa mais rápida que leva a resultados mais personalizados.

Alcançar esse objetivo requer grandes volumes de dados de treinamento, com foco particular no treinamento de algoritmos, como reconhecer, classificar e retornar entidades relevantes e como lidar com erros de digitação, erros gramaticais e outras anomalias de dados. Também recomendamos uma abordagem de reforço human-in-the-loop (HITL) para garantir dados precisos, reduzir preconceitos e fornecer uma melhor experiência de pesquisa para o usuário final. Com os avanços do ML nos últimos 10 anos, a HITL tem um foco intensificado nos processos de revisão de qualidade, o que gera a necessidade de uma experiência mais profunda por parte dos provedores de dados.

Você pode explicar melhor a abordagem do LXT para anotação de dados e como ela garante a qualidade e a precisão dos dados de treinamento de IA?

Como equipe de operações, devemos primeiro entender como os clientes utilizam os dados que fornecemos no desenvolvimento de seus produtos e serviços para garantir que eles atenderão às suas necessidades. Para que isso aconteça, precisamos encontrar especialistas em gerenciamento de projetos e em anotação que tenham experiência com o tipo de dados necessários.

A partir daí, trata-se principalmente de preparação e de encontrar os recursos certos no início de cada projeto. Isso inclui o alinhamento com os clientes sobre os fatores de sucesso durante a fase de definição do escopo, bem como processos profundos de qualificação e verificação para anotadores de projetos que consideram detalhes importantes, como formação educacional, interesses especiais, dados demográficos e experiência. Também desenvolvemos materiais detalhados de aprendizagem e referência como guia, personalizados para cada projeto. Aplicamos supervisão madura de qualidade e gerenciamento de processos em todos os ciclos de vida do projeto. A abordagem que usamos se alinha e informa as melhores práticas do setor, garantindo que os resultados atendam às expectativas dos clientes.

E todas essas metodologias estão a serviço da nossa promessa garantida de qualidade de dados.

Como o LXT lida com o desafio de anotar dados não estruturados, que compreendem mais de 80% de todos os dados?

A LXT construiu uma plataforma de anotação interna que automatiza muitas partes do processo de anotação e fornece estrutura e uma interface de usuário consistente para os trabalhadores. Na etapa de pré-processamento focamos na preparação dos dados, formatação dos arquivos de entrada e remoção de duplicatas, entre outras coisas, e no pós-processamento, empacotamento de endereços dos dados, agrupamento e formatação para entrega ao cliente.

Antes do início do projeto, criamos diretrizes que são revisadas com o cliente e repetidas ao longo do ciclo de vida do projeto à medida que as coisas mudam. Podemos dividir o processo de rotulagem de dados em várias tarefas para focar adequadamente em cada elemento do projeto. Além disso, são implementadas metodologias de controle de qualidade para promover a eliminação de erros em grande escala.

Por fim, nossa Equipe de Excelência Operacional é responsável pelo gerenciamento avançado de processos para garantir alta eficiência e escalabilidade para nossos projetos em todo o mundo.

Quais são alguns dos maiores desafios que a LXT enfrenta na coleta de dados em escala global e como superá-los?

A diversidade e o preconceito nos participantes e nas recolhas de dados resultantes são frequentemente alguns dos maiores desafios que a LXT e qualquer fornecedor de dados de formação em IA enfrentarão. Outros desafios incluem uma procura recente por conhecimentos especializados no domínio e um cenário em rápida mudança com a mudança para LLMs e dados generativos de IA.

Superamos esses desafios por meio de uma abordagem altamente proativa na seleção de nosso grupo de candidatos, onde analisamos conhecimento, experiência, funções anteriores, interesses e dados demográficos para formar a diversidade certa entre as equipes por gênero ou outros aspectos, como pensamento analítico ou redação criativa, escolaridade, entre outros.

Depois de encontrarmos os candidatos certos, tomamos muito cuidado para contratar trabalhadores regularmente para construir uma força de trabalho mais experiente, leal e satisfeita a longo prazo.

Em termos de avaliação de IA, como funciona a LXT para mitigar preconceitos e garantir resultados éticos nos sistemas de IA que ajuda a treinar?

Conforme mencionado anteriormente, garantir a diversidade é um desafio que muitos fornecedores de dados de formação em IA devem resolver e que contribuirá muito para mitigar preconceitos e garantir resultados éticos.

Vou me referir novamente às nossas melhores práticas de engajamento, que incluem encontrar anotadores diversos e representativos e ser minucioso com diretrizes e medidas de controle de qualidade. Temos uma estratégia de fonte de impacto que nos permite levar trabalho a diversos e novos grupos de anotadores, como em regiões linguísticas de cauda longa.

Visamos resultados éticos por meio do uso das melhores práticas do setor, alinhando as expectativas com nossos clientes e impulsionando padrões mais elevados para nossos gerentes de projeto e anotadores. A comunicação é essencial, assim como as auditorias de conformidade, a análise de preconceitos e o compromisso com a regulamentação de dados e os requisitos de privacidade.

Qual é a visão de longo prazo da LXT e como você vê a evolução da empresa nos próximos cinco anos?

 Nossa visão é fornecer dados precisos e de origem ética para ajudar a impulsionar a implementação da IA ​​e das tecnologias do futuro que irão aprimorar e melhorar a experiência das pessoas em todo o mundo.

Embora a automação e a tecnologia sejam importantes na IA, há também um importante componente humano que complementa a tecnologia. À medida que passamos de tarefas simples automatizadas para grandes modelos de linguagem (LLMs), e da IA ​​generativa para a inteligência artificial geral (GAI), será fundamental que os produtos de IA representem fielmente as pessoas, tanto aquelas que geram os dados como as nossas comunidades globais em grande.

Na LXT, nos esforçamos para garantir que a IA seja usada de uma forma positiva e transformadora que reflita esses valores.

Obrigado pela ótima entrevista, os leitores que desejam saber mais devem visitar LXT.