Preparação de Dados Humanos para Aprendizado de Máquina é Intensiva em Recursos: Essas Duas Abordagens são Críticas para Reduzir Custos

Por: Dattaraj Rao, Cientista de Dados Chefe, Persistent Systems

Como qualquer sistema que depende de entradas de dados, o Aprendizado de Máquina (ML) está sujeito ao axioma de “lixo-para-lixo”. Dados limpos e rotulados com precisão são a base para construir qualquer modelo de ML. Um algoritmo de treinamento de ML entende padrões a partir dos dados de verdade e, a partir daí, aprende a generalizar em dados não vistos. Se a qualidade dos seus dados de treinamento for baixa, será muito difícil para o algoritmo de ML aprender continuamente e extrapolar.

Pense sobre isso em termos de treinar um cão. Se você falhar em treinar o cão corretamente com comandos comportamentais fundamentais (entradas) ou o fizer de forma incorreta/imprecisa, você nunca pode esperar que o cão aprenda e expanda, por meio da observação, para comportamentos positivos mais complexos, pois as entradas subjacentes estavam ausentes ou defeituosas desde o início. O treinamento adequado é demorado e pode ser caro se você contratar um especialista, mas a recompensa é grande se você fizer isso corretamente desde o início.

Quando se treina um modelo de ML, criar dados de qualidade exige que um especialista em domínio gaste tempo anotando os dados. Isso pode incluir selecionar uma janela com o objeto desejado em uma imagem ou atribuir um rótulo a uma entrada de texto ou um registro de banco de dados. Em particular, para dados não estruturados, como imagens, vídeos e texto, a qualidade da anotação desempenha um papel fundamental na determinação da qualidade do modelo. Normalmente, os dados não rotulados, como imagens e texto brutos, são abundantes – mas a rotulagem é onde o esforço precisa ser otimizado. Essa é a parte do ciclo de vida do ML que envolve o ser humano e geralmente é a parte mais cara e trabalhosa de qualquer projeto de ML.

Ferramentas de anotação de dados, como Prodigy, Amazon Sagemaker Ground Truth, NVIDIA RAPIDS e DataRobot human-in-the-loop, estão melhorando constantemente em qualidade e fornecendo interfaces intuitivas para especialistas em domínio. No entanto, minimizar o tempo necessário pelos especialistas em domínio para anotar dados ainda é um desafio significativo para as empresas hoje – especialmente em um ambiente onde o talento em ciência de dados é limitado, mas em alta demanda. É aqui que duas novas abordagens para preparação de dados entram em jogo.

Aprendizado Ativo

O aprendizado ativo é um método pelo qual um modelo de ML ativamente consulta um especialista em domínio para anotações específicas. Aqui, o foco não está em obter uma anotação completa em dados não rotulados, mas apenas em obter os pontos de dados anotados corretos para que o modelo possa aprender melhor. Por exemplo, em saúde e ciências da vida, uma empresa de diagnóstico que se especializa em detecção precoce de câncer para ajudar os clínicos a tomar decisões informadas sobre o cuidado do paciente. Como parte do seu processo de diagnóstico, eles precisam anotar imagens de tomografia computadorizada com tumores que precisam ser realçados.

Depois que o modelo de ML aprende com algumas imagens com blocos de tumor marcados, com aprendizado ativo, o modelo então solicitará aos usuários que anotem imagens onde ele não tem certeza da presença de um tumor. Esses serão pontos de fronteira, que, quando anotados, aumentarão a confiança do modelo. Onde o modelo estiver confiante acima de um determinado limiar, ele fará uma auto-annotação em vez de solicitar que o usuário anote. É assim que o aprendizado ativo tenta ajudar a construir modelos precisos, reduzindo o tempo e o esforço necessários para anotar dados. Frameworks como modAL podem ajudar a aumentar o desempenho de classificação, consultando inteligentemente os especialistas em domínio para rotular as instâncias mais informativas.

Supervisão Fraca

A supervisão fraca é uma abordagem na qual dados ruidosos e imprecisos ou conceitos abstratos podem ser usados para fornecer indicações para rotular uma grande quantidade de dados não supervisionados. Essa abordagem geralmente usa rotuladores fracos e tenta combiná-los em uma abordagem de ensemble para construir dados anotados de qualidade. O esforço é tentar incorporar conhecimento de domínio em uma atividade de rotulagem automatizada.

Por exemplo, se um Provedor de Serviços de Internet (ISP) precisasse de um sistema para marcar conjuntos de dados de e-mail como spam ou não spam, poderíamos escrever regras fracas, como verificar frases como “oferta”, “parabéns”, “grátis”, etc., que geralmente estão associadas a e-mails de spam. Outras regras poderiam ser e-mails de padrões de endereços de origem específicos que podem ser pesquisados por expressões regulares. Essas funções fracas poderiam então ser combinadas por um framework de supervisão fraca, como Snorkel e Skweak, para construir dados de treinamento de melhor qualidade.

O ML em sua essência é sobre ajudar as empresas a escalar processos exponencialmente de maneiras que são fisicamente impossíveis de alcançar manualmente. No entanto, o ML não é mágica e ainda depende dos seres humanos para a) configurar e treinar os modelos corretamente desde o início e b) intervir quando necessário para garantir que o modelo não se torne tão inclinado aonde os resultados não sejam mais úteis e possam ser contraproducentes ou negativos.

O objetivo é encontrar maneiras de ajudar a automatizar e agilizar partes do envolvimento humano para aumentar o tempo de mercado e os resultados, mas permanecendo dentro dos limites da precisão ótima. É universalmente aceito que obter dados anotados de qualidade é a parte mais cara, mas extremamente importante de um projeto de ML. Esse é um espaço em evolução, e muito esforço está em andamento para reduzir o tempo gasto pelos especialistas em domínio e melhorar a qualidade das anotações de dados. Explorar e aproveitar o aprendizado ativo e a supervisão fraca é uma estratégia sólida para alcançar isso em várias indústrias e casos de uso.