Pesquisadores do Google Descobrem Problema de Subespecificação que Impede Muitos Modelos de IA

Recentemente, uma equipe de pesquisadores do Google (GOOGL ) identificou uma causa comum para os fracassos dos modelos de IA, apontando a subespecificação como uma das principais razões pelas quais os modelos de aprendizado de máquina muitas vezes se saem muito diferente no mundo real do que durante os testes e desenvolvimento.

Os modelos de aprendizado de máquina muitas vezes falham ao lidar com tarefas em um ambiente real, mesmo que os modelos sejam ótimos no laboratório. Existem muitas razões pelas quais a discrepância entre o desempenho de treinamento/desenvolvimento e o desempenho no mundo real ocorre. Uma das razões mais comuns pelas quais os modelos de IA falham durante tarefas no mundo real é um conceito conhecido como mudança de dados. A mudança de dados refere-se a uma diferença fundamental entre o tipo de dados usado para desenvolver um modelo de aprendizado de máquina e os dados alimentados no modelo durante a aplicação. Como exemplo, os modelos de visão computacional treinados em dados de imagem de alta qualidade terão dificuldade em se sair bem quando alimentados com dados capturados por câmeras de baixa qualidade encontradas no ambiente diário do modelo.

De acordo com a MIT Technology Review, uma equipe de 40 pesquisadores diferentes do Google identificou outra razão pela qual o desempenho de um modelo de aprendizado de máquina pode variar drasticamente. O problema é a “subespecificação”, um conceito estatístico que descreve problemas em que os fenômenos observados têm muitas causas possíveis, nem todas as quais são contabilizadas pelo modelo. De acordo com o líder do estudo, Alex D’Amour, o problema é testemunhado em muitos modelos de aprendizado de máquina, dizendo que o fenômeno “acontece em todos os lugares”.

O método típico de treinamento de um modelo de aprendizado de máquina envolve alimentar o modelo com uma grande quantidade de dados que ele pode analisar e extrair padrões relevantes. Em seguida, o modelo é alimentado com exemplos que ele não viu e solicitado a prever a natureza desses exemplos com base nos recursos que ele aprendeu. Uma vez que o modelo tenha alcançado um certo nível de precisão, o treinamento é considerado completo.

De acordo com a equipe de pesquisa do Google, mais precisa ser feito para garantir que os modelos possam realmente generalizar para dados não de treinamento. O método clássico de treinamento de modelos de aprendizado de máquina produzirá vários modelos que podem passar nos testes, mas esses modelos diferirão em pequenas maneiras que parecem insignificantes, mas não são. Nós diferentes no modelo terão valores aleatórios diferentes atribuídos a eles, ou os dados de treinamento podem ser selecionados ou representados de maneiras diferentes. Essas variações são pequenas e frequentemente arbitrárias, e se elas não tiverem um grande impacto sobre como os modelos se saem durante o treinamento, elas são fáceis de ignorar. No entanto, quando o impacto de todas essas pequenas mudanças se acumula, elas podem levar a variações significativas no desempenho no mundo real.

Essa subespecificação é problemática porque significa que, mesmo que o processo de treinamento seja capaz de produzir bons modelos, ele também pode produzir um modelo ruim e a diferença não seria descoberta até que o modelo saísse da produção e entrasse em uso.

Para avaliar o impacto da subespecificação, a equipe de pesquisa examinou vários modelos. Cada modelo foi treinado usando o mesmo processo de treinamento e, em seguida, os modelos foram submetidos a uma série de testes para destacar as diferenças no desempenho. Em um exemplo, 50 versões diferentes de um sistema de reconhecimento de imagens foram treinadas no conjunto de dados ImageNet. Os modelos eram todos os mesmos, exceto pelos valores da rede neural que foram atribuídos aleatoriamente durante o início do treinamento. Os testes de estresse usados para determinar as diferenças nos modelos foram realizados usando ImageNet-C, uma variação do conjunto de dados original consistindo em imagens alteradas por contraste ou ajuste de brilho. Os modelos também foram testados no ObjectNet, uma série de imagens que apresentam objetos do dia a dia em orientações e contextos incomuns. Embora todos os 50 modelos tivessem um desempenho aproximadamente igual no conjunto de dados de treinamento, o desempenho flutuou amplamente quando os modelos foram executados nos testes de estresse.

A equipe de pesquisa encontrou resultados semelhantes quando treinou e testou dois sistemas de NLP diferentes, bem como quando testou vários outros modelos de visão computacional. Em cada caso, os modelos divergiram amplamente uns dos outros, embora o processo de treinamento para todos os modelos fosse o mesmo.

De acordo com D’Amour, os pesquisadores e engenheiros de aprendizado de máquina precisam fazer muito mais testes de estresse antes de liberar os modelos no mundo. Isso pode ser difícil de fazer, dado que os testes de estresse precisam ser personalizados para tarefas específicas usando dados do mundo real, dados que podem ser difíceis de obter para certas tarefas e contextos. Uma possível solução para o problema da subespecificação é produzir muitos modelos de uma vez e, em seguida, testá-los em uma série de tarefas do mundo real, escolhendo o modelo que consistentemente mostra os melhores resultados. Desenvolver modelos dessa forma leva muito tempo e recursos, mas a compensação pode valer a pena, especialmente para modelos de IA usados em contextos médicos ou outras áreas onde a segurança é uma preocupação primordial. Como D’Amour explicou via MIT Technology Review:

“Precisamos melhorar na especificação exata de quais são nossos requisitos para os modelos. Porque, frequentemente, o que acaba acontecendo é que descobrimos esses requisitos apenas após o modelo falhar no mundo.”