Pesquisa do Google Identifica um Bottleneck em Abordagens de Hipercala para IA

Um novo artigo da Google Research indica que a tendência atual de curadoria de conjuntos de dados de muito alto volume pode ser contraproducente para o desenvolvimento de sistemas de inteligência artificial eficazes. Na verdade, a pesquisa indica que produtos de aprendizado de máquina melhores podem surgir a partir de treinamento em conjuntos de dados menos precisos (ou seja, tecnicamente ‘piores’).

Se os princípios obtidos pelos pesquisadores forem válidos, isso significa que conjuntos de dados ‘hipercala’ como o recentemente lançado LAION-400M (que contém 400 milhões de pares de texto/imagem), e os dados por trás do motor de linguagem neural GPT-3 (contendo 175 bilhões de parâmetros), estão potencialmente sujeitos a um tipo de ‘limite térmico’ em arquiteturas e metodologias de aprendizado de máquina tradicionais e populares, onde o volume maciço de dados ‘satura’ as aplicações downstream e impede que elas se generalize de forma útil.

Os pesquisadores também propõem métodos alternativos para repensar a arquitetura de conjuntos de dados hipercala, a fim de corrigir o desequilíbrio.

O artigo afirma:

‘Delving deeper to understand the reasons that give rise to these phenomena, we show that the saturation behavior we observe is closely related to the way that representations evolve through the layers of the models. We showcase an even more extreme scenario where performance on upstream and downstream are at odds with each other. That is, to have a better downstream performance, we need to hurt upstream accuracy.’

O estudo é intitulado Explorando os Limites do Pré-Treinamento em Grande Escala, e vem de quatro autores da Google Research.

Investigando ‘Saturação’

Os autores desafiam as suposições predominantes sobre as relações entre máquina e dados na era de dados hipercala: que o dimensionamento de modelos e o tamanho dos dados melhoram significativamente o desempenho (uma crença que foi cimentada no hype em torno do GPT-3 desde seu lançamento); e que esse desempenho melhorado ‘passa’ para as tarefas downstream de forma linear (ou seja, desejável), de modo que os algoritmos que são eventualmente lançados no mercado, derivados dos conjuntos de dados e modelos treinados de forma não governável, se beneficiem completamente das percepções das arquiteturas de montante de tamanho completo.

‘Essas visões,’ os pesquisadores observam ‘sugerem que gastar recursos computacionais e esforço de pesquisa para melhorar o desempenho em um corpus maciço pagaria porque isso permitiria que resolvêssemos muitas tarefas downstream quase de graça.’

Mas o artigo sustenta que a falta de recursos computacionais e os métodos subsequentes ‘econômicos’ de avaliação de modelos estão contribuindo para uma falsa impressão das dinâmicas de relacionamento entre o volume de dados e os sistemas de IA úteis. Os autores identificam esse hábito como ‘uma grande falha’, pois a comunidade de pesquisa geralmente assume que resultados locais (positivos) se traduzirão em implementações úteis posteriores:

‘[Devido] às limitações de computação, o desempenho para diferentes escolhas de valores de hiper-parâmetro não é relatado. Gráficos de dimensionamento parecem mais favoráveis se o hiper-parâmetro escolhido para cada escala for fixo ou determinado por uma função de dimensionamento simples.’

Os pesquisadores afirmam ainda que muitos estudos de dimensionamento são medidos não em relação a escalas absolutas, mas como melhorias incrementais em relação ao estado da arte (SotA), observando que ‘não há razão, a priori, para que o dimensionamento se mantenha fora do intervalo estudado’.

Pré-Treinamento

O artigo aborda a prática de ‘pré-treinamento’, uma medida projetada para economizar recursos computacionais e reduzir os tempos de treinamento frequentemente horrendos necessários para treinar um modelo em dados de grande escala a partir do zero. Snapshots de pré-treinamento lidam com os ‘ABCs’ de como os dados dentro de um domínio se tornarão generalizados durante o treinamento, e são comumente usados em uma variedade de setores e especialidades de aprendizado de máquina, desde Processamento de Linguagem Natural (NLP) até deepfakes.

Pesquisas acadêmicas anteriores encontraram que o pré-treinamento pode melhorar significativamente a robustez e a precisão do modelo, mas o novo artigo sugere que a complexidade dos recursos, mesmo em modelos de pré-treinamento treinados por um período relativamente curto, pode ser mais benéfica se transferida para processos posteriores na pipeline.

No entanto, isso não pode acontecer se os pesquisadores continuarem a depender de modelos pré-treinados que usam as melhores práticas atuais na aplicação de taxas de aprendizado, o que, a pesquisa conclui, pode afetar significativamente a precisão final das aplicações do trabalho. Nesse sentido, os autores observam que ‘não se pode esperar encontrar um único checkpoint pré-treinado que funcione bem em todas as tarefas downstream possíveis’.

O Estudo

Para estabelecer o efeito de saturação, os autores realizaram 4800 experimentos em Vision Transformers, ResNets e MLP-Mixers, cada um com um número variável de parâmetros, desde 10 milhões até 10 bilhões, todos treinados nos conjuntos de dados de maior volume disponíveis nos respectivos setores, incluindo ImageNet21K e o próprio JFT-300M da Google.

Os resultados, afirma o artigo, mostram que a diversidade de dados deve ser considerada como um eixo adicional ao tentar ‘dimensionar’ dados, parâmetros de modelo e tempo de computação. Como está, a forte concentração de recursos de treinamento (e atenção de pesquisadores) na seção de montante de uma pipeline de IA está efetivamente bombardeando as aplicações downstream com uma avalanche de parâmetros até um ponto de ‘saturação’, reduzindo a capacidade dos algoritmos implantados de navegar por recursos e realizar inferência ou efeitos de transformação.

O artigo conclui:

‘Por meio de um estudo extensivo, estabelecemos que, à medida que melhoramos o desempenho da tarefa de montante, seja dimensionando ou escolhendo hiper-parâmetros e arquiteturas, o desempenho das tarefas downstream mostra um comportamento de saturação. Além disso, fornecemos fortes evidências empíricas de que, contrariando a narrativa comum, o dimensionamento não leva a uma solução de um modelo que se ajuste a todos.’