Aprendizado de Longa Duração no Dispositivo Está Mais Próximo Com Nova Técnica de Treinamento

Uma equipe de pesquisadores do MIT e do MIT-IBM Watson AI Lab desenvolveu uma nova técnica que permite o treinamento no dispositivo usando menos de um quarto de megabyte de memória. O novo desenvolvimento é um feito impressionante, pois outras soluções de treinamento geralmente precisam de mais de 500 megabytes de memória, o que excede a capacidade de 256 kilobytes da maioria dos microcontroladores.

Ao treinar um modelo de aprendizado de máquina em um dispositivo de borda inteligente, ele pode se adaptar a novos dados e fazer previsões mais precisas. No entanto, o processo de treinamento geralmente requer muita memória, por isso é frequentemente realizado em computadores em um centro de dados antes de o modelo ser implantado no dispositivo. Esse processo é muito mais caro e levanta preocupações de privacidade em comparação com a nova técnica desenvolvida pela equipe.

Os pesquisadores desenvolveram os algoritmos e a estrutura de forma a reduzir a quantidade de computação necessária para treinar um modelo, tornando o processo mais rápido e eficiente em termos de memória. A técnica pode ajudar a treinar um modelo de aprendizado de máquina em um microcontrolador em apenas alguns minutos.

A nova técnica também ajuda com a privacidade, pois mantém os dados no dispositivo, o que é importante quando se lida com dados sensíveis. Ao mesmo tempo, a estrutura melhora a precisão do modelo em comparação com outras abordagens.

Song Han é professor associado no Departamento de Engenharia Elétrica e Ciência da Computação (EECS), membro do MIT-IBM Watson AI Lab e autor sênior do artigo de pesquisa.

“Nossa pesquisa permite que dispositivos IoT não apenas realizem inferência, mas também atualizem continuamente os modelos de IA para novos dados coletados, abrindo caminho para o aprendizado de longa duração no dispositivo”, disse Han. “A baixa utilização de recursos torna o aprendizado profundo mais acessível e pode ter um alcance mais amplo, especialmente para dispositivos de borda de baixa potência.”

O artigo incluiu co-autores e estudantes de doutorado do EECS Ji Lin e Ligeng Zhu, e pós-doutorandos do MIT Wei-Ming Chen e Wei-Chen Wang. Ele também incluiu Chuang Gan, membro da equipe de pesquisa principal do MIT-IBM Watson AI Lab.

Tornando o Processo de Treinamento Mais Eficiente

Para tornar o processo de treinamento mais eficiente e menos intensivo em termos de memória, a equipe confiou em duas soluções algorítmicas. A primeira é conhecida como atualização esparsa, que usa um algoritmo que identifica os pesos mais importantes para atualizar durante cada rodada de treinamento. O algoritmo congela os pesos um a um até que a precisão caia para um certo limiar, momento em que ele para. Os pesos restantes são então atualizados e as ativações correspondentes aos pesos congelados não precisam ser armazenadas na memória.

“Atualizar todo o modelo é muito caro porque há muita ativação, então as pessoas tendem a atualizar apenas a última camada, mas como você pode imaginar, isso prejudica a precisão”, disse Han. “Para nosso método, selecionamos os pesos importantes e garantimos que a precisão seja totalmente preservada.”

A segunda solução desenvolvida pela equipe envolve treinamento quantizado e simplificação dos pesos. Um algoritmo primeiro arredonda os pesos para apenas oito bits por meio de um processo de quantização, que também corta a quantidade de memória para treinamento e inferência, sendo a inferência o processo de aplicar um modelo a um conjunto de dados e gerar uma previsão. O algoritmo então confia em uma técnica chamada escalonamento de quantização consciente (QAS), que atua como um multiplicador para ajustar a razão entre peso e gradiente. Isso ajuda a evitar qualquer queda na precisão que possa resultar do treinamento quantizado.

Os pesquisadores desenvolveram um sistema chamado de motor de treinamento pequeno, que executa as inovações do algoritmo em um microcontrolador simples sem sistema operacional. Para realizar mais trabalho na etapa de compilação, antes da implantação do modelo no dispositivo de borda, o sistema altera a ordem das etapas no processo de treinamento.

“Empurramos muita computação, como auto-diferenciação e otimização de gráfico, para o tempo de compilação. Também cortamos agressivamente os operadores redundantes para suportar atualizações esparsas. Uma vez no tempo de execução, temos muito menos carga de trabalho para realizar no dispositivo”, diz Han.

Técnica Altamente Eficiente

Enquanto as técnicas tradicionais projetadas para treinamento leve geralmente precisariam de cerca de 300 a 600 megabytes de memória, a otimização da equipe precisou de apenas 157 kilobytes para treinar um modelo de aprendizado de máquina em um microcontrolador.

A estrutura foi testada treinando um modelo de visão computacional para detectar pessoas em imagens, e ele aprendeu a realizar essa tarefa em apenas 10 minutos. O método também foi capaz de treinar um modelo mais de 20 vezes mais rápido do que outros métodos.

Os pesquisadores agora buscam aplicar as técnicas a modelos de linguagem e diferentes tipos de dados. Eles também querem usar esse conhecimento adquirido para reduzir modelos maiores sem perda de precisão, o que também pode ajudar a reduzir a pegada de carbono do treinamento de modelos de aprendizado de máquina em larga escala.