O que é Aprendizado Federado?

O que é Aprendizado Federado?

O método tradicional de treinamento de modelos de IA envolve a configuração de servidores onde os modelos são treinados em dados, muitas vezes por meio do uso de uma plataforma de computação baseada em nuvem. No entanto, nos últimos anos, uma forma alternativa de criação de modelos surgiu, chamada de aprendizado federado. Aprendizado federado traz modelos de aprendizado de máquina para a fonte de dados, em vez de trazer os dados para o modelo. O aprendizado federado liga vários dispositivos computacionais em um sistema descentralizado que permite que os dispositivos individuais que coletam dados ajudem a treinar o modelo.

Em um sistema de aprendizado federado, os vários dispositivos que fazem parte da rede de aprendizado têm uma cópia do modelo no dispositivo. Os diferentes dispositivos/clients treinam sua própria cópia do modelo usando os dados locais do cliente, e então os parâmetros/pesos dos modelos individuais são enviados para um dispositivo mestre, ou servidor, que agrega os parâmetros e atualiza o modelo global. Esse processo de treinamento pode ser repetido até que um nível de precisão desejado seja alcançado. Em resumo, a ideia por trás do aprendizado federado é que nenhum dos dados de treinamento é transmitido entre dispositivos ou entre partes, apenas as atualizações relacionadas ao modelo são.

O aprendizado federado pode ser dividido em três etapas ou fases diferentes. O aprendizado federado geralmente começa com um modelo genérico que atua como uma linha de base e é treinado em um servidor central. Na primeira etapa, esse modelo genérico é enviado para os clientes da aplicação. As cópias locais são então treinadas em dados gerados pelo sistema do cliente, aprendendo e melhorando seu desempenho.

Na segunda etapa, os clientes enviam seus parâmetros de modelo aprendidos para o servidor central. Isso ocorre periodicamente, em um cronograma definido.

Na terceira etapa, o servidor agrega os parâmetros aprendidos quando os recebe. Após os parâmetros serem agregados, o modelo central é atualizado e compartilhado novamente com os clientes. O processo inteiro então se repete.

O benefício de ter uma cópia do modelo nos vários dispositivos é que as latências de rede são reduzidas ou eliminadas. Os custos associados ao compartilhamento de dados com o servidor também são eliminados. Outros benefícios dos métodos de aprendizado federado incluem o fato de que os modelos de aprendizado federado são preservados da privacidade, e as respostas do modelo são personalizadas para o usuário do dispositivo.

Exemplos de modelos de aprendizado federado incluem motores de recomendação, modelos de detecção de fraude e modelos médicos. Motores de recomendação de mídia, do tipo usado pelo Netflix (NFLX ) ou Amazon (AMZN ), podem ser treinados em dados coletados de milhares de usuários. Os dispositivos clientes treinariam seus próprios modelos separados e o modelo central aprenderia a fazer previsões mais precisas, mesmo que os pontos de dados individuais sejam únicos para os diferentes usuários. Da mesma forma, modelos de detecção de fraude usados por bancos podem ser treinados em padrões de atividade de muitos dispositivos diferentes, e um punhado de bancos diferentes poderia colaborar para treinar um modelo comum. Em termos de um modelo de aprendizado federado médico, vários hospitais poderiam se unir para treinar um modelo comum que pudesse reconhecer possíveis tumores por meio de exames médicos.

Tipos de Aprendizado Federado

Esquemas de aprendizado federado geralmente caem em uma de duas classes diferentes: sistemas de múltiplas partes e sistemas de uma parte. Sistemas de aprendizado federado de uma parte são chamados de “uma parte” porque apenas uma entidade é responsável por supervisionar a captura e o fluxo de dados em todos os dispositivos clientes da rede de aprendizado. Os modelos que existem nos dispositivos clientes são treinados em dados com a mesma estrutura, embora os pontos de dados sejam típicos únicos para os vários usuários e dispositivos.

Em contraste com os sistemas de uma parte, os sistemas de múltiplas partes são gerenciados por duas ou mais entidades. Essas entidades cooperam para treinar um modelo compartilhado, utilizando os vários dispositivos e conjuntos de dados a que têm acesso. Os parâmetros e estruturas de dados são tipicamente semelhantes nos dispositivos pertencentes às múltiplas entidades, mas não precisam ser exatamente os mesmos. Em vez disso, o pré-processamento é feito para padronizar as entradas do modelo. Uma entidade neutra pode ser empregada para agregar os pesos estabelecidos pelos dispositivos únicos das diferentes entidades.

Frameworks para Aprendizado Federado

Frameworks populares usados para aprendizado federado incluem Tensorflow Federated, Federated AI Technology Enabler (FATE) e PySyft. PySyft é uma biblioteca de aprendizado federado de código aberto baseada na biblioteca de aprendizado profundo PyTorch. PySyft é destinado a garantir aprendizado profundo privado e seguro em servidores e agentes usando computação criptografada. Enquanto isso, o Tensorflow Federated é outro framework de código aberto construído na plataforma Tensorflow do Google. Além de permitir que os usuários criem seus próprios algoritmos, o Tensorflow Federated permite que os usuários simulem vários algoritmos de aprendizado federado incluídos em seus próprios modelos e dados. Finalmente, o FATE também é um framework de código aberto projetado pelo Webank AI e destinado a fornecer ao ecossistema de IA Federada um framework de computação seguro.

Desafios do Aprendizado Federado

Como o aprendizado federado ainda é relativamente novo, vários desafios ainda precisam ser superados para que ele alcance seu potencial total. As capacidades de treinamento dos dispositivos de borda, rotulagem e padronização de dados e convergência do modelo são obstáculos potenciais para as abordagens de aprendizado federado.

As capacidades computacionais dos dispositivos de borda, quando se trata de treinamento local, precisam ser consideradas ao projetar abordagens de aprendizado federado. Embora a maioria dos smartphones, tablets e outros dispositivos compatíveis com IoT sejam capazes de treinar modelos de aprendizado de máquina, isso geralmente prejudica o desempenho do dispositivo. Compromissos precisarão ser feitos entre a precisão do modelo e o desempenho do dispositivo.

Rotulagem e padronização de dados são outro desafio que os sistemas de aprendizado federado precisam superar. Modelos de aprendizado supervisionado exigem dados de treinamento que sejam claramente e consistentemente rotulados, o que pode ser difícil de fazer em todos os dispositivos clientes que fazem parte do sistema. Por essa razão, é importante desenvolver pipelines de dados de modelo que apliquem automaticamente rótulos de forma padronizada com base em eventos e ações do usuário.

O tempo de convergência do modelo é outro desafio para o aprendizado federado, pois os modelos de aprendizado federado geralmente levam mais tempo para convergir do que os modelos treinados localmente. O número de dispositivos envolvidos no treinamento adiciona um elemento de imprevisibilidade ao treinamento do modelo, pois problemas de conexão, atualizações irregulares e até mesmo diferentes horários de uso do aplicativo podem contribuir para um tempo de convergência mais longo e confiabilidade reduzida. Por essa razão, as soluções de aprendizado federado são geralmente mais úteis quando fornecem vantagens significativas sobre o treinamento central de um modelo, como instâncias em que os conjuntos de dados são extremamente grandes e distribuídos.

Foto: Jeromemetronome via Wikimedia Commons, CC By S.A. 4.0 (https://en.wikipedia.org/wiki/File:Federated_learning_process_central_case.png)