Desenvolvedores criam software de código aberto para ajudar pesquisadores de IA a reduzir a pegada de carbono

Um grupo internacional de pesquisadores de IA e cientistas de dados colaboraram para projetar um software capaz de estimar a pegada de carbono das operações de computação. O pacote de software de código aberto, chamado CodeCarbo, foi projetado por um consórcio de empresas de IA e ciência de dados. A esperança é que o software permita e incentive os programadores a tornar seu código mais eficiente e reduzir a quantidade de CO2 gerada pelo uso de recursos de computação.

Redução da pegada de carbono

De acordo com o ITP, o novo pacote de software CodeCarbon foi desenvolvido por uma equipe de grupos de pesquisa de IA liderados pela empresa de pesquisa de IA Mila, juntamente com Comet.ml, Haverford College na Pensilvânia e GAMMA. O software não apenas estima a quantidade de CO2 produzida pelo uso de recursos de computação, mas também fornece aos desenvolvedores conselhos para reduzir sua pegada de carbono.

Modelos de IA de treinamento pode exigir muita energia. Conforme explicado pela ArsTechnica, pesquisadores da Universidade de Massachusetts Amherst estimaram o custo total de criar e treinar certos modelos de IA, e a equipe descobriu que treinar a rede de linguagem natural BERT já gerou aproximadamente tanto carbono quanto um voo de ida e volta entre São Francisco e Nova York. Enquanto isso, treinar o modelo várias vezes até que seja otimizado pode gerar tanto CO2 quanto 315 passageiros diferentes no mesmo voo.

Por que exatamente os modelos de IA consomem tanta energia e geram tanto CO2 como subproduto? Parte da resposta está em como os modelos de IA são treinados e otimizados. Para obter até mesmo pequenas melhorias em relação aos algoritmos de última geração existentes, os pesquisadores de IA podem treinar seu modelo milhares de vezes, fazendo pequenos ajustes no modelo todas as vezes até que uma arquitetura de modelo ideal seja descoberta.

Os modelos de IA também estão crescendo em tamanho o tempo todo, tornando-se mais complexos a cada ano.

Os algoritmos e modelos de aprendizado de máquina mais poderosos, como GPT-3, BERT e VGG, têm milhões de parâmetros e são treinados durante semanas seguidas, totalizando centenas ou milhares de horas de treinamento. O GPT-2 tinha aproximadamente 1.5 bilhão de parâmetros dentro da rede, enquanto o GPT-3 tinha cerca de 175 bilhões de pesos. Isso acaba usando centenas de quilogramas de CO2.

Código Carbono

O CodeCarbon possui um módulo de mecanismo de rastreamento que registra a quantidade de energia usada pelos provedores de nuvem e data centers. O sistema então usa dados extraídos de fontes publicamente disponíveis para estimar o volume de CO2 gerado, verificando estatísticas da rede elétrica à qual o hardware está conectado. O rastreador estima o CO2 produzido para cada experimento usando um determinado módulo de IA, armazenando os dados de emissões de ambos os projetos e de toda a organização.

O fundador da Mila, Yohua Bengio, explicou que, embora a IA seja uma ferramenta incrivelmente poderosa que pode resolver muitos problemas, geralmente requer uma quantidade substancial de energia do computador. Sylvian Duranton, diretor administrativo do Boston Consulting Group, argumentou que a computação e a IA continuarão a crescer a taxas exponenciais em todo o mundo. A ideia é que o CodeCarbon ajude as empresas de IA e computação a restringir sua pegada de carbono à medida que continuam a crescer. A CodeCarbon vai gerar um painel que permite que as empresas vejam facilmente a quantidade de emissões geradas pelo treinamento de seus modelos de aprendizado de máquina. Ele também representará as emissões em métricas que os desenvolvedores podem entender facilmente, como quilômetros percorridos em um carro, horas de TV assistidas e consumo típico de energia de uma residência nos EUA.

Os desenvolvedores do CodeCarbon esperam que o software não apenas incentive os pesquisadores de IA a tentar reduzir sua própria pegada de carbono, mas também incentive uma maior transparência em relação às emissões em geral. Os desenvolvedores poderão quantificar e relatar as emissões geradas por uma variedade de diferentes experimentos de IA e computação. A equipe responsável pela criação do CodeCarbon espera que outros desenvolvedores peguem sua ferramenta de código aberto e a aprimorem com novos recursos que ajudarão os engenheiros e pesquisadores de IA a reduzir ainda mais seu impacto ambiental.