Modelos e plataformas de IA

A AWS leva o treinamento de todos os pesos à personalização sem servidor do SageMaker

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO ajuste fino completo atualiza todos os pesos, enquanto o LoRA congela os pesos…
Ver mais
  • O ajuste fino completo atualiza todos os pesos, enquanto o LoRA congela os pesos pré-treinados e insere adaptadores de baixo posto.
  • Taxas de aprendizagem agressivas de 5e-5 ou superiores causaram esquecimento catastrófico, com a precisão no MMLU caindo para 3,6%.
  • A operação sem servidor elimina a gestão de infraestrutura, mas não reduz o número de pesos que estão a ser treinados.

A Amazon Web Services anunciou em 18 de novembro de 2026 o suporte ao ajuste fino completo (FFT) no SageMaker AI Serverless Model Customization e relatou 90,0% de correção semântica em um experimento de programação com mais de 100.000 exemplos de treinamento, ao mesmo tempo que alertou que configurações agressivas causaram perdas graves de conhecimento geral.

Os clientes fornecem um modelo-base, um conjunto de dados e hiperparâmetros; o serviço aloca recursos computacionais e gerencia pontos de verificação, sem exigir provisionamento de GPUs, configuração de clusters ou configuração de treinamento distribuído. No exemplo do SDK do SageMaker para Python da AWS, mudar de método significa substituir TrainingType.FULL por TrainingType.LORA, mantendo inalterada a configuração restante da tarefa.

O FFT atualiza todos os pesos do modelo. Já o LoRA mantém congelados os pesos pré-treinados e insere matrizes de adaptadores de baixo posto, reduzindo os requisitos de capacidade de GPU, mas limitando as atualizações a um espaço de representação menor. Segundo a explicação da AWS, o treinamento de posto completo pode captar adaptações de domínio mais complexas à medida que os conjuntos de dados crescem, em vez de simplesmente aumentar o número de parâmetros treináveis.

Testes controlados de programação

A AWS comparou os métodos usando ajuste fino supervisionado (SFT) de um modelo-base Qwen3-4B, com prompts, alvos e código de avaliação idênticos. O conjunto de dados Magicoder-Evol-Instruct-110K forneceu pares de instrução e resposta sobre programação, abrangendo projeto de algoritmos, depuração, estruturas de dados e programação de sistemas. A divisão destinou 99.000 registros ao treinamento, 5.500 à validação e 5.500 a um conjunto de teste reservado.

As avaliações separaram o desempenho na tarefa da retenção de conhecimento. O Amazon Nova Pro atuou como avaliador baseado em LLM, analisando o código gerado junto com o prompt original para avaliar a correção lógica. O PRIMECODE mediu a semelhança com soluções de referência por meio das métricas determinísticas BLEU, ROUGE-1/2/L e F1, enquanto o MMLU avaliou o conhecimento geral em 57 disciplinas acadêmicas.

A AWS relatou que sua pontuação de correção semântica atingiu o pico após três épocas e que treinamentos mais longos pioraram todas as variantes testadas. A comparação em gráfico de radar da empresa mostrou o FFT à frente do LoRA e do modelo-base em todas as dimensões de qualidade exibidas, com as maiores vantagens em BLEU e ROUGE-2, o que sugere que a diferença não se limitou a uma única métrica.

A AWS afirmou ter realizado dezenas de experimentos de personalização com vários modelos-base, variando a taxa de aprendizado, o tamanho do lote, a proporção de aquecimento, o número de épocas e a escala do conjunto de dados; cada execução, do envio da tarefa até a avaliação, levou algumas horas. Os modelos resultantes foram registrados automaticamente como pacotes de modelo versionados no SageMaker Model Registry, para análise ou implantação.

Riscos de esquecimento no ajuste fino completo

A AWS alertou que o FFT não era universalmente superior: tanto o FFT quanto o LoRA tiveram desempenho inferior ao do modelo-base na correspondência exata do MATH, e uma comparação separada feita por um LLM como avaliador favoreceu o LoRA, com 81,5%, contra 79,5% para o FFT.

Taxas de aprendizado agressivas causaram perdas graves. Nas taxas de 5e-5 ou superiores, as pontuações no MATH caíram para 2–3% e a precisão no MMLU, para 3,6% nos testes da AWS, evidenciando o esquecimento catastrófico — a perda de capacidades mais amplas quando o treinamento específico de um domínio sobrescreve o conhecimento pré-treinado. O mapa de risco da empresa identificou 2e-5 como uma configuração mais segura para conjuntos de dados grandes; entre as configurações testadas, uma linha de base que combinava essa taxa com aquecimento de 5% e tamanho de lote global de 8 foi a que melhor preservou o conhecimento geral, conforme medido pelo MMLU.

O tamanho do lote também afetou a retenção. Com a taxa de aprendizado fixa, lotes menores geraram atualizações mais ruidosas, que se comportaram como uma taxa de aprendizado mais alta e aumentaram o risco de esquecimento. Lotes maiores reduziram o ruído, mas também diminuíram o número de etapas de otimização, podendo levar ao subajuste do modelo.

Compensações na implantação

Segundo a lista de modelos compatíveis da AWS, o SFT com FFT está disponível para modelos de pesos abertos, incluindo DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B e NVIDIA Nemotron 3 Nano 30B (A3B).

A documentação do FFT informa que o método usa os mesmos formatos de conjunto de dados que o LoRA, mas exige mais recursos computacionais e treinamentos mais longos, gera artefatos maiores que contêm todos os pesos do modelo e é incompatível com a personalização contínua. O método também elimina a sobrecarga dos adaptadores durante a inferência.

A operação sem servidor muda quem aloca a infraestrutura e gerencia os pontos de verificação; não reduz o número de pesos treinados. Assim, o lançamento facilita a execução de personalizações mais profundas, mas a relação entre custo computacional e qualidade ainda depende de os ganhos específicos da tarefa compensarem um treinamento mais oneroso e qualquer perda de capacidades mais amplas.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.