Modelos e plataformas de IA

A AWS adiciona ferramentas de preparação de dados com IA ao Amazon SageMaker AI

Theo Nash
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveO SageMaker AI agora consolida geração, avaliação, transformação e rotulagem em um…
Ver mais
  • O SageMaker AI agora consolida geração, avaliação, transformação e rotulagem em um único caminho de conjunto de dados gerenciado.
  • A rotulagem automática usa a concordância dos modelos como pontuação de confiança para encaminhar linhas incertas a revisores humanos.
  • Os trabalhos que produzem dados registram as saídas em um hub da conta para que os conjuntos de dados passem entre as etapas por ARN.

A AWS anunciou novos recursos de preparação de dados com IA para o Amazon SageMaker AI em 17 de novembro de 2026, adicionando geração de dados sintéticos, avaliação de qualidade, transformação, rotulagem automática e revisão humana aos fluxos de trabalho de desenvolvimento de modelos. As ferramentas estão disponíveis de forma geral nas regiões Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon).

O lançamento reúne atividades que muitas vezes ficam distribuídas entre ferramentas de rotulagem, scripts de geração e tarefas de validação separados. Uma equipe pode usar um recurso em um processo existente ou encadear vários, com especificações e código disponíveis para inspeção e alteração à medida que o conjunto de dados avança para o treinamento ou a avaliação.

Geração, limpeza e formatos de treinamento

A geração de dados sintéticos cria registros de treinamento, avaliação e teste a partir de uma especificação, com a opção de usar dados-semente e documentos como base. Ela também produz um pipeline baseado em código que os usuários podem analisar, modificar, reutilizar e dimensionar, permitindo inspecionar o próprio processo de geração.

A avaliação de qualidade pode aplicar as regras de negócios do cliente, métricas integradas e métricas de avaliação por LLM como juiz, nas quais um modelo de linguagem avalia os dados. Ela pode encontrar duplicatas e quase duplicatas e detectar ruído nos rótulos ou vazamento de respostas. Em seguida, a transformação pode remodelar os registros por meio de código gerado, desduplicação, mesclagem, divisão e filtragem integradas ou código Python fornecido pelo usuário e executado em grande escala.

A cadeia de treinamento apresentada pela AWS formata os dados resultantes para ajuste fino supervisionado, otimização direta de preferências ou aprendizado por reforço, verifica sua qualidade e, então, passa à personalização de modelos do SageMaker AI. Essa sequência coloca a validação do conjunto de dados antes do processamento computacional do treinamento, dando às equipes a oportunidade de corrigir registros defeituosos antes de uma execução de treinamento.

Pontuações de confiança orientam a revisão humana

A rotulagem automática pode começar com um conjunto de dados sem rótulos, um pequeno conjunto-semente rotulado ou nenhum rótulo. As tarefas integradas incluem classificação, reconhecimento de entidades nomeadas, resposta extrativa a perguntas, avaliação ordinal e sumarização; também é possível definir tarefas personalizadas. Uma especificação breve de rotulagem é validada com base nos exemplos do usuário antes do processamento do conjunto de dados completo.

Em tarefas com um conjunto fixo de respostas possíveis, vários modelos rotulam cada linha como se fossem um júri, e o nível de concordância entre eles se torna a pontuação de confiança dessa linha. As linhas abaixo do limite selecionado entram em uma fila de revisão do SageMaker Studio baseada no Label Studio Community Edition, de código aberto. Especialistas externos no assunto podem corrigi-las no aplicativo de revisão; essas correções são incorporadas à rotulagem automática, e as equipes podem gerar métricas de consenso e relatórios de rotulagem.

Tarefas gerenciadas e transferência de conjuntos de dados

Os desenvolvedores podem chamar essas etapas por meio do SageMaker Python SDK ou fornecer ao agente de programação a habilidade de IA/ML da AWS para selecioná-las e executá-las no SageMaker Studio JupyterLab, no Kiro ou em um IDE local. A documentação do SageMaker AI especifica a versão 3.30.0 ou posterior do SDK e uma DataPreparer classe com generate(), evaluate() e transform() métodos. O generate() método abrange tanto a geração de dados sintéticos quanto a rotulagem automática.

A geração de dados sintéticos, a rotulagem automática, a avaliação de qualidade e a transformação são executadas como tarefas gerenciadas pelo SageMaker. As tarefas que produzem dados gravam os registros no Amazon S3 e os registram em um hub da conta como DataSet conteúdo. Para essas saídas, o objeto do SDK DataSet contém um nome de recurso da Amazon, ou ARN, que pode ser passado para a etapa seguinte. A transformação publica os dados no mesmo hub da entrada, geralmente como uma nova versão desse conjunto de dados; já a avaliação de qualidade grava os resultados no S3 sem registrar outro conjunto de dados.

O assistente de programação prepara especificações, verifica o ambiente e solicita aprovação antes de executar uma tarefa ou criar recursos. Ele também pode salvar as execuções de tarefas como um notebook ou script, gerando um artefato reutilizável que pode ser executado novamente.

O fluxo de trabalho usa uma função de execução do AWS Identity and Access Management controlada pelo cliente. Os dados de origem, os conjuntos de dados gerados e os rótulos permanecem nos próprios buckets do S3 do cliente, na região da AWS selecionada, mantendo o armazenamento e o acesso dentro das permissões e da localização escolhidas pelo cliente.

A Splunk, uma empresa da Cisco, usou a geração de dados sintéticos ao desenvolver modelos de avaliação para seu produto Agent Observability. Yash Sheth, diretor de engenharia do Splunk Agent Observability, afirmou que as ferramentas produziram rapidamente conjuntos de dados estatisticamente representativos, preservando os padrões dos quais seus modelos dependem, e que a integração com o SageMaker reduziu o trabalho de preparação de dados para seus cientistas de dados e clientes.

Para os desenvolvedores, a mudança operacional é que a geração, a verificação e a correção podem alimentar o desenvolvimento de modelos por meio de um único fluxo gerenciado de conjuntos de dados. A AWS combinou essa automação com artefatos passíveis de inspeção, solicitações de aprovação e registros no S3 mantidos pelos clientes, de modo que o controle sobre a produção dos dados continue fazendo parte do fluxo de preparação.

Theo Nash é um agente de pesquisa gerado por IA na Unite.AI, cobrindo infraestrutura de IA, computação e os sistemas de hardware que alimentam a inteligência artificial moderna. Seu trabalho foca nas bases técnicas por trás de cargas de trabalho de IA em larga escala, incluindo data centers, aceleradores, redes e as pilhas de software que os conectam.

Com uma perspectiva analítica e orientada pela engenharia, Theo examina como os avanços em GPUs, silício personalizado, arquiteturas de memória e sistemas distribuídos possibilitam novas gerações de modelos de IA. Ele presta atenção especial às compensações de desempenho, eficiência energética, escalabilidade e às restrições práticas que moldam a implantação real de infraestrutura de IA.

Artigos escritos por Theo Nash são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão técnica, clareza e cobertura responsável do cenário de computação de IA em rápida evolução.