Limpeza dos nossos dados desordenados: Como a IA está mudando o jogo

Estamos afogados em dados. Cada plataforma, smartwatch e smartphone fragmenta nossas vidas em pedaços quantificáveis, mas a maior parte deles permanece incoerente e inutilizável.

As empresas sabem disso, é por isso que o gigante da tecnologia Meta investiu US$ 14 bilhões no verão passado para adquirir 49% da startup de rotulagem de dados Scale AI, fazendo uma jogada calculada e estratégica para garantir dados de treinamento de alta qualidade para seus modelos de IA.

A confiabilidade dos grandes modelos de linguagem depende inteiramente da qualidade dos dados que são alimentados – em resumo, “lixo que entra, lixo que sai”. Hoje, no entanto, o desafio real que as empresas enfrentam é transformar uma enxurrada de informações brutos em dados ação.

A solução pode estar escondida à vista: a própria IA pode ajudar gerando estratégias para contornar a tarefa tediosa de rotular conjuntos de dados maciços ou vasculhar planilhas intermináveis, transformando o caos em inteligência humana utilizável.

Quando os dados ficam desordenados: Os custos ocultos para as empresas

De acordo com pesquisa da Gartner de 2020, a má qualidade dos dados custa às organizações pelo menos US$ 12,9 milhões por ano, afetando a produtividade e levando a decisões mal informadas e relatórios imprecisos.

As consequências de dados desordenados são ainda mais evidentes em setores como a saúde. Registros de saúde incompletos, detalhes de faturamento e dados desordenados entre sistemas podem levar a diagnósticos errados, erros de tratamento e alocação ineficiente de recursos. A longo prazo, isso aumenta os custos e erode a confiança nesses sistemas.

Enquanto isso, na logística, dados desordenados entre fornecedores e distribuidores podem resultar em atrasos ou falta de estoque. Um endereço de entrega incorreto ou um registro de estoque desatualizado pode ter um efeito em cascata em toda a cadeia de suprimentos, levando a prazos perdidos e clientes insatisfeitos.

“Ao ser capaz de antecipar ou entender o que pode acontecer [ao longo da rota] – com base em dados combinados do passado – você pode realmente cortar essas ineficiências”, Asparuh Koev, CEO da empresa de IA de logística Transmetrics, observou em conversa com Unite AI.

Em termos mais práticos, dados desordenados são caros. A regra 1-10-100 ilustra isso: custa US$ 1 para verificar os dados à medida que são inseridos, US$ 10 para limpá-los posteriormente e US$ 100 se nada for feito.

O que as plataformas impulsionadas por IA trazem à mesa

À medida que as empresas lidam com quantidades crescentes de dados sujos, elas estão recorrendo à IA para soluções. Plataformas impulsionadas por IA emergentes agora automatizam o processo de limpeza de dados, garantindo eficiência de custo e melhorando a precisão.

Robert Giardina, fundador da Claritype, uma dessas plataformas, explicou o processo da IA:

“Ela converge os dados em um formato comum: parte do processo é converter cada dado em um formato canônico que atenda às necessidades do negócio.”

A IA da Claritype vai além da simples padronização, no entanto. A reparação supervisionada da plataforma permite que as organizações cruzem fronteiras de sistema em busca de respostas para suas perguntas mais urgentes, quebrando silos.

“Sistemas que antes eram mantidos separados cada um detém uma parte da resposta para perguntas que abrangem todo o negócio”, Giardina disse à Unite AI.

Se um fornecedor-chave for afetado por um atraso de entrega, por exemplo, apenas conectando fornecedores a pedidos e histórico do cliente é que uma empresa pode determinar quais de seus principais clientes devem ser notificados primeiro sobre o atraso.

“Nosso objetivo final é estender esse pensamento interconectado para unificar todos os fragmentos de dados na empresa, para que possamos tornar cada pergunta fácil e imediata de responder”, Giardina disse.

Esse tipo de pensamento interconectado é representativo da mudança mais ampla de mentalidade que está ocorrendo nas empresas hoje, à medida que elas transitam da limpeza de dados ad hoc para a governança de dados sistemática. Em vez de tratar a qualidade dos dados como uma solução única, as organizações estão desenvolvendo processos estruturados para garantir consistência e confiabilidade em todos os seus sistemas.

A governança de dados agora é considerada um processo de negócios valioso, e não apenas uma tarefa de TI. Ao integrar a gestão de dados em suas estratégias gerais, as empresas podem tomar decisões melhores e obter insights mais significativos de seus dados.

Como a IA limpa os dados e os desafios que enfrenta

Depender demais da IA pode ser perigoso. Para Giardina, “as conversões de dados automatizadas preocupantes são aquelas que vão além da padronização e entram no terreno das suposições.”

Por exemplo, alguma abreviação poderia facilmente ser mal interpretada. “International Business Machines, Inc.” ou “I.B.M.”, por exemplo, seriam normalmente convertidos para “IBM”, mas se a conversão fosse automatizada e “I.B.” fosse convertida por engano para “IBM”, isso poderia causar problemas significativos para ambas as empresas.

Dados faltantes e imprecisos são dois dos problemas mais comuns, e confiar apenas na IA para preencher as lacunas de acordo com o contexto pode facilmente dar errado. Como Giardina observa, “quando os efeitos são de qualquer forma significativos, precisamos de um ser humano para aprovar cada suposição.”

Equilibrando a automação com a perspicácia humana

Dados desordenados destacam falhas profundas na forma como as organizações lidam com as informações. Para avançar e melhorar a tomada de decisões, as empresas devem parar de ver os dados como uma questão puramente técnica e se mover em direção a modelos de governança que combinem expertise humana, consciência ética e uma visão estratégica de longo prazo.

Dados mais limpos criam IA mais eficaz, que por sua vez ajuda a melhorar a qualidade dos dados; esse ciclo mutuamente reforçado é promissor, mas serve como um lembrete de que a automação sozinha não resolverá o problema dos nossos dados desordenados. Esse potencial só pode ser realizado combinando a precisão algorítmica com o julgamento humano e a consciência dos vieses que pode introduzir, garantindo transparência e mais confiança nos sistemas que construímos.

Alex Sandoval, CEO da empresa de IA de inteligência de fabricação Allie AI, também enfatizou como os copilotos de IA generativa não funcionam apenas com algoritmos, mas dependem da fluência humana na lógica da fábrica.

“Os deploys mais bem-sucedidos de hoje não são apenas sobre alimentar os modelos com vastos dados de controladores lógicos programáveis (PLC), notas de operadores e protocolos de conformidade. Eles dependem de um novo tipo de trabalhador de linha de frente: aquele que pode traduzir entre o comportamento da máquina e a intuição digital”, ele concluiu.