Limpeza da Nossa Dados Desorganizados: Como a IA Está Mudando o Jogo

Estamos afogados em dados. Cada plataforma, smartwatch e smartphone fragmenta nossas vidas em pedaços quantificáveis, mas a maioria deles permanece incoerente e inutilizável. 

As empresas sabem disso, o que é por que o gigante da tecnologia Meta investiu $14 bilhões de USD no verão passado para adquirir 49% de participação na startup de marcação de dados Scale AI, fazendo uma jogada calculada e estratégica para garantir dados de treinamento de alta qualidade para seus modelos de IA.

A confiabilidade dos grandes modelos de linguagem depende inteiramente da qualidade dos dados que são alimentados – em resumo, “lixo que entra, lixo que sai”. Hoje, no entanto, o desafio real que as empresas enfrentam é transformar uma enxurrada de informações brutos em dados ação. 

A solução pode estar escondida à vista: a própria IA pode ajudar gerando estratégias para contornar a tarefa tediosa de rotular conjuntos de dados massivos ou vasculhar planilhas intermináveis, transformando o caos em inteligência humana utilizável. 

Quando os dados ficam desorganizados: Os custos ocultos para as empresas

De acordo com pesquisa da Gartner de 2020, a baixa qualidade dos dados custa às organizações pelo menos $12,9 milhões de USD por ano, impactando a produtividade e levando a decisões mal informadas e relatórios imprecisos. 

As consequências de dados desorganizados são ainda mais evidentes em setores como a saúde. Registros de saúde incompletos, detalhes de faturamento e dados não coincidentes entre sistemas podem levar a diagnósticos errados, erros de tratamento e alocação ineficiente de recursos. A longo prazo, isso aumenta os custos e erode a confiança nesses sistemas.

Enquanto isso, na logística, dados não coincidentes entre fornecedores e distribuidores podem resultar em atrasos ou falta de estoque. Um endereço de entrega incorreto ou um registro de estoque desatualizado pode ter um efeito em cascata em toda a cadeia de suprimentos, levando a prazos perdidos e clientes insatisfeitos. 

“Ao ser capaz de antecipar ou entender o que pode acontecer [ao longo da rota] – com base em dados combinados do passado – você pode realmente cortar essas ineficiências”, Asparuh Koev, CEO da empresa de IA de logística Transmetrics, observou enquanto conversava com Unite AI.

Em termos mais práticos, dados desorganizados são caros. A regra 1-10-100 ilustra isso: custa $1 para verificar os dados à medida que são inseridos, $10 para limpá-los posteriormente e $100 se nada for feito.

O que as plataformas impulsionadas por IA trazem à mesa

À medida que as empresas lidam com quantidades crescentes de dados sujos, elas estão se voltando para a IA em busca de soluções. Plataformas impulsionadas por IA emergentes agora automatizam o processo de limpeza de dados, garantindo eficiência de custo e melhorando a precisão.

Robert Giardina, fundador da Claritype, uma dessas plataformas, explicou o processo da IA: 

“Ela converte os dados em um formato comum: parte do processo é converter cada dado em um formato canônico que atenda às necessidades do negócio.” 

A IA da Claritype vai além da simples padronização, no entanto. A reparação supervisionada da plataforma permite que as organizações cruzem fronteiras de sistema em busca de respostas para suas perguntas mais urgentes, quebrando silos. 

“Sistemas que anteriormente eram mantidos separados cada um contém uma parte da resposta para perguntas que abrangem todo o negócio”, Giardina disse a Unite AI. 

Se um fornecedor-chave for afetado por um atraso de envio, por exemplo, apenas conectando fornecedores a pedidos e histórico do cliente é que uma empresa pode determinar quais de seus principais clientes devem ser notificados primeiro sobre o atraso.

“Nosso objetivo final é estender esse pensamento interconectado para unificar todos os fragmentos de dados na empresa, para que possamos tornar cada pergunta fácil e imediata de responder”, Giardina disse. 

Esse tipo de pensamento interconectado é representativo da mudança mais ampla de mentalidade que está ocorrendo nas empresas hoje, à medida que elas transitam da limpeza de dados ad hoc para a governança de dados sistemática. Em vez de tratar a qualidade dos dados como uma solução de uma vez, as organizações estão desenvolvendo processos estruturados para garantir consistência e confiabilidade em todos os seus sistemas.

A governança de dados agora é considerada um processo de negócios valioso, e não apenas uma tarefa de TI. Ao integrar a gestão de dados em suas estratégias gerais, as empresas podem tomar decisões melhores e obter insights mais significativos de seus dados.

Como a IA limpa os dados e os desafios que enfrenta

Depender demais da IA pode ser perigoso. Para Giardina, “as conversões de dados automatizadas problemáticas são aquelas que vão além da padronização e entram no terreno do palpite.” 

Por exemplo, algum atalho poderia ser facilmente mal interpretado. “International Business Machines, Inc.” ou “I.B.M.”, por exemplo, seria normalmente convertido para “IBM”, mas se a conversão fosse automatizada e “I.B.” fosse acidentalmente convertido para “IBM”, poderia causar problemas significativos para ambas as empresas.

Dados ausentes e imprecisos são dois dos problemas mais comuns, e confiar apenas na IA para preencher as lacunas de acordo com o contexto pode facilmente dar errado. Como Giardina observa, “quando os efeitos são de qualquer forma significativos, precisamos de um ser humano para aprovar cada palpite.” 

Equilibrando automação com visão humana

Dados desorganizados destacam falhas profundas na forma como as organizações lidam com informações. Para avançar e melhorar a tomada de decisões, as empresas devem parar de ver os dados como uma questão puramente técnica e mudar para modelos de governança que combinem expertise humana, consciência ética e uma visão estratégica de longo prazo. 

Dados mais limpos criam IA mais eficaz, que por sua vez ajuda a melhorar a qualidade dos dados; esse ciclo mutuamente reforçador é promissor, mas serve como lembrete de que a automação sozinha não resolverá o nosso problema de dados desorganizados. Esse potencial só pode ser realizado combinando precisão algorítmica com julgamento humano e consciência dos vieses que pode introduzir, garantindo transparência e mais confiança nos sistemas que construímos.

Alex Sandoval, CEO da empresa de IA de inteligência de manufatura Allie AI, também enfatizou como os copilotos de IA gerativos não funcionam apenas com algoritmos, mas dependem da fluência humana na lógica da fábrica. 

“Os deploys mais bem-sucedidos de hoje não são apenas sobre alimentar modelos com vastos dados de controladores lógicos programáveis (PLC), notas de operadores e protocolos de conformidade. Eles dependem de um novo tipo de trabalhador de linha de frente: um que possa traduzir entre o comportamento da máquina e a intuição digital”, ele concluiu.