Czyszczenie naszych nieładnych danych: Jak AI zmienia grę

Tonący w danych. Każda platforma, zegarek i smartphone dzieli nasze życie na ilościowalne drobne elementy, ale większość z nich pozostaje niezrozumiała i niewykorzystywana.

Firmy wiedzą o tym, dlatego tech gigant Meta zainwestował 14 miliardów dolarów amerykańskich w zeszłym roku, aby nabyć 49% udziałów w startupie Scale AI, który zajmuje się oznaczaniem danych, podejmując przemyślaną i strategiczną decyzję, aby zapewnić wysokiej jakości dane szkoleniowe dla swoich modeli AI.

Niezawodność dużych modeli językowych zależy całkowicie od jakości danych, które im podaje się – krótko mówiąc, „śmieci w, śmieci wy”. Dziś jednak prawdziwym wyzwaniem, przed którym stoją firmy, jest przekształcenie potoku surowych informacji w dane, które można wykorzystać.

Rozwiązanie może być ukryte na widoku: AI może pomóc, generując strategie, które pozwalają ominąć nużące zadanie oznaczania ogromnych zbiorów danych lub przeglądania nieskończonych arkuszy kalkulacyjnych, zmieniając chaos w użyteczną, ludzką inteligencję.

Gdy dane stają się nieładne: Ukryte koszty dla firm

Według badań Gartner z 2020 roku, słaba jakość danych kosztuje organizacje co najmniej 12,9 miliona dolarów amerykańskich rocznie, wpływając na produktywność i prowadząc do słabo poinformowanych decyzji i niedokładnych raportów.

Konsekwencje nieładnych danych są szczególnie widoczne w sektorach takich jak opieka zdrowotna. Niekompletne akta zdrowia, dane rozliczeniowe i niezgodne dane w systemach mogą prowadzić do błędnej diagnozy, błędów leczenia i niewydajnego przydziału zasobów. W długiej perspektywie prowadzi to do wzrostu kosztów i podważa zaufanie do tych systemów.

Tymczasem w logistyce niezgodne dane pomiędzy dostawcami i dystrybutorami mogą skutkować opóźnieniami lub brakami zapasów. Niepoprawny adres dostawy lub nieaktualny rekord zapasów może mieć efekt domina w całej łańcuchu dostaw, prowadząc do przegapionych terminów i niezadowolonych klientów.

“Poprzez możliwość przewidzenia lub zrozumienia, co może się wydarzyć [na trasie] – na podstawie połączonych, wcześniejszych danych – można naprawdę zmniejszyć te nieefektywności”, Asparuh Koev, CEO logistycznej firmy AI Transmetrics, zauważył podczas rozmowy z Unite AI.

W praktyce nieładne dane są kosztowne. Reguła 1-10-100 ilustruje to: kosztuje 1 dolar, aby sprawdzić dane, gdy są one wprowadzane, 10 dolarów, aby je oczyścić później, i 100 dolarów, jeśli nic nie zrobimy.

Czego dostarczają platformy wspomagane przez AI

Firmy, które mają do czynienia z rosnącymi ilościami nieładnych danych, zwracają się o pomoc do AI. Pojawiające się platformy wspomagane przez AI automatyzują proces oczyszczania danych, zapewniając efektywność kosztową i poprawiając dokładność.

Robert Giardina, założyciel Claritype, jednej z takich platform, wyjaśnił proces AI:

“Scali dane do wspólnego formatu: częścią procesu jest przekształcenie każdego danych w kanoniczny format, który odpowiada firmie.”

AI Claritype idzie jednak dalej niż prosta standaryzacja. Nadzorowany przez człowieka proces naprawy pozwala firmom na przekroczenie granic systemów w poszukiwaniu odpowiedzi na najpilniejsze pytania, łamiąc bariery.

“Systemy, które wcześniej były oddzielone, każdy z nich posiada część odpowiedzi na pytania, które dotyczą całej firmy”, Giardina powiedział Unite AI.

Jeśli kluczowy dostawca jest dotknięty opóźnieniem w dostawie, na przykład, tylko łącząc dostawców z zamówieniami i historią klienta, firma może określić, których z jej najlepszych klientów należy powiadomić jako pierwszych o opóźnieniu.

“Naszym ostatecznym celem jest rozszerzenie tego myślenia o połączeniach na zunifikowanie każdego kawałka danych w przedsiębiorstwie, abyśmy mogli łatwo i szybko odpowiedzieć na każde pytanie”, powiedział Giardina.

Ten rodzaj myślenia o połączeniach jest reprezentatywny dla szerszej zmiany w podejściu firm, które przechodzą od ad hoc czyszczenia danych do systematycznego zarządzania danymi. Zamiast traktować jakość danych jako jednorazowe rozwiązanie, organizacje rozwijają strukturalne procesy, aby zapewnić spójność i niezawodność we wszystkich systemach.

Zarządzanie danymi jest teraz uważane za cenny proces biznesowy, a nie tylko za zadanie IT. Poprzez integrację zarządzania danymi w swoje ogólne strategie, firmy mogą podejmować lepsze decyzje i uzyskiwać bardziej znaczące spostrzeżenia z ich danych.

Jak AI czysci dane i jakie wyzwania napotyka

Przez nadmierną zależność od AI można narażać się na niebezpieczeństwo. Dla Giardiny „niepokojące automatyczne konwersje danych są te, które idą poza standaryzację w stronę zgadywania”.

Na przykład pewne skróty mogą być łatwo źle zinterpretowane. “International Business Machines, Inc.” lub “I.B.M.” zwykle byłoby przekształcone w “IBM”, ale gdyby konwersja była zautomatyzowana i “I.B.” zostałoby przypadkowo przekształcone w “IBM”, mogłoby to spowodować znaczne problemy dla obu firm.

Brakujące i niedokładne dane są dwoma z najczęstszych problemów, a wyłączne poleganie na AI, aby wypełnić luki zgodnie z kontekstem, może łatwo zawieść. Jak zauważa Giardina, “gdy skutki są w jakikolwiek sposób znaczące, potrzebujemy człowieka, który zatwierdzi każdą zgadywaną odpowiedź”.

Bilansowanie automatyzacji z ludzką intuicją

Nieładne dane podkreślają głębokie wady w sposobie, w jaki organizacje radzą sobie z informacjami. Aby ruszyć do przodu i poprawić podejmowanie decyzji, firmy muszą przestać traktować dane jako czysto techniczne zagadnienie i przesunąć się w stronę modeli zarządzania, które łączą ludzką ekspertyzę, świadomość etyczną i długoterminową wizję strategiczną.

Czystsze dane tworzą bardziej efektywne AI, które z kolei pomaga poprawić jakość danych; ten wzajemnie wzmacniający się cykl jest obiecujący, ale przypomina, że automatyzacja sama w sobie nie rozwiąże naszego problemu z nieładnymi danymi. Ten potencjał może być zrealizowany tylko przez połączenie precyzji algorytmicznej z ludzkim osądem i świadomością wprowadzanych przez niego uprzedzeń, zapewniając przejrzystość i większe zaufanie do systemów, które budujemy.

Alex Sandoval, CEO firmy AI zajmującej się inteligencją produkcyjną, Allie AI, również podkreślił, jak współpilotujące AI nie działają wyłącznie na algorytmach, lecz polegają na ludzkiej biegłości w logice fabryki.

“Dziś najbardziej udane wdrożenia nie dotyczą tylko karmienia modeli ogromnymi danymi z programowalnych sterowników logicznych, notatek operatorów i protokołów zgodności. Zależą one od nowego rodzaju pracownika pierwszej linii: tego, który może tłumaczyć pomiędzy zachowaniem maszyn a cyfrową intuicją”, stwierdził on.