Čištění našich špinavých dat: Jak AI mění hru

Se topíme v datech. Každá platforma, chytré hodinky a smartphone rozdělují náš život na kvantifikovatelné drobnosti, ale většina z nich zůstává nesrozumitelná a nepoužitelná.

Společnosti to vědí, a proto technologický gigant Meta investoval 14 miliard USD minulé léto, aby získal 49% podíl v datové společnosti Scale AI, a tím učinil promyšlený a strategický krok k zajištění vysoce kvalitních trénovacích dat pro své modely AI.

Spolehlivost velkých jazykových modelů závisí zcela na kvalitě dat, která jim jsou poskytována – stručně řečeno, „špatná data, špatné výsledky“. Dnes však skutečnou výzvou, které společnosti čelí, je proměna obrovského množství surových informací v akční data.

Řešení může být skryto na očích: AI samo může pomoci vytvářením strategií, které umožňují obejít únavnou úlohu označování rozsáhlých datových sad nebo procházení nekonečných tabulek, a tím proměnit chaos v použitelnou, lidskou inteligenci.

Když se data stanou špinavými: Skryté náklady pro společnosti

Podle výzkumu Gartner z roku 2020 stojí špatná kvalita dat organizace alespoň 12,9 milionu USD ročně, což влияje na produktivitu a vede k špatně informovaným rozhodnutím a nepřesnému reportování.

Důsledky špinavých dat jsou ještě více zřejmé v sektorech, jako je zdravotnictví. Neúplné zdravotní záznamy, údaje o fakturaci a nesoulad dat mezi systémy mohou vést k nesprávným diagnózám, chybám ve léčbě a neefektivní alokaci zdrojů. Dlouhodobě to zvyšuje náklady a podkopává důvěru v tyto systémy.

Zatímco v logistice nesoulad dat mezi dodavateli a distributory může vést k zpožděním nebo nedostatku zásob. Nesprávná adresa dodání nebo zastaralý záznam o zboží může mít řetězový efekt po整个 dodavatelském řetězci, vedoucí k zmeškaným termínům a nespokojeným zákazníkům.

„Pokud můžete předpovědět nebo pochopit, co se může stát [po trase] – na základě kombinovaných, minulých dat – můžete真的 snížit tyto neefektivnosti,” Asparuh Koev, CEO logistické AI společnosti Transmetrics, uvedl během rozhovoru s Unite AI.

V praktičtějších termínech jsou špinavá data nákladná. Pravidlo 1-10-100 ilustruje toto: stojí 1 dolar na kontrolu dat, když jsou zadána, 10 dolarů na jejich vyčištění později a 100 dolarů, pokud se nic neudělá.

Co AI poháněné platformy přinášejí na stůl

Jak podniky zápasí s rostoucím množstvím špinavých dat, obrací se na AI pro řešení. Nové AI poháněné platformy nyní automatizují proces čištění dat, zajišťují nákladovou efektivitu a zlepšují přesnost.

Robert Giardina, zakladatel Claritype, jedné z takových platforem, vysvětlil proces AI:

„Data jsou sjednocena do společného formátu: část procesu spočívá v převodu každého údaje do kanonického formátu, který odpovídá podniku.”

AI Claritype jde však za prostou standardizaci. Supervizovaná oprava umožňuje organizacím překročit hranice systémů při hledání odpovědí na jejich nejnaléhavější otázky, rozbití sil.

„Systémy, které byly dříve odděleny, každý drží část odpovědi na otázky, které pokrývají celý podnik,” Giardina řekl Unite AI.

Pokud je například klíčový dodavatel ovlivněn zpožděním dodávky, lze pouze spojením dodavatelů s objednávkami a historií zákazníků určit, které z jejich nejlepších zákazníků by měly být první informovány o zpoždění.

„Naším konečným cílem je rozšířit toto propojené myšlení, aby sjednotilo každý kus dat v podniku, abychom mohli odpovědět na každou otázku snadno a okamžitě,” řekl Giardina.

Tento typ propojeného myšlení reprezentuje širší změnu v myšlení, která se dnes odehrává v podnicích, když přecházejí z ad hoc čištění dat na systematickou správu dat. Místo toho, aby se kvalita dat považovala za jednorázové řešení, organizace vyvíjejí strukturované procesy, aby zajistily konzistenci a spolehlivost napříč všemi svými systémy.

Správa dat je nyní považována za cenný obchodní proces, ne jen za úloha IT. Integrací správy dat do svých celkových strategií mohou podniky učinit lepší rozhodnutí a získat více významných poznatků ze svých dat.

Jak AI čistí data a jaké jsou výzvy, kterým čelí

Přespřílišná závislost na AI může být nebezpečná. Pro Giardinu „nejvíce znepokojivé automatizované datové konverze jsou ty, které jdou za standardizaci do hádání.”

Například některé zkratky by mohly být snadno špatně interpretovány. “International Business Machines, Inc.” nebo “I.B.M.” by obvykle byly převedeny na “IBM”, ale pokud by konverze byla automatizována a “I.B.” byla omylem převedena na “IBM”, mohlo by to způsobit významné problémy pro obě společnosti.

Chybějící a nepřesná data jsou dvěma z nejčastějších problémů, a pouze spoléhání se na AI k vyplnění mezer podle kontextu může snadno selhat. Jak Giardina uvádí, „když jsou účinky jakýmkoli způsobem významné, potřebujeme, aby každý odhad schválil člověk.”

Rovnováha automatizace a lidského vhledu

Špinavá data poukazují na hluboké nedostatky v tom, jak organizace nakládají s informacemi. Aby podniky mohly pokračovat a zlepšit rozhodování, musí přestat považovat data za čistě technickou otázku a přesunout se k modelům správy, které kombinují lidskou odbornost, etickou povědomí a dlouhodobou strategickou vizi.

Čistější data vytvářejí účinnější AI, která naopak pomáhá zlepšit kvalitu dat; tento vzájemně se posilující cyklus je slibný, ale připomíná, že automatizace sama o sobě nevyřeší náš problém se špinavými daty. Tento potenciál může být realizován pouze spojením algoritmické přesnosti s lidským úsudkem a vědomím偏见, které může zavést, zajišťujíc transparentnost a větší důvěru v systémy, které budujeme.

Alex Sandoval, CEO společnosti pro výrobní inteligenci AI, Allie AI, také zdůraznil, jak generativní AI kopiloti nefungují pouze na algoritmech, ale spoléhají se na lidskou způsobilost v logice továrny.

„Dnešní nejúspěšnější nasazení nejsou pouze o krmení modelů rozsáhlými daty z programovatelných logických kontrolorů (PLC), poznámek operátorů a protokolů shody. Závisí na novém typu front-line pracovníka: ten, kdo může překládat mezi chováním strojů a digitální intuicí,” uzavřel.