Curățarea datelor noastre haotice: Cum IA schimbă jocul

Ne înecăm în date. Fiecare platformă, ceas inteligent și smartphone fragmentează viețile noastre în fragmente cuantificabile, dar majoritatea acestor date rămân incoerente și inutilizabile.

Companiile știu acest lucru, ceea ce explică de ce gigantul tehnologic Meta a investit 14 miliarde de dolari americani vara trecută pentru a achiziționa o participație de 49% la startup-ul de etichetare a datelor Scale AI, făcând o mișcare calculată și strategică pentru a obține date de antrenament de înaltă calitate pentru modelele sale de IA.

Fiabilitatea modelelor de limbaj mare depinde în întregime de calitatea datelor pe care le primesc – în scurt, “gunoi la intrare, gunoi la ieșire”. Astăzi, însă, adevărata provocare cu care se confruntă companiile este transformarea unui val de informații brute în date utilizabile.

Soluția poate fi ascunsă în mod evident: IA însăși poate ajuta prin generarea de strategii pentru a ocoli task-ul tedios de etichetare a seturilor de date masive sau de a trece prin foi de calcul infinite, transformând haosul în inteligență umană utilizabilă.

Când datele devin haotice: Costurile ascunse pentru companii

Conform cercetării Gartner din 2020, calitatea slabă a datelor costă organizațiile cel puțin 12,9 milioane de dolari americani pe an, afectând productivitatea și ducând la decizii slab informate și raportări inexacte.

Consecințele datelor haotice sunt și mai evidente în sectoare precum sănătatea. Înregistrări de sănătate incomplete, detalii de facturare și date incorecte între sisteme pot duce la diagnostice greșite, erori de tratament și alocare ineficientă a resurselor. Pe termen lung, acest lucru crește costurile și erodează încrederea în aceste sisteme.

Între timp, în logistică, datele incorecte între furnizori și distribuitori pot rezulta în întârzieri sau lipsă de stoc. O adresă de livrare incorectă sau un registru de stoc învechit poate avea un efect de undă în întreaga lanț de aprovizionare, ducând la termene ratate și clienți nemulțumiți.

“Prin a putea anticipa sau înțelege ceea ce se poate întâmpla [pe parcurs] – pe baza datelor combinate, trecute – puteți reduce cu adevărat aceste ineficiențe,” Asparuh Koev, CEO al companiei de IA pentru logistică Transmetrics, a remarcat într-o conversație cu Unite AI.

În termeni mai practici, datele haotice sunt costisitoare. Regula 1-10-100 ilustrează acest lucru: costă 1 dolar să verifici datele la intrare, 10 dolari să le curățați ulterior și 100 de dolari dacă nu faceți nimic.

Ce aduc platformele bazate pe IA la masa discuțiilor

Pe măsură ce afacerile se luptă cu cantități tot mai mari de date “murdar”, acestea se îndreaptă spre IA pentru soluții. Platformele emergente bazate pe IA automatizează acum procesul de curățare a datelor, asigurând eficiență și îmbunătățind acuratețea.

Robert Giardina, fondatorul Claritype, o astfel de platformă, a explicat procesul IA:

“Converge datele într-un format comun: parte a procesului constă în convertirea fiecărui dat într-un format canonic care se potrivește afacerii.”

IA Claritype merge dincolo de simpla standardizare, însă. Repararea supravegheată a platformei permite organizațiilor să traverseze granițele sistemelor în căutarea răspunsurilor la cele mai urgente întrebări, demolând silozurile.

“Sistemele care au fost anterior separate dețin fiecare o parte a răspunsului la întrebările care acoperă întreaga afacere,” a spus Giardina către Unite AI.

Dacă, de exemplu, un furnizor cheie este afectat de o întârziere în livrare, numai prin conectarea furnizorilor la comenzi și istoricul clienților poate o companie determina care dintre clienții săi de top ar trebui să fie notificați primii despre întârziere.

“Scopul nostru final este să extindem această gândire interconectată pentru a uni fiecare fragment de date din întreaga întreprindere, astfel încât să putem face fiecare întrebare ușoară și imediat de răspuns,” a spus Giardina.

Acest tip de gândire interconectată reprezintă schimbarea mai largă de mentalitate care are loc în companii astăzi, pe măsură ce trec de la curățarea datelor ad hoc la guvernanță a datelor sistematică. Mai degrabă decât a trata calitatea datelor ca o soluție unică, organizațiile dezvoltă procese structurate pentru a asigura coerență și fiabilitate în toate sistemele lor.

Guvernanța datelor este acum considerată un proces de afaceri valoros, nu doar o corvoadă IT. Prin integrarea managementului datelor în strategiile lor generale, firmele pot lua decizii mai bune și obține insight-uri mai semnificative din datele lor.

Cum IA curăță datele și provocările pe care le întâmpină

A depinde prea mult de IA poate fi periculos. Pentru Giardina, “conversiile automate de date care sunt îngrijorătoare sunt cele care merg dincolo de standardizare în ghicire.”

De exemplu, un limbaj prescurtat ar putea fi ușor interpretat greșit. “International Business Machines, Inc.” sau “I.B.M.” ar fi de obicei convertite în “IBM”, dar dacă conversia ar fi automată și “I.B.” ar fi convertit accidental în “IBM”, ar putea cauza probleme semnificative pentru ambele companii.

Datele lipsă și inexacte sunt două dintre cele mai comune probleme, iar a se baza exclusiv pe IA pentru a umple golurile în funcție de context poate duce ușor la eșec. Așa cum subliniază Giardina, “când efectele sunt în orice mod semnificative, avem nevoie de un om pentru a aproba fiecare ghicire.”

Echilibrarea automatizării cu insight-ul uman

Datele haotice evidențiază defecte profunde în modul în care organizațiile gestionează informațiile. Pentru a merge mai departe și a îmbunătăți luarea deciziilor, afacerile trebuie să înceteze a vedea datele ca o problemă pur tehnică și să se îndrepte spre modele de guvernanță care combină expertiza umană, conștientizarea etică și o viziune strategică pe termen lung.

Datele mai curate creează IA mai eficientă, care, la rândul său, ajută la îmbunătățirea calității datelor; acest ciclu care se întărește reciproc este promițător, dar servește ca o amintire că automatizarea singură nu va rezolva problema noastră cu datele haotice. Acest potențial poate fi realizat doar prin asocierea preciziei algoritmice cu judecata umană și conștientizarea prejudecăților pe care le poate introduce, asigurând transparența și mai multă încredere în sistemele pe care le construim.

Alex Sandoval, CEO al firmei de IA pentru inteligență de fabricație Allie AI, a subliniat, de asemenea, cum copiloții IA generativi nu funcționează doar pe algoritmi, ci se bazează pe fluența umană în logica fabricii.

“Deployările de astăzi cel mai de succes nu sunt doar despre alimentarea modelelor cu date masive de controlori logici programabili (PLC), note de operator și protocoale de conformitate. Ele depind de un nou tip de lucrător de linia întâi: unul care poate traduce între comportamentul mașinii și intuiția digitală,” a concluzionat el.