Myslitelé

Důležitost kvality dat při implementaci umělé inteligence

Amy Groden-Morrison
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyŠpatná kvalita dat brání adopci umělé inteligence, přičemž 66 % podniků ji uvádí jako…
Zobrazit více
  • Špatná kvalita dat brání adopci umělé inteligence, přičemž 66 % podniků ji uvádí jako hlavní překážku.
  • Modely AI produkují chybné výstupy, když jsou trénovány na neúplných nebo nepřesných datových sadách.
  • Kvalitní data vyžadují úplnost, přesnost a konzistenci více než pouhý objem.

Technologie umělé inteligence a strojového učení mohou výrazně prospět odvětvím všech velikostí. Podle společnosti McKinsey a její následující zprávy, podniky, které využívají technologie umělé inteligence, zdvojnásobí svůj peněžní tok do roku 2030. Naopak, společnosti, které nebudou využívat umělou inteligenci, budou svědky 20% snížení peněžního toku. Tyto výhody však přesahují oblast financí. Umělá inteligence může pomoci společnostem bojovat s nedostatkem pracovníků. Umělá inteligence také výrazně zlepšuje zákaznickou zkušenost a obchodní výsledky, což dělá podniky spolehlivějšími.

Protože umělá inteligence má tolik výhod, proč ji všichni neimplementují? V roce 2019, PwC průzkum odhalil, že 76% společností plánuje využít umělou inteligenci ke zlepšení své obchodní hodnoty. Nicméně, pouze 15% má přístup ke kvalitním datům, aby dosáhli svých obchodních cílů. Další studie od Refinitiv naznačila, že 66% respondentů uvedlo, že špatná kvalita dat brání jejich schopnosti nasadit a přijmout umělou inteligenci účinně.

Průzkum zjistil, že tři největší výzvy při práci s technologiemi strojového učení a umělé inteligence se týkají – „přesné informace o pokrytí, historii a populaci dat“, „identifikace neúplných nebo poškozených záznamů“ a „čištění a normalizace dat“. To ukazuje, že špatná kvalita dat je hlavním překážkou pro podniky, aby získaly kvalitní analýzy založené na umělé inteligenci.

Proč jsou data tak důležitá?

Existuje mnoho důvodů, proč je kvalita dat důležitá při implementaci umělé inteligence. Zde jsou některé z nejvýznamnějších:

1. Špatná data, špatné výsledky

Je poměrně jednoduché pochopit, že výstup závisí silně na vstupu. V tomto případě, pokud jsou datové sady plné chyb nebo zkreslené, výsledek bude také špatný. Většina problémů souvisejících s daty není nutně o množství dat, ale o kvalitě dat, která se zavádějí do modelu umělé inteligence. Pokud máte nízkou kvalitu dat, vaše modely umělé inteligence nebudou fungovat správně, bez ohledu na to, jak dobré mohou být.

2. Ne všechny systémy umělé inteligence jsou stejné

Když myslíme na datové sady, obvykle myslíme na kvantitativní data. Existují však také kvalitativní data ve formě videí, osobních rozhovorů, názorů, obrázků atd. V systémech umělé inteligence jsou kvantitativní datové sady strukturované a kvalitativní datové sady jsou nestrukturované. Ne všechny modely umělé inteligence mohou zpracovat obě typy dat. Proto je výběr správného typu dat pro vhodný model nezbytný pro dosažení očekávaného výstupu.

3. Kvalita vs. množství

Je obecně přijímané, že systémy umělé inteligence potřebují zkonzumovat velké množství dat, aby se z nich mohli učit. V debatě o kvalitě versus množství je obvykle preferováno druhé. Nicméně, pokud jsou datové sady vysoké kvality, ale kratší, poskytují určitou záruku, že výstup je relevantní a robustní.

4. Charakteristiky dobré datové sady

Charakteristiky dobré datové sady mohou být subjektivní a závisí především na aplikaci, pro kterou je umělá inteligence použita. Existují však některé obecné rysy, které je třeba hledat při analýze dat.

  • Úplnost: Datová sada musí být úplná, bez prázdných buněk nebo míst v datech. Každá buňka by měla mít kus dat.
  • Šíře pokrytí: Datové sady by měly být co nejobsáhlejší. Například, pokud hledáte vektor kybernetické hrozby, musíte mít všechny signaturní profily a všechny potřebné informace.
  • Konzistence: Datové sady musí odpovídat určitým proměnným, které jim byly přiřazeny. Například, pokud modelujete krabice, vaše vybrané proměnné (plast, papír, karton atd.) musí mít odpovídající cenová data, aby spadaly do těchto určitých kategorií.
  • Přesnost: Přesnost je klíčem k dobré datové sadě. Všechny informace, které zavádíte do modelu umělé inteligence, musí být důvěryhodné a zcela přesné. Pokud jsou velké části vašich dat nesprávné, váš výstup bude také nesprávný.
  • Jedinečnost: Tento bod je podobný konzistenci. Každý datový bod musí být jedinečný pro proměnnou, kterou slouží. Například, nechcete, aby cena plastového obalu spadala do jiné kategorie balení.

Zajištění kvality dat

Existuje mnoho způsobů, jak zajistit, aby kvalita dat byla vysoká, jako například zajištění, že zdroj dat je důvěryhodný. Zde jsou některé z nejlepších technik, aby jste získali nejlepší kvalitu dat pro vaše modely umělé inteligence:

1. Profilování dat

Profilování dat je nezbytné pro pochopení dat před jejich použitím. Profilování dat nabízí přehled o distribuci hodnot, maximálních, minimálních, průměrných hodnotách a odlehlých hodnotách. Kromě toho pomáhá při odhalování nesrovnalostí ve formátování dat. Profilování dat pomáhá pochopit, zda je datová sada použitelná nebo ne.

2. Hodnocení kvality dat

Pomocí centrální knihovny předem připravených pravidel kvality dat můžete ověřit jakoukoli datovou sadu s centrální knihovnou. Pokud máte katalog dat s vestavěnými nástroji, můžete jednoduše znovu použít tato pravidla pro ověření jmen zákazníků, e-mailů a kódů produktů. Kromě toho můžete také obohatit a standardizovat některá data.

3. Monitorování a hodnocení kvality dat

Vědci mají předem vypočítanou kvalitu dat pro většinu dat, která chtějí použít. Mohou omezit rozsah, aby viděli, jaký konkrétní problém má atribut, a poté rozhodnout, zda použít tento atribut nebo ne.

4. Příprava dat

Vědci a výzkumníci obvykle musí upravit data trochu, aby je připravili pro modelování umělé inteligence. Tito výzkumníci potřebují snadno použitelné nástroje pro rozbor atributů, transponování sloupců a výpočet hodnot z dat.

Svět umělé inteligence se neustále mění. Zatímco každá společnost používá data jiným způsobem, kvalita dat zůstává nezbytnou pro jakýkoli projekt implementace umělé inteligence. Pokud máte spolehlivá, kvalitní data, eliminujete potřebu velkých datových sad a zvyšujete své šance na úspěch. Jako všechny ostatní organizace, pokud vaše organizace přechází na implementaci umělé inteligence, zkontrolujte, zda máte kvalitní data. Zajistěte, aby vaše zdroje byly důvěryhodné, a proveďte due diligence, aby jste ověřili, zda splňují vaše požadavky na data.

Amy Groden-Morrison působila více než 15 let ve vedoucích funkcích v oblasti marketingové komunikace ve společnostech jako TIBCO Software, RSA Security a Ziff-Davis. Mezi její dosavadní úspěchy patří vytvoření prvního technologického programu pod společnou značkou s CNN, uvedení společnosti pořádající akce na burzu NYSE, změna značky společnosti kotované na NASDAQ během krize a vybudování tržní pozice a marketingu startupu z oblasti Bostonu, které vedly k úspěšné akvizici. V současnosti je viceprezidentkou pro marketing a podporu prodeje ve společnosti Alpha Software.