Очищення наших неорганізованих даних: Як AI змінює гру

Ми тонуємо в даних. Кожна платформа, смарт-годинник і смартфон розбивають нашу життя на кількісні шматочки, проте більшість з них залишається несуцільною та непридатною.

Компанії знають про це, тому технологічний гігант Meta інвестував 14 мільярдів доларів США минулого літа, щоб придбати 49% акцій стартапу Scale AI, який займається маркуванням даних, зробивши розрахований і стратегічний крок для забезпечення високоякісних навчальних даних для своїх моделей AI.

Надійність великих мовних моделей залежить повністю від якості даних, які їм подаються – коротко кажучи, «сміття у, сміття вийде». Сьогодні, однак, справжня проблема, з якою стикаються компанії, полягає в тому, щоб перетворити потік сирої інформації в дієві дані.

Рішення може бути приховане на виду: AI сама може допомогти, генеруючи стратегії для обходу трудомісткого завдання маркування великих наборів даних або просіювання нескінченних таблиць, перетворюючи хаос у корисну, людську інтелект.

Коли дані стають неорганізованими: Приховані витрати для компаній

Згідно з дослідженням Gartner 2020 року, погана якість даних коштує організаціям щонайменше 12,9 мільйонів доларів США на рік, впливаючи на продуктивність і призводячи до погано обґрунтованих рішень та неточної звітності.

Наслідки неорганізованих даних ще більш очевидні в галузях, таких як охорона здоров’я. Неповні медичні картки, дані про оплату та неузгоджені дані між системами можуть привести до неправильних діагнозів, помилок у лікуванні та неефективного розподілу ресурсів. У довгостроковій перспективі це підвищує витрати та підірває довіру до цих систем.

Тим часом у логістиці неузгоджені дані серед постачальників і дистриб’юторів можуть привести до затримок або нестачі запасів. Неправильна адреса доставки або застаріла реєстрація запасів може мати ефект доміно по всьому ланцюгу поставок, що призводить до пропущених термінів та незадоволених клієнтів.

«Якщо ви можете передбачити або зрозуміти, що може статися [на маршруті] – на основі поєднаних даних минулого – ви можете真的 скоротити ці неефективності», – зазначив Аспарух Кoeв, генеральний директор логістичної компанії AI Transmetrics, під час розмови з Unite AI.

У більш практичному сенсі, неорганізовані дані коштують дорого. Правило 1-10-100 ілюструє це: витрати на перевірку даних під час введення складають 1 долар, на очистку даних після введення – 10 доларів, а якщо нічого не зробити – 100 доларів.

Що AI-платформи приносять на стіл

Бізнеси, які борються з зростаючими обсягами «брудних» даних, зараз звертаються до AI за рішеннями. Нові AI-платформи автоматизують процес очищення даних, забезпечуючи ефективність витрат і покращення точності.

Роберт Джардіна, засновник Claritype, однієї з таких платформ, пояснив процес AI:

«Він зводить дані до спільного формату: частина процесу полягає у тому, щоб перетворити кожен даний у канонічний формат, який підходить для бізнесу.»

AI Claritype виходить за рамки простої стандартизації. Надзорований ремонт платформи дозволяє організаціям перетинати системні кордони в пошуках відповідей на свої найважливіші питання, розбиваючи сіли.

«Системи, які раніше зберігалися окремо, кожна з яких володіє частиною відповіді на питання, що охоплюють весь бізнес», – сказав Джардіна Unite AI.

Якщо ключовий постачальник постраждав від затримки доставки, наприклад, тільки з’єднавши постачальників з замовленнями та історією клієнтів, компанія може визначити, яких із своїх основних клієнтів слід сповістити першими про затримку.

«Наша кінцева мета полягає в тому, щоб розширити цей взаємозв’язаний підхід, щоб уніфікувати кожну частинку даних у підприємстві, щоб зробити кожне питання легким і негайним для відповіді», – сказав Джардіна.

Цей тип взаємозв’язаного мислення є представником більш широкої зміни у свідомості компаній сьогодні, оскільки вони переходять від ад хок-очистки даних до системного управління даними. Замість того, щоб розглядати якість даних як разове рішення, організації розробляють структуровані процеси для забезпечення послідовності та надійності по всім своїм системам.

Управління даними зараз вважається цінним бізнес-процесом, а не лише завданням ІТ. Інтегруючи управління даними у свої загальні стратегії, фірми можуть приймати кращі рішення та отримувати більш значущі знання з своїх даних.

Як AI очищає дані і які виклики вона зустрічає

Переоцінка можливостей AI може бути небезпечною. Для Джардіни «проблематичними автоматичними даними перетвореннями є ті, які виходять за рамки стандартизації в гіпотези».

Наприклад, деякі скорочення можуть легко бути неправильно витлумачені. «International Business Machines, Inc.» або «I.B.M.» зазвичай будуть перетворені на «IBM», але якщо перетворення буде автоматичним і «I.B.» буде випадково перетворено на «IBM», це може викликати значні проблеми для обидвох компаній.

Відсутні та неточні дані – дві з найбільш поширених проблем. Повністю покладатися на AI для заповнення пробілів відповідно до контексту може легко призвести до негативних наслідків. Як зазначає Джардіна, «коли наслідки будь-яким чином значущі, нам потрібен людина, яка схвалить кожну гіпотезу».

Балансування автоматизації з людським розумінням

Неорганізовані дані підкреслюють глибокі недоліки в тому, як організації обробляють інформацію. Щоб рухатися вперед і покращувати прийняття рішень, бізнес повинен停止 розглядати дані як чисто технічну проблему і рухатися до моделей управління, які поєднують людську експертизу, етичну свідомість та довгострокову стратегічну візію.

Чистіші дані створюють більш ефективний AI, який, у свою чергу, допомагає покращувати якість даних; цей взаємно-підтримуючий цикл обіцяє, але служить нагадуванням про те, що автоматизація сама по собі не вирішить нашу проблему неорганізованих даних. Цей потенціал може бути реалізований лише шляхом поєднання алгоритмічної точності з людським судженням та свідомістю про упередження, яке воно може ввести, забезпечуючи прозорість та більшу довіру до систем, які ми будуємо.

Алекс Сандоваль, генеральний директор компанії AI з виробництва інтелекту, Allie AI, також підкреслив, що генеративні AI-копілоти не працюють лише на алгоритмах, а спираються на людську грамотність у логіці підприємства.

«Сьогодні найуспішніші розгортання не лише про те, щоб годувати моделі великими програмними логічними контролерами (PLC) даними, операторськими нотатками та протоколами відповідності. Вони залежать від нового типу працівника першої лінії: того, хто може перекладати між поведінкою машини та цифровим інтуїтом», – підсумував він.