Очистка нашего беспорядочного данных: Как ИИ меняет игру

Мы тонем в данных. Каждая платформа, смарт-часы и смартфон фрагментируют нашу жизнь на количественные кусочки, но большая часть из них остается неясной и непригодной для использования.

Компании знают об этом, поэтому технологический гигант Meta инвестировал 14 миллиардов долларов США прошлым летом, чтобы приобрести 49% долю в стартапе Scale AI, что было рассчитанным и стратегическим шагом для обеспечения высококачественных тренировочных данных для своих моделей ИИ.

Надежность больших языковых моделей полностью зависит от качества данных, которые они получают – коротко говоря, «мусор на входе, мусор на выходе». Сегодня, однако, реальной проблемой, с которой сталкиваются компании, является превращение потока сырой информации в действенные данные.

Решение может скрываться на виду: ИИ сам может помочь, генерируя стратегии для обхода скучной задачи маркировки огромных наборов данных или просмотра бесконечных таблиц, превращая хаос в пригодную для использования, человеческую информацию.

Когда данные становятся беспорядочными: Скрытые затраты для компаний

Согласно исследованию Gartner из 2020 года, плохое качество данных стоит организациям не менее 12,9 миллионов долларов США в год, влияя на производительность и приводя к плохо обоснованным решениям и неточному отчетности.

Последствия беспорядочных данных еще более очевидны в таких секторах, как здравоохранение. Неполные медицинские записи, данные о выставлении счетов и несоответствующие данные в разных системах могут привести к неправильным диагнозам, ошибкам лечения и неэффективному распределению ресурсов. В долгосрочной перспективе это увеличивает затраты и подрывает доверие к этим системам.

Между тем, в логистике несоответствующие данные между поставщиками и дистрибьюторами могут привести к задержкам или нехватке запасов. Неправильный адрес доставки или устаревшая запись о запасах может иметь эффект домино во всей цепочке поставок, что приводит к пропущенным срокам и недовольным клиентам.

«Благодаря возможности предвидеть или понять, что может произойти [на маршруте] – на основе объединенных прошлых данных – мы можем действительно сократить эти неэффективности», – отметил Аспарух Коеv, генеральный директор логистической компании ИИ Transmetrics, в разговоре с Unite AI.

В более практическом смысле, беспорядочные данные стоят дорого. Правило 1-10-100 иллюстрирует это: стоит 1 доллар проверить данные при вводе, 10 долларов для очистки их позже, и 100 долларов, если ничего не делается.

Что ИИ-ориентированные платформы приносят на стол

Поскольку бизнесы борются с растущим количеством «грязных» данных, они обращаются к ИИ за решениями. Новые ИИ-ориентированные платформы теперь автоматизируют процесс очистки данных, обеспечивая экономическую эффективность и повышая точность.

Роберт Джардина, основатель одной из таких платформ Claritype, объяснил процесс ИИ:

«Он объединяет данные в общий формат: часть процесса заключается в том, чтобы преобразовать каждое данное значение в канонический формат, который подходит для бизнеса.»

ИИ Claritype выходит за рамки простой стандартизации, однако. Надзорная репарация платформы позволяет организациям пересекать системные границы в поисках ответов на их наиболее срочные вопросы, разрушая барьеры.

«Системы, которые ранее были разделены, каждая из них содержит часть ответа на вопросы, которые охватывают весь бизнес», – сказал Джардина Unite AI.

Если ключевой поставщик пострадал от задержки доставки, например, только соединив поставщиков с заказами и историей клиентов, компания может определить, каких из своих лучших клиентов следует уведомить первыми о задержке.

«Наша конечная цель – расширить этот взаимосвязанный подход, чтобы объединить каждый осколок данных в компании, чтобы мы могли легко и быстро ответить на любой вопрос», – сказал Джардина.

Такой взаимосвязанный подход представляет собой более широкую смену мышления, которая происходит в компаниях сегодня, когда они переходят от ад хок-очистки данных к системному управлению данными. Вместо того, чтобы рассматривать качество данных как разовое решение, организации разрабатывают структурированные процессы для обеспечения согласованности и надежности во всех своих системах.

Управление данными теперь считается ценным бизнес-процессом, а не просто задачей ИТ. Интегрируя управление данными в свои общие стратегии, фирмы могут принимать лучшие решения и получать более осмысленные идеи из своих данных.

Как ИИ очищает данные и какие проблемы он сталкивается

Переоценка ИИ может быть опасной. Для Джардины «озабоченные автоматические преобразования данных – это те, которые выходят за рамки стандартизации в догадки».

Например, некоторые аббревиатуры легко могут быть неправильно истолкованы. «International Business Machines, Inc.» или «I.B.M.» обычно преобразуются в «IBM», но если преобразование было автоматизировано и «I.B.» было случайно преобразовано в «IBM», это могло бы вызвать значительные проблемы для обеих компаний.

Отсутствующие и неточные данные – две из наиболее распространенных проблем, и полагаться исключительно на ИИ для заполнения пробелов в соответствии с контекстом может легко обернуться неудачей. Как отмечает Джардина, «когда последствия значительны, нам нужен человек, чтобы одобрить каждую догадку».

Балансирование автоматизации с человеческим осознанием

Беспорядочные данные подчеркивают глубокие недостатки в том, как организации обрабатывают информацию. Чтобы двигаться вперед и улучшать принятие решений, бизнесы должны перестать рассматривать данные как чисто техническую проблему и перейти к моделям управления, которые сочетают человеческий опыт, этическую осведомленность и долгосрочное стратегическое видение.

Чистые данные создают более эффективный ИИ, который, в свою очередь, помогает улучшить качество данных; этот взаимно-усиливающий цикл обещает, но служит напоминанием о том, что автоматизация одна не решит нашу проблему с беспорядочными данными. Этот потенциал может быть реализован только путем сочетания алгоритмической точности с человеческим суждением и осознанием предвзятости, которую он может ввести, обеспечивая прозрачность и большее доверие к системам, которые мы строим.

Алекс Сандовал, генеральный директор компании ИИ по производственной интеллекту Allie AI, также подчеркнул, как генеративные ИИ-копилоты не работают только на алгоритмах, а полагаются на человеческую грамотность в логике фабрики.

«Сегодня наиболее успешные развертывания не только о том, чтобы кормить модели огромными программными логическими контроллерами (PLC) данными, заметками операторов и протоколами соответствия. Они зависят от нового типа работников на передовой: тех, кто может переводить между поведением машин и цифровым интуитивным пониманием», – заключил он.