Очистка наших беспорядочных данных: Как ИИ меняет игру

Мы тонем в данных. Каждая платформа, смарт-часы и смартфон фрагментируют нашу жизнь на количественные кусочки, но большая часть из них остается неясной и непригодной для использования.

Компании знают об этом, поэтому технологический гигант Meta инвестировал 14 миллиардов долларов США прошлым летом, чтобы приобрести 49% акций стартапа Scale AI, который занимается маркировкой данных, сделав рассчитанный и стратегический шаг, чтобы обеспечить высококачественные данные для обучения своих моделей ИИ.

Надежность больших языковых моделей полностью зависит от качества данных, которые они получают – короче говоря, «мусор на входе, мусор на выходе». Сегодня, однако, реальной проблемой, с которой сталкиваются компании, является превращение потока сырой информации в действенные данные.

Решение может скрываться на виду: ИИ сам может помочь, генерируя стратегии, чтобы обойти трудоемкую задачу маркировки огромных наборов данных или просмотра бесконечных таблиц, превращая хаос в полезную, человеческую информацию.

Когда данные становятся беспорядочными: Скрытые затраты для компаний

Согласно исследованию Gartner 2020 года, плохое качество данных стоит организациям не менее 12,9 миллионов долларов США в год, влияя на производительность и приводя к плохо обоснованным решениям и неточному отчетности.

Последствия беспорядочных данных еще более очевидны в таких секторах, как здравоохранение. Неполные медицинские записи, данные о выставлении счетов и несоответствующие данные в разных системах могут привести к неправильным диагнозам, ошибкам лечения и неэффективному распределению ресурсов. В долгосрочной перспективе это увеличивает затраты и подрывает доверие к этим системам.

Тем временем, в логистике несоответствующие данные среди поставщиков и дистрибьюторов могут привести к задержкам или нехватке запасов. Неправильный адрес доставки или устаревшая запись о запасах может иметь эффект домино на всю цепочку поставок, что приводит к пропущенным срокам и недовольным клиентам.

«Благодаря возможности предвидеть или понять, что может произойти [на маршруте] – на основе объединенных прошлых данных – вы действительно можете сократить эти неэффективности», – отметил Аспарух Кoeв, генеральный директор компании Transmetrics, занимающейся логистикой ИИ, в разговоре с Unite AI.

В более практическом смысле, беспорядочные данные стоят дорого. Правило 1-10-100 иллюстрирует это: стоит 1 доллар, чтобы проверить данные при вводе, 10 долларов, чтобы очистить их позже, и 100 долларов, если ничего не сделать.

Что ИИ-ориентированные платформы предлагают

Поскольку бизнес сталкивается с растущим количеством «грязных» данных, они обращаются к ИИ за решениями. Появляющиеся ИИ-ориентированные платформы теперь автоматизируют процесс очистки данных, обеспечивая экономическую эффективность и повышая точность.

Роберт Джардина, основатель Claritype, одной из таких платформ, объяснил процесс ИИ: «Он объединяет данные в общий формат: часть процесса – конвертировать каждую данную информацию в канонический формат, подходящий для бизнеса».

ИИ Claritype идет дальше простой стандартизации. Надзорная ремонтная функция платформы позволяет организациям пересекать границы систем в поисках ответов на их наиболее срочные вопросы, разрушая барьеры.

«Системы, которые ранее были разделены, каждая из них содержит часть ответа на вопросы, охватывающие весь бизнес», – сказал Джардина Unite AI.

Если ключевой поставщик пострадал от задержки доставки, например, только соединив поставщиков с заказами и историей клиентов, компания может определить, каких из своих лучших клиентов следует первым уведомить о задержке.

«Наша конечная цель – распространить этот взаимосвязанный подход на объединение каждого фрагмента данных в компании, чтобы сделать каждый вопрос легко и немедленно ответить», – сказал Джардина.

Такой взаимосвязанный подход представляет собой более широкую смену мышления, происходящую в компаниях сегодня, когда они переходят от ад хок очистки данных к системному управлению данными. Вместо того, чтобы рассматривать качество данных как разовое решение, организации разрабатывают структурированные процессы, чтобы обеспечить последовательность и надежность во всех своих системах.

Управление данными теперь считается ценным бизнес-процессом, а не просто задачей ИТ. Интегрируя управление данными в свои общие стратегии, фирмы могут принимать лучшие решения и получать более осмысленные идеи из своих данных.

Как ИИ очищает данные и с какими проблемами он сталкивается

Переоценка ИИ может быть опасной. Для Джардины «озабоченные автоматические конверсии данных – это те, которые выходят за рамки стандартизации в догадки».

Например, некоторые сокращения легко могут быть неправильно истолкованы. «International Business Machines, Inc.» или «I.B.M.» обычно конвертируются в «IBM», но если конверсия была автоматизирована и «I.B.» была случайно конвертирована в «IBM», это могло бы вызвать значительные проблемы для обеих компаний.

Отсутствующие и неточные данные – две из наиболее распространенных проблем, и полагаться исключительно на ИИ, чтобы заполнить пробелы в соответствии с контекстом, может легко обернуться неудачей. Как отмечает Джардина, «когда последствия значительны, нам нужен человек, чтобы одобрить каждую догадку».

Балансирование автоматизации с человеческим прозрением

Беспорядочные данные подчеркивают глубокие недостатки в том, как организации обрабатывают информацию. Чтобы двигаться вперед и улучшать принятие решений, бизнес должен перестать рассматривать данные как чисто техническую проблему и перейти к моделям управления, которые сочетают человеческий опыт, этическую осведомленность и долгосрочное стратегическое видение.

Чистые данные создают более эффективный ИИ, который, в свою очередь, помогает улучшить качество данных; этот взаимно-усиливающий цикл перспективен, но служит напоминанием о том, что автоматизация одна не решит нашу проблему с беспорядочными данными. Этот потенциал может быть реализован только путем сочетания алгоритмической точности с человеческим суждением и осознанием предвзятости, которую он может ввести, обеспечивая прозрачность и больше доверия к системам, которые мы строим.

Алекс Сандоваль, генеральный директор компании Allie AI, занимающейся интеллектом производства, также подчеркнул, что генеративные ИИ-копилоты не работают только на алгоритмах, а полагаются на человеческую грамотность в логике фабрики.

«Сегодня наиболее успешные развертывания не только о том, чтобы кормить модели огромными данными контроллера логики (PLC), заметками операторов и протоколами соответствия. Они полагаются на новый тип работников на переднем крае: тех, кто может переводить между поведением машины и цифровым прозрением», – заключил он.