Наведение порядка в наших неструктурированных данных: как искусственный интеллект меняет правила игры.

Мы тонем в потоке данных. Каждая платформа, умные часы и смартфон разбивают нашу жизнь на поддающиеся количественной оценке фрагменты, но большая часть этих данных остается бессвязной и непригодной для использования. 

Компании это понимают, поэтому технологический гигант Meta инвестиций Прошлым летом компания приобрела 49% акций стартапа Scale AI, занимающегося разметкой данных, за 14 миллиардов долларов США, совершив продуманный и стратегический шаг для обеспечения высококачественных обучающих данных для своих моделей искусственного интеллекта.

Надежность больших языковых моделей полностью зависит от качества данных, которые им предоставляются — проще говоря, «мусор на входе, мусор на выходе». Однако сегодня настоящая проблема, с которой сталкиваются компании, заключается в превращении потока необработанной информации в данные, пригодные для принятия решений. 

Решение может скрываться на виду: сам ИИ может помочь, разрабатывая стратегии, позволяющие обойти утомительную задачу маркировки огромных массивов данных или прочесывания бесконечных электронных таблиц, превращая хаос в полезный человеческий интеллект. 

Когда данные становятся неструктурированными: скрытые издержки для компаний.

По оценкам Исследование Gartner Начиная с 2020 года, низкое качество данных обходится организациям как минимум в 12.9 миллионов долларов США в год, влияя на производительность и приводя к принятию необоснованных решений и неточной отчетности. 

Последствия некачественных данных особенно очевидны в таких секторах, как здравоохранение. Неполные медицинские карты, неточности в платежных данных и несоответствие информации в разных системах могут привести к ошибочным диагнозам, ошибкам в лечении и неэффективному распределению ресурсов. В долгосрочной перспективе это приводит к росту затрат и подрывает доверие к этим системам.

Между тем, в логистике несоответствие данных между поставщиками и дистрибьюторами может привести к задержкам или нехватке товаров на складе. Неверный адрес доставки или устаревшая информация о наличии товара могут иметь волновой эффект по всей цепочке поставок, приводя к срыву сроков и недовольству клиентов. 

«Благодаря возможности предвидеть или понимать, что может произойти [на маршруте] – на основе объединенных данных за прошлые периоды – можно действительно сократить эти неэффективности». Аспарух Коевгенеральный директор компании, занимающейся логистическим искусственным интеллектом. Трансметрикаотметили в ходе разговора с Объединить ИИ.

В более практическом плане, некачественные данные обходятся дорого. Правило 1-10-100 иллюстрирует это: проверка данных при вводе стоит 1 доллар, их последующая очистка — 10 долларов, а если ничего не предпринимать — 100 долларов.

Что могут предложить платформы на основе искусственного интеллекта?

Поскольку предприятия сталкиваются с растущим объемом некачественных данных, они обращаются к искусственному интеллекту за решениями. Новые платформы на базе ИИ автоматизируют процесс очистки данных, обеспечивая экономическую эффективность и повышая точность.

Роберт Джардина, Основатель КларитипОдна из таких платформ объяснила процесс работы ИИ: 

«Это позволяет привести данные в единый формат: часть процесса заключается в преобразовании каждой единицы данных в канонический формат, подходящий для бизнеса». 

Однако искусственный интеллект Claritype выходит за рамки простой стандартизации. Функция контролируемого восстановления данных на платформе позволяет организациям преодолевать системные барьеры в поисках ответов на самые насущные вопросы, разрушая разрозненность данных. 

«Системы, которые ранее были разделены, содержат в себе часть ответов на вопросы, касающиеся всего бизнеса», — сказал Джардина. Объединить ИИ. 

Например, если ключевой поставщик столкнулся с задержкой доставки, компания сможет определить, кого из своих основных клиентов следует уведомить о задержке в первую очередь, только сопоставив поставщиков с заказами и историей клиентов.

«Наша конечная цель — распространить это взаимосвязанное мышление на объединение всех фрагментов данных в масштабах предприятия, чтобы мы могли легко и быстро отвечать на любые вопросы», — сказал Джардина. 

Такое взаимосвязанное мышление отражает более масштабные изменения в мышлении, происходящие сегодня в компаниях в процессе перехода от... специальный От очистки данных к систематическому управлению данными. Вместо того чтобы рассматривать качество данных как разовое решение, организации разрабатывают структурированные процессы для обеспечения согласованности и надежности всех своих систем.

Управление данными сегодня рассматривается не просто как рутинная ИТ-задача, а как ценный бизнес-процесс. Интегрируя управление данными в свои общие стратегии, компании могут принимать более обоснованные решения и получать более ценные аналитические данные.

Как ИИ очищает данные и с какими проблемами он сталкивается.

Чрезмерная зависимость от ИИ может быть опасна. По мнению Джардина, «вызывают беспокойство автоматизированные преобразования данных, которые выходят за рамки стандартизации и превращаются в догадки». 

Например, некоторые сокращения легко могут быть неправильно истолкованы. Надписи типа «International Business Machines, Inc.» или «IBM», как правило, преобразуются в «IBM», но если преобразование автоматизировано и «IB» случайно преобразуется в «IBM», это может создать серьезные проблемы для обеих компаний.

Отсутствие и неточность данных — две наиболее распространенные проблемы, и полагаться исключительно на ИИ для заполнения пробелов в соответствии с контекстом может легко привести к обратному результату. Как отмечает Джардина, «когда последствия становятся хоть сколько-нибудь значительными, нам нужен человек, который подтвердит каждое предположение». 

Баланс между автоматизацией и человеческим пониманием

Некачественные данные выявляют серьезные недостатки в том, как организации обрабатывают информацию. Для дальнейшего развития и улучшения процесса принятия решений предприятиям необходимо перестать рассматривать данные как чисто технический вопрос и перейти к моделям управления, которые сочетают в себе человеческий опыт, этическую осведомленность и долгосрочное стратегическое видение. 

Более чистые данные создают более эффективный ИИ, который, в свою очередь, помогает улучшить качество данных; этот взаимоусиливающий цикл многообещающ, но служит напоминанием о том, что одной лишь автоматизации недостаточно для решения проблемы некачественных данных. Этот потенциал может быть реализован только путем сочетания алгоритмической точности с человеческим суждением и осознанием предвзятости, которую она может вносить, обеспечивая прозрачность и большее доверие к создаваемым нами системам.

Алекс СандовалГенеральный директор компании, занимающейся разработкой искусственного интеллекта для производственных предприятий, Элли ИИТакже было подчеркнуто, что генеративные ИИ-помощники работают не только на основе алгоритмов, но и полагаются на способность человека понимать логику фабрики. 

«Сегодня наиболее успешные внедрения заключаются не только в передаче моделям огромных объемов данных от программируемых логических контроллеров (ПЛК), записей операторов и протоколов соответствия. Они зависят от нового типа работника на передовой: того, кто может переводить поведение машины в цифровую интуицию», — заключил он.