Почему качество данных решает, будет ли предприятие AI успешным или нет

С момента дебюта OpenAI с ChatGPT в конце 2022 года каждая компания спешит ускорить работу с AI. Большие производители оборудования, такие как Nvidia, продают больше GPU, чем когда-либо, в то время как крупные разработчики моделей, такие как OpenAI и Anthropic, продолжают создавать все более крупные модели.

Однако, даже с самыми передовыми моделями и самыми большими бюджетами, многие проекты AI все равно терпят неудачу. Мы видели, как это происходит в различных отраслях, от здравоохранения до транспорта и финансов. Причина не слишком сложна: AI так хорош, как и данные, на которых он обучен, и которые он получает в режиме реального времени. Когда эти данные плохо помечены, устарели или неполны, ни одна модель не может обеспечить последовательные или достоверные результаты.

И это большая проблема, с которой сталкиваются многие компании сегодня. Они вкладывают большие средства в инструменты AI, в то время как их системы данных остаются разрозненными и ненадежными. Результатом является иллюзия прогресса. Хотя модели производят впечатляющие ответы, идеи часто основаны на слабых основаниях. Реальным барьером для успеха AI не является производительность модели. Это качество данных.

Что такое хорошие данные

Высококачественные данные – это не только точность. Это означает информацию, которая является актуальной, полной и релевантной для проблемы. Представьте себе клиента, пытающегося отменить заказ на сайте электронной коммерции. Система должна проверить детали заказа, статус доставки и запись оплаты. Если какие-либо из этих данных находятся в разных системах, которые не общаются друг с другом, помощник AI не сможет дать полезный ответ.

Хорошие данные соединяют эти точки мгновенно. Они позволяют AI видеть полную картину, а не фрагменты ее. Плохие данные, с другой стороны, заставляют модель угадывать. И когда AI начинает угадывать, он совершает ошибки, которые стоят денег и наносят ущерб доверию. Недавние примеры показывают, насколько опасны такие предположения.

Чат-бот бизнеса Нью-Йорка давал незаконные советы, потому что он черпал из устаревшей или неполной юридической информации. Чат-бот обслуживания клиентов Air Canada делал ложные требования о возврате средств, потому что он не имел контекста из политики компании. Даже крупные системы найма неправильно фильтровали кандидатов из-за предвзятых или неправильно помеченных данных, как видно из первого урегулирования EEOC, связанного с AI. Эти неудачи не только технические. Они репутационные и финансовые, и они исходят из систем AI, которые были обучены на ненадежных данных.

Исследования отрасли подтверждают масштаб этой проблемы. Gartner сообщает, что 80 процентов проектов AI терпят неудачу в масштабе из-за плохого качества данных и управления. Аналогично, опрос MIT Sloan Management Review показал, что проблемы с данными, а не алгоритмами, являются основной причиной краха проектов AI в предприятиях.

Культура важна так же, как и код

Улучшение качества данных – это не то, что можно исправить с помощью одного инструмента или команды. Это требует культурного сдвига. Поэтому лидеры бизнеса должны относиться к данным как к живой системе, которая требует ухода и ответственности. Это не только заявление о том, что вы хотите “улучшить данные” – этого недостаточно. Каждая часть организации должна понимать, как информация движется, кто ее владеет, и что происходит, когда она меняется.

Мы видели, как это происходит в реальных системах. Многие приложения AI полагаются на ночные обновления данных. Если ваша база данных обновляется один раз в день, знания вашей модели всегда будут отставать от реальности. В быстро меняющихся средах этот задержка может означать устаревшие идеи и плохие решения. Компании должны пересмотреть весь поток данных, от того, как информация собирается, до того, как она доставляется в модель.

Хорошо делать это может сэкономить огромное количество времени и средств. Когда конвейеры данных спроектированы с ясностью и целью, системы AI могут учиться и действовать на основе наиболее recentных и релевантных данных. Когда они не спроектированы, команды тратят больше времени на очистку данных, чем на их использование.

Эксперты в управлении данными часто указывают на то, что ключом к сильному качеству данных является обратная связь между людьми, процессами и платформами. Без этой обратной связи информация становится застойной, и модели теряют связь с реальными условиями – проблема, иногда называемая дрейфом данных.

Баланс скорости и целостности

Часто существует напряжение между быстрым движением и сохранением точности. Многие организации хотят немедленных результатов от своих инвестиций в AI, но спешка может привести к большим проблемам позже. Цель должна быть гибкостью данных с целостностью. Другими словами, построение систем, которые могут двигаться быстро без потери точности.

Для этого каждая компания должна определить ясные пути для потока данных из источника в модель в режиме реального времени. Также помогает определить, какой тип информации разрешен, а какой должен остаться вне. Чувствительные или частные данные никогда не должны достигать модели, даже если пользователь технически имеет доступ к ним. Защита этого предела строит доверие и сохраняет системы AI от утечки или неправильного использования информации.

Когда AI становится более автономным, человеческий надзор останется критически важным. Модель не должна иметь полный контроль над бизнес-акциями. Она определенно не должна принимать решения. Вместо этого она должна делать запросы. Более важно, что люди всегда должны проверять и утверждать ее действия, чтобы убедиться, что они соответствуют политике и регулированию компании.

Построение качества с нуля

Сохранение качества данных в масштабе – это не только вопрос исправления ошибок. Это начинается с архитектуры. Вам нужно определить, где живут ваши наиболее надежные данные, затем спроектировать систему, которая объединяет их в одном доверенном месте. Оттуда вы можете отслеживать, какие данные использует модель, и откуда они берутся.

Этот подход предотвращает путаницу и сохраняет систему прозрачной. Он также помогает командам быстрее устранять неполадки, когда что-то идет не так. Когда вы знаете точно, какие данные дали ответ модели, вы можете проверить и исправить проблемы, прежде чем они распространятся.

Будущее корпоративного AI будет принадлежать компаниям, которые встроили качество в свою инфраструктуру по умолчанию. Мы ожидаем увидеть больше готовых систем AI, которые обрабатывают как рассуждение, так и интеграцию данных в одном пакете. Эти “приборы AI” могут сделать его проще для организаций развертывать умные системы, не теряя контроля над своими данными.

Аналитики прогнозируют, что организации, способные объединить и эффективно управлять своими данными, увидят более быструю адопцию и более высокую отдачу от инвестиций в проекты AI. Недавний отчет о готовности данных объясняет, что эта способность отделяет компании, которые постоянно инновируют, от тех, которые застревают после ранних пилотов. Разница часто заключается в том, построены ли их системы AI на последовательной, хорошо структурированной информации.

Итог

Качество данных может не звучать интересно по сравнению с прорывами в проектировании моделей, но это тихая сила, которая решает, будет ли AI успешным или нет. Без чистых, актуальных и последовательных данных даже самые умные системы споткнутся. С ними даже скромные проекты AI могут создать прочную ценность.

Каждый лидер, инвестирующий в AI, должен задать простой вопрос: Доверяем ли мы данным, которые управляют нашими решениями? Судя по тому, что мы видели, компании, которые могут с уверенностью ответить “да”, являются теми, кто уже лидирует в гонке AI.