В 2025 году ко-пилоты GenAI станут убийственным приложением, которое преобразит бизнес и управление данными

Каждая технологическая революция имеет определяющий момент, когда конкретный случай использования толкает технологию в широкое распространение. Это время настало для генеративного ИИ (GenAI) с быстрем распространением ко-пилотов.

GenAI как технология сделала значительные шаги в прошлом году. Однако, несмотря на все заголовки и ажиотаж, ее принятие компаниями все еще находится на ранних стадиях. Опрос 2024 Gartner CIO и Tech Executive Survey оценивает принятие на уровне только 9% опрошенных, при этом 34% заявляют, что планируют сделать это в течение следующего года. Опрос Enterprise Strategy Group оценивает принятие GenAI на уровне 30%. Но все опросы приходят к одному и тому же выводу о 2025 году.

Прогноз 1. Большинство предприятий будут использовать GenAI в производстве к концу 2025 года

Принятие GenAI рассматривается как критически важное для улучшения производительности и прибыльности и стало главным приоритетом для большинства бизнесов. Но это означает, что компании должны преодолеть проблемы, с которыми они столкнулись на данный момент в проектах GenAI, включая:

• Плохое качество данных: GenAI оказывается только таким же хорошим, как и данные, которые он использует, и многие компании все еще не доверяют своим данным. Качество данных, а также неполные или предвзятые данные были проблемами, которые привели к плохим результатам.
• Стоимость GenAI: обучение моделей GenAI, таких как ChatGPT, в основном было сделано только лучшими командами GenAI и стоит миллионы в вычислительной мощности. Поэтому люди используют технику, называемую retrieval augmented generation (RAG). Но даже с RAG, это быстро становится дорогим для доступа и подготовки данных и сбором экспертов, необходимых для успеха.
• Ограниченные навыки: многие из ранних развертываний GenAI требовали много кодирования небольшой группой экспертов в GenAI. Хотя эта группа растет, все еще существует реальный дефицит.
• Галлюцинации: GenAI не идеален. Он может галлюцинировать и давать неправильные ответы, когда он думает, что он прав. Вам нужна стратегия для предотвращения неправильных ответов, которые влияют на ваш бизнес.
• Безопасность данных: GenAI подверг данные опасности, потому что они были использованы для обучения, тонкой настройки или RAG. Вам нужно реализовать меры безопасности для защиты от этих утечек.

К счастью, отрасль программного обеспечения уже несколько лет решает эти проблемы. 2025 год выглядит как год, когда несколько из этих проблем начнут решаться, и GenAI станет мейнстримом.

Прогноз 2. Модульные ко-пилоты RAG станут наиболее распространенным использованием GenAI

Наиболее распространенным использованием GenAI является создание помощников, или ко-пилотов, которые помогают людям находить информацию быстрее. Ко-пилоты обычно строятся с использованием RAG-пipelines. RAG – это путь. Это наиболее распространенный способ использования GenAI. Поскольку большие языковые модели (LLM) являются общими моделями, которые не имеют всех или даже последних данных, вам нужно дополнить запросы, также известные как подсказки, чтобы получить более точный ответ.
Ко-пилоты помогают работникам знаний быть более продуктивными, решать ранее неразрешимые вопросы и предоставлять экспертные рекомендации, а иногда также выполнять рутинные задачи. Возможно, наиболее успешный случай использования ко-пилотов на данный момент – это то, как они помогают разработчикам программного обеспечения кодировать или модернизировать устаревший код.

Но ко-пилоты, как ожидается, будут иметь больший эффект, когда они используются вне ИТ. Примеры включают:

• В обслуживании клиентов ко-пилоты могут получить запрос поддержки и либо эскалировать его к человеку для вмешательства, либо предоставить решение для простых запросов, таких как сброс пароля или доступа к учетной записи, в результате чего повышаются показатели удовлетворенности клиентов.
• В производстве ко-пилоты могут помочь техникам диагностировать и рекомендовать конкретные действия или ремонты для сложного оборудования, снижая время простоя.
• В здравоохранении клиницисты могут использовать ко-пилоты для доступа к истории пациента и соответствующим исследованиям и помочь руководить диагнозом и клинической помощью, что улучшает эффективность и клинические результаты.

RAG-пipelines в основном работали одинаково. Первый шаг – загрузить базу знаний в векторную базу данных. Когда человек задает вопрос, вызывается GenAI RAG-пipeline. Он перестраивает вопрос в подсказку, запрашивает векторную базу данных, кодируя подсказку, чтобы найти наиболее актуальную информацию, вызывает LLM с подсказкой, используя извлеченную информацию как контекст, оценивает и форматирует результаты и отображает их пользователю.

Но оказывается, что вы не можете поддерживать все ко-пилоты одинаково хорошо с помощью одной RAG-пipeline. Итак, RAG эволюционировал в более модульную архитектуру, называемую модульной RAG, где вы можете использовать разные модули для каждого из многих шагов, участвующих в этом:

• Индексирование, включая фрагментацию и организацию данных
• Предварительное извлечение, включая инженерную и оптимизацию подсказок
• Извлечение с тонкой настройкой и другими техниками
• Повторный ранжирование и выбор после извлечения
• Генерация с тонкой настройкой, использованием и сравнением нескольких LLM, и верификацией
• Оркестровка, которая управляет этим процессом и делает его итеративным, чтобы получить лучшие результаты

Вам нужно реализовать модульную архитектуру RAG, чтобы поддержать несколько ко-пилотов.

Прогноз 3. Инструменты GenAI без кода/с низким кодом станут основным способом

К этому моменту вы, возможно, понимаете, что GenAI RAG очень сложен и быстро меняется. Это не только то, что новые лучшие практики постоянно появляются. Все технологии, участвующие в GenAI-пipelines, меняются так быстро, что вам в конечном итоге придется заменить некоторые из них или поддерживать несколько. Кроме того, GenAI не только о модульной RAG. Retrieval Augmented Fine Tuning (RAFT) и полное обучение модели становятся экономически эффективными. Ваша архитектура должна поддерживать все эти изменения и скрывать сложность от ваших инженеров.
К счастью, лучшие инструменты GenAI без кода/с низким кодом предоставляют эту архитектуру. Они постоянно добавляют поддержку ведущих источников данных, векторных баз данных и LLM, и делают возможным построение модульной RAG или подачу данных в LLM для тонкой настройки или обучения. Компании успешно используют эти инструменты для развертывания ко-пилотов, используя свои внутренние ресурсы.

Nexla не только использует GenAI, чтобы сделать интеграцию проще. Он включает модульную архитектуру RAG-пipeline с передовой фрагментацией данных, инженерной и оптимизацией подсказок, повторным ранжированием и выбором, поддержкой нескольких LLM с ранжированием и выбором результатов, оркестровкой и многим другим – все это настроено без кодирования.

Прогноз 4. Граница между ко-пилотами и агентами будет размыта

GenAI-ко-пилоты, такие как чат-боты, являются агентами, которые поддерживают людей. В конце концов, люди принимают решение о том, что делать с сгенерированными результатами. Но GenAI-агенты могут полностью автоматизировать ответы без участия людей. Эти часто называют агентами или агентными ИИ.

Некоторые люди рассматривают это как два отдельных подхода. Но реальность более сложна. Ко-пилоты уже начинают автоматизировать некоторые базовые задачи, опционально позволяя пользователям подтвердить действия и автоматизировать шаги, необходимые для их завершения.

Ожидайте, что ко-пилоты будут эволюционировать со временем в комбинацию ко-пилотов и агентов. Как и приложения помогают переработать и оптимизировать бизнес-процессы, помощники также должны начать использоваться для автоматизации промежуточных шагов задач, которые они поддерживают. GenAI-агенты также должны включать людей для обработки исключений или утверждения плана, сгенерированного с использованием LLM.

Прогноз 5. GenAI будет стимулировать принятие тканей данных, продуктов данных и открытых стандартов данных

GenAI, как ожидается, будет самым большим стимулом изменений в ИТ в течение следующих нескольких лет, потому что ИТ нужно будет адаптироваться, чтобы компании могли реализовать полную выгоду от GenAI.

Как часть Gartner Hype Cycles для управления данными 2024 года, Gartner определил 3, и только 3 технологии как трансформационные для управления данными и для организаций, которые от них зависят: ткань данных, продукты данных и открытые форматы таблиц. Все 3 помогают сделать данные намного более доступными для использования с GenAI, потому что они делают его проще для новых наборов инструментов GenAI.

Nexla реализовал архитектуру продукта данных, построенную на ткани данных, по этой причине. Ткань данных предоставляет унифицированный слой для управления всеми данными одинаково, независимо от различий в форматах, скоростях или протоколах доступа. Продукты данных затем создаются для поддержки конкретных потребностей в данных, таких как для RAG.

Например, одна большая финансовая услуга фирма реализует GenAI для улучшения управления рисками. Они используют Nexla для создания унифицированной ткани данных. Nexla автоматически обнаруживает схему и генерирует соединители и продукты данных. Компания затем определяет продукты данных для конкретных метрик риска, которые агрегируют, очищают и преобразуют данные в правильный формат в качестве входных данных, реализуя агенты RAG для динамического регулирования отчетности. Nexla предоставляет контроль управления данными, включая происхождение данных и контроль доступа, чтобы обеспечить соблюдение нормативных требований. Наша платформа интеграции для аналитики, операций, B2B и GenAI реализована на архитектуре ткани данных, где GenAI используется для создания многоразовых соединителей, продуктов данных и рабочих процессов. Поддержка открытых стандартов данных, таких как Apache Iceberg, делает его проще доступ к большему количеству данных.

Как ко-пилотировать ваш путь к агентному ИИ

Итак, как вы должны подготовиться, чтобы сделать GenAI мейнстримом в вашей компании на основе этих прогнозов?
Во-первых, если вы еще не сделали этого, начните с вашего первого помощника GenAI RAG для ваших клиентов или сотрудников. Определите важный и относительно простой случай использования, где у вас уже есть правильная база знаний, чтобы добиться успеха.

Во-вторых, убедитесь, что у вас есть небольшая команда экспертов GenAI, которые могут помочь установить правильную модульную архитектуру RAG, с правильными инструментами интеграции, чтобы поддержать ваши первые проекты. Не бойтесь оценивать новых поставщиков с инструментами без кода/с низким кодом.

В-третьих, начните определять те лучшие практики управления данными, которые вам понадобятся, чтобы добиться успеха. Это не только включает ткань данных и концепции, такие как продукты данных. Вам также нужно управлять вашими данными для ИИ.

Время настало. 2025 год – это год, когда большинство добьется успеха. Не отставайте.