У 2025 році копілоти GenAI стануть вбивчими додатками, які трансформують бізнес та управління даними

Кожна технологічна революція має визначальний момент, коли певний випадок використання технології призводить до її широкого вжитку. Такий момент настав для генеративного штучного інтелекту (GenAI) з швидким поширенням копілотів.

GenAI як технологія зробила значні кроки за останні кілька років. Однак, попри всі заголовки та гіп, її впровадження компаніями все ще знаходиться на ранніх стадіях. Опитування 2024 Gartner CIO and Tech Executive Survey ставить рівень впровадження на рівні 9% серед опитаних, а 34% заявили, що планують зробити це протягом наступного року. Нещодавнє опитування компанії Enterprise Strategy Group ставить рівень впровадження GenAI на рівні 30%. Однак усі опитування сходяться в одному висновку щодо 2025 року.

Прогноз 1. Більшість підприємств будуть використовувати GenAI у виробництві до кінця 2025 року

Впровадження GenAI вважається критично важливим для підвищення продуктивності та прибутковості та стало одним з найвищих пріоритетів для більшості підприємств. Однак це означає, що компанії повинні подолати виклики, з якими вони зіштовхнулися раніше при реалізації проектів GenAI, включаючи:

• Погана якість даних: GenAI виявляється лише такою ж хорошою, як і дані, які він використовує, і багато компаній все ще не довіряють своїм даним. Якість даних, а також неповні або упереджені дані були проблемами, які призводили до поганих результатів.
• Витрати на GenAI: навчання моделей GenAI, таких як ChatGPT, було здійснено в основному лише найкращими командами GenAI та коштувало мільйонів у витратах на обчислювальну потужність. Тому люди почали використовувати техніку під назвою Retrieval Augmented Generation (RAG). Однак навіть з RAG швидко стає дорого доступ до даних та підготовка експертів, яких потрібно для успіху.
• Обмежені навички: багато з перших розгортань GenAI вимагали великої кількості кодування малими групами експертів GenAI. Хоча ця група зростає, все ще існує реальна нестача.
• Галюцинації: GenAI не досконалий. Він може галюцинувати та давати неправильні відповіді, коли вважає, що він правий. Вам потрібно розробити стратегію для запобігання неправильним відповідям, які можуть вплинути на ваш бізнес.
• Безпека даних: GenAI викрив дані неправильним людям через використання для навчання, налаштування або RAG. Вам потрібно реалізувати заходи безпеки для захисту проти цих витоків.

На щастя, галузь програмного забезпечення займається цими викликами протягом останніх кількох років. 2025 рік виглядає як рік, коли кілька цих викликів починають вирішуватися, і GenAI стає масовим.

Прогноз 2. Модульні RAG-копілоти стануть найпоширенішим використанням GenAI

Найпоширенішим використанням GenAI є створення помічників, або копіlotів, які допомагають людям знайти інформацію швидше. Копілоти зазвичай будуються за допомогою RAG-пайплайнів. RAG – це шлях. Це найпоширеніший спосіб використання GenAI. Оскільки великі мовні моделі (LLM) є загальними моделями, які не мають усіх або навіть останніх даних, вам потрібно доповнювати запити, також відомі як промпти, щоб отримати більш точну відповідь.
Копілоти допомагають працівникам знань бути більш продуктивними, відповідають на раніше невідповідні питання та надають експертні поради, а іноді також виконують рутинні завдання. Можливо, найуспішніший випадок використання копілотів на сьогодні – це те, як вони допомагають розробникам програмного забезпечення кодувати або модернізувати спадковий код.

Однак копілоти повинні мати більший вплив, коли їх використовують поза межами ІТ. Приклади включають:

• У сфері обслуговування клієнтів копілоти можуть отримати запит на підтримку та або ескаліувати до людини для втручання, або надати рішення для простих запитів, таких як скидання пароля або доступ до облікового запису, що призводить до вищого рівня задоволеності клієнтів.
• У виробництві копілоти можуть допомогти технікам діагностувати та рекомендувати конкретні дії або ремонти для складного обладнання, що знижує час простою.
• У сфері охорони здоров’я клініцисти можуть використовувати копілоти для доступу до історії пацієнта та відповідних досліджень, а також для надання допомоги у діагностиці та клінічному догляді, що покращує ефективність та клінічні результати.

RAG-пайплайни в основному працювали однаково. Перший крок – завантаження бази знань у векторну базу даних. Кожного разу, коли людина задає питання, викликається пайплайн GenAI RAG. Він перепроектовує питання у промпт, запитує векторну базу даних шляхом кодування промпту для пошуку найбільш актуальної інформації, викликає LLM з промптом за допомогою отриманої інформації як контексту, оцінює та форматує результати та відображає їх користувачеві.

Однак виявилося, що ви не можете підтримувати всі копілоти однаково добре за допомогою одного RAG-пайплайну. Тому RAG еволюціонував у більш модульну архітектуру під назвою модульний RAG, де ви можете використовувати різні модулі для кожного з багатьох кроків, що включають:

• Індексування, включаючи фрагментацію даних та організацію
• До-вилучення, включаючи інженерію промпту та оптимізацію
• Вилучення з тонкою настройкою та іншими техніками
• Повторне ранжування та відбір після вилучення
• Генерація з тонкою настройкою генератора, використанням та порівнянням декількох LLM та верифікацією
• Оркестрація, яка керує цим процесом та робить його ітеративним для отримання найкращих результатів

Вам потрібно реалізувати модульну архітектуру RAG для підтримки декількох копіlotів.

Прогноз 3. Інструменти GenAI без коду/низького коду стануть шляхом

На цей момент ви можете зрозуміти, що GenAI RAG дуже складний і швидко змінюється. Це не лише те, що нові найкращі практики постійно з’являються. Уся технологія, залучена до пайплайнів GenAI, змінюється так швидко, що вам потрібно буде замінити деякі з них або підтримувати декілька. Крім того, GenAI не лише про модульний RAG. Retrieval Augmented Fine Tuning (RAFT) та повне навчання моделей стають ефективними з точки зору витрат. Ваша архітектура повинна підтримувати всі ці зміни та приховувати складність від ваших інженерів.
На щастя, найкращі інструменти GenAI без коду/низького коду забезпечують цю архітектуру. Вони постійно додають підтримку для провідних джерел даних, векторних баз даних та LLM, а також роблять можливим побудову модульного RAG або введення даних у LLM для тонкої настройки або навчання. Компанії успішно використовують ці інструменти для розгортання копіlotів за допомогою своїх внутрішніх ресурсів.

Nexla не лише використовує GenAI для спрощення інтеграції. Вона включає модульну архітектуру RAG-пайплайну з просунутим фрагментацією даних, інженерією промпту, повторним ранжуванням та відбіром, підтримкою декількох LLM з ранжуванням результатів та відбіром, оркестрацією та іншим – все це налаштовується без кодування.

Прогноз 4. Лінія між копіlotами та агентами зникне

Копілоти GenAI, такі як чат-боти, є агентами, які підтримують людей. У кінцевому підсумку люди приймають рішення про те, що робити з отриманими результатами. Однак агенти GenAI можуть повністю автоматизувати відповіді без участі людей. Це часто називають агентами або агентським AI.

Деякі люди вважають ці два підходи окремими. Однак реальність складніша. Копілоти вже починають автоматизувати деякі базові завдання, опціонально дозволяючи користувачам підтвердити дії та автоматизувати кроки, необхідні для їх завершення.

Очікуйте, що копілоти будуть еволюціонувати з часом у комбінацію копіlotів та агентів. Як і програми допомагають переробляти та оптимізувати бізнес-процеси, помічники повинні та можуть бути використані для автоматизації проміжних кроків завдань, які вони підтримують. Агенти на основі GenAI також повинні включати людей для обробки винятків або затвердження плану, згенерованого за допомогою LLM.

Прогноз 5. GenAI сприятиме впровадженню тканин даних, продуктів даних та відкритих стандартів даних

GenAI очікується як найбільший драйвер змін в ІТ протягом наступних кількох років, оскільки ІТ повинна адаптуватися до того, щоб компанії могли реалізувати повну вигоду від GenAI.

У рамках циклу гіпів Gartner для управління даними 2024 року Gartner ідентифікував 3, і лише 3 технології як трансформаційні для управління даними та для організацій, які залежать від даних: тканини даних, продукти даних та відкриті формати таблиць. Усі три допомагають зробити дані значно більш доступними для використання з GenAI, оскільки вони роблять його легшим для даних, щоб бути використаними цими новими наборами інструментів GenAI.

Nexla реалізувала архітектуру продукту даних, побудовану на тканині даних, з цієї причини. Тканина даних забезпечує уніфікований шар для управління всіма даними однаково, незалежно від відмінностей у форматах, швидкостях або протоколах доступу. Продукти даних створюються для підтримки конкретних потреб даних, таких як RAG.

Наприклад, одна велика фінансова компанія реалізує GenAI для покращення управління ризиками. Вони використовують Nexla для створення уніфікованої тканини даних. Nexla автоматично виявляє схему та генерує конектори та продукти даних. Компанія потім визначає продукти даних для конкретних метрик ризику, які агрегують, очищають та перетворюють дані у правильний формат для реалізації RAG-агентів для динамічного регулювання звітності. Nexla забезпечує контроль управління даними, включаючи лінію даних та контроль доступу, для забезпечення дотримання нормативних вимог. Наша платформа інтеграції для аналітики, операцій, B2B та GenAI реалізована на архітектурі тканини даних, де GenAI використовується для створення повторно використовуваних конекторів, продуктів даних та робочих процесів. Підтримка відкритих стандартів даних, таких як Apache Iceberg, робить його легшим для доступу до все більшої кількості даних.

Як скерувати свій шлях до агентського AI

Як вам слід підготуватися до того, щоб зробити GenAI масовим у вашій компанії на основі цих прогнозів?
По-перше, якщо ви ще не зробили цього, почніть з вашого першого помічника GenAI RAG для ваших клієнтів або працівників. Визначте важливий та відносно простий випадок використання, де у вас вже є правильна база знань для успіху.

По-друге, переконайтеся, що у вас є мала команда експертів GenAI, які можуть допомогти встановити правильну модульну архітектуру RAG з правильними інструментами інтеграції для підтримки ваших перших проектів. Не бійтеся оцінювати нових постачальників з інструментами без коду/низького коду.

По-третє, почніть ідентифікувати ті найкращі практики управління даними, які вам потрібно буде успішно реалізувати. Це не лише включає тканину даних та концепції, такі як продукти даних. Вам також потрібно керувати вашими даними для AI.

Час зараз. 2025 рік – це рік, коли більшість досягне успіху. Не відставайте.