Якщо ваш ШІ галюцинує, не звинувачуйте ШІ

«Галюцинації» штучного інтелекту – ці переконливі, але хибні відповіді – привертають багато уваги ЗМІ, як, наприклад, нещодавня стаття в New York Times, Штучний інтелект стає потужнішим, але його галюцинації посилюютьсяГалюцинації становлять реальну небезпеку, коли ви маєте справу зі споживачем-чат-ботом. У контексті бізнес-застосувань штучного інтелекту це ще серйозніше занепокоєння. На щастя, як лідер у сфері бізнес-технологій, я також маю більше контролю над цим. Я можу переконатися, що агент має правильні дані для надання змістовної відповіді.

Бо це справжня проблема. У бізнесі немає виправдання для ШІ галюцинаціїПерестаньте звинувачувати ШІ. Звинувачуйте себе в тому, що неправильно використовуєте ШІ.

Коли генеративний ШІ інструменти галюцинують, вони роблять те, для чого призначені – надають найкращу відповідь, яку можуть, виходячи з наявних даних. Коли вони вигадують щось, створюючи відповідь, яка не ґрунтується на реальності, це тому, що їм бракує відповідних даних, вони не можуть їх знайти або не розуміють питанняТак, нові моделі, такі як o3 та o4-mini від OpenAI, більше галюцинують, діють ще більш «креативно», коли не мають гарної відповіді на поставлене їм питання. Так, потужніші інструменти можуть більше галюцинувати, але вони також можуть давати потужніші та цінніші результати, якщо ми налаштуємо їх на успіх.

Якщо ви не хочете, щоб ваш штучний інтелект мав галюцинації, не моріть його даними. Надавайте штучному інтелекту найкращі та найрелевантніші дані для проблеми, яку ви хочете вирішити, і він не спокуситься збитися зі шляху.

Навіть тоді, працюючи з будь-яким інструментом штучного інтелекту, я рекомендую зберігати свої навички критичного мислення. Результати, які дають агенти штучного інтелекту, можуть бути продуктивними та захопливими, але суть не в тому, щоб відключити свій мозок і дозволити програмному забезпеченню робити все за вас. Продовжуйте ставити запитання. Коли агент штучного інтелекту дає вам відповідь, поставте під сумнів цю відповідь, щоб переконатися, що вона має сенс і підкріплена даними. Якщо так, це має бути обнадійливим знаком того, що варто витратити час на поставлені додаткові запитання.

Чим більше ви запитуєте, тим кращі висновки ви отримаєте.

Чому виникають галюцинації

Це не якась таємниця. Штучний інтелект не намагається вам збрехати. Кожен ШІ на основі моделей великих мов програмування (LLM) по суті передбачає наступне слово чи число на основі ймовірності.

На загальних рисах, LLM об'єднують речення та абзаци по одному слову за раз, передбачаючи наступне слово, яке має зустрітися в реченні, на основі мільярдів інших прикладів у своїх навчальних даних. Предками LLM (окрім Clippy) були підказки автозаповнення для текстових повідомлень та комп'ютерного коду, автоматизовані інструменти перекладу людською мовою та інші ймовірнісні лінгвістичні системи. Завдяки збільшенню обчислювальної потужності методом грубої сили, а також навчанню на обсягах даних масштабу Інтернету, ці системи стали достатньо «розумними», щоб вести повноцінну розмову через чат, як світ дізнався з появою ChatGPT.

Скептики ШІ люблять зазначати, що це не те саме, що справжній «інтелект», а лише програмне забезпечення, яке може дистилювати та вивергати людський інтелект, який у нього вкладено. Попросіть його підсумувати дані у письмовому звіті, і воно імітує те, як інші автори підсумовували подібні дані.

Мені здається, що це академічний аргумент, за умови, що дані правильні, а аналіз корисний.

Що станеться, якщо у ШІ немає даних? Він заповнить прогалини. Іноді це смішно. Іноді це повний безлад.

При будівництві Агенти ІІ, це в 10 разів більший ризик. Агенти повинні надавати практичну інформацію, але вони приймають більше рішень по ходу процесу. Вони виконували багатоетапні завдання, де результат кроку 1 впливає на кроки 2, 3, 4, 5, ... 10 ... 20. Якщо результати кроку 1 неправильні, помилка посилиться, що значно погіршить результат на кроці 20. Особливо, оскільки агенти можуть приймати рішення та пропускати кроки.

За умови правильного виконання агенти досягають більшого для бізнесу, який їх використовує. Однак, як менеджери продуктів штучного інтелекту, ми повинні усвідомлювати більший ризик, який супроводжує більшу винагороду.

Що наша команда і зробила. Ми побачили ризик і впоралися з ним. Ми не просто створили вишуканого робота; ми переконалися, що він працює на правильних даних. Ось що, на мою думку, ми зробили правильно:

• Створіть агента таким чином, щоб він ставити правильні запитання та перевіряти наявність правильних даних. Переконайтеся, що початковий процес введення даних агентом насправді є більш детермінованим, менш «креативним». Ви хочете, щоб агент повідомляв про відсутність правильних даних і не переходив до наступного кроку, а не вигадував їх.
• Структуруйте план дій для вашого агента – переконайтеся, що він не винаходить щоразу новий план, а має напівструктурований підхід. Структура та контекст надзвичайно важливі на етапі збору та аналізу даних. Ви можете дозволити агенту розслабитися та діяти більш «креативно», коли він матиме факти та буде готовий написати короткий виклад, але спочатку правильно визначте факти.
• Створіть високоякісний інструмент для вилучення даних. Це має бути більше, ніж просто виклик API. Виділіть час, щоб написати код (люди досі цим займаються), який зібере потрібну кількість та різноманітність даних, вбудовуючи перевірки якості в процес.
• Змусьте агента показати свою роботу. Агент повинен посилатися на свої джерела та посилання на те, де користувач може перевірити дані з оригінального джерела та дослідити їх далі. Не допускається жодних невдалих спроб!
• Запобіжні заходи: Продумайте, що може піти не так, і вбудуйте захист від помилок, яких ви категорично не можете допустити. У нашому випадку це означає, що коли агент, якому доручено аналізувати ринок, не має даних – під якими я маю на увазі наші дані Similarweb, а не якесь випадкове джерело даних, взяте з Інтернету – переконатися, що вони не вигадують нічого, є важливим запобіжним заходом. Краще, щоб агент не мав змоги відповісти, ніж надати неправдиву або оманливу відповідь.

Ми включили ці принципи до нещодавнього випуску трьох нових агентів, і згодом з’явиться ще більше. Наприклад, наш агент з підготовки зустрічей на базі штучного інтелекту для продавців запитує не лише назву цільової компанії, а й деталі про мету зустрічі та її учасників, що готує його до кращої відповіді. Йому не потрібно здогадуватися, оскільки він використовує величезну кількість даних компанії, цифрових даних та профілів керівників для формування рекомендацій.

Чи ідеальні наші агенти? Ні. Ніхто ще не створює ідеального ШІ, навіть найбільші компанії світу. Але зіткнутися з проблемою набагато краще, ніж ігнорувати її.

Хочете менше галюцинацій? Дайте своєму ШІ гарний шматок висока якість даних.

Якщо у вас галюцинації, можливо, справа не в штучному інтелекті, який потрібно виправити. Можливо, справа у вашому підході до використання цих потужних нових можливостей, не витрачаючи час і зусилля на їх правильне налаштування.