Якщо ваш AI спотворює реальність, не звинувачуйте AI

“Спотворення реальності” AI – ті переконливі, але хибні відповіді – привертають багато уваги ЗМІ, як у недавній статті New York Times, AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse. Спотворення реальності є справжньою загрозою, коли ви працюєте з споживчим чат-ботом. У контексті бізнес-застосувань AI це ще серйозніша проблема. На щастя, як лідер бізнес-технологій, я маю більший контроль над цим. Я можу забезпечити, щоб агент мав правильні дані для отримання значущої відповіді.

Бо це є справжньою проблемою. У бізнесі немає виправдання для спотворення реальності AI. Перестаньте звинувачувати AI. Звинувачуйте себе за те, що ви не використовуєте AI правильно.

Коли інструменти генеративного AI спотворюють реальність, вони роблять те, для чого вони призначені – надають найкращу відповідь, яку вони можуть, на основі наявних даних. Коли вони вигадують щось, створюючи відповідь, яка не базується на реальності, це тому, що їм бракує відповідних даних, вони не можуть знайти їх або не розуміють питання. Так, нові моделі, як OpenAI’s o3 і o4-mini, спотворюють реальність ще більше, діють ще більш “креативно”, коли у них немає хорошої відповіді на поставлене питання. Так, потужніші інструменти можуть спотворювати реальність ще більше – але вони також можуть давати більш потужні та цінні результати, якщо ми налаштуємо їх для успіху.

Якщо ви не хочете, щоб ваш AI спотворював реальність, не позбавляйте його даних. Надайте AI найкращі, найбільш відповідні дані для вирішення проблеми, яку ви хочете, щоб він вирішив, і він не буде спокушений зайти не туди.

Дажі тоді, коли ви працюєте з будь-яким інструментом AI, я рекомендую зберігати свої критичні думкові навички. Результати, які надають агенти AI, можуть бути продуктивними та приємними, але суть полягає не в тому, щоб вимкнути свій мозок і дозволити програмному забезпеченню робити все думання за вас. Залишайте питання. Коли агент AI дає вам відповідь, запитайте цю відповідь, щоб переконатися, що вона має сенс і базується на даних. Якщо так, це має бути заохочувальним знаком того, що це варто вашого часу, щоб задати подальші питання.

Чим більше ви запитаєте, тим краще інсайти ви отримаєте.

Чому відбувається спотворення реальності

Це не якась загадка. AI не намагається брехати вам. Кожна велика мова модель (LLM) AI по суті передбачає наступне слово або число на основі ймовірності.

На високому рівні того, що відбувається тут, LLMs складають речення та абзаци слово за словом, передбачаючи наступне слово, яке повинно виникнути в реченні на основі мільярдів інших прикладів у його навчальних даних. Предки LLMs (окрім Clippy) були автозаповненням для текстових повідомлень та комп’ютерного коду, автоматизованими інструментами перекладу людської мови та іншими ймовірнісними лінгвістичними системами. З збільшенням потужності обчислень та навчання на інтернет-масштабних обсягах даних ці системи стали “розумними” enough, щоб вести повноцінний діалог через чат, як світ дізнався з появою ChatGPT.

Скептики AI люблять вказувати на те, що це не те саме, що справжня “інтелект”, лише програмне забезпечення, яке може відштовхнути та повторити людський інтелект, який був йому наданий. Запитайте його підсумувати дані у написаному звіті, і він імітує те, як інші письменники підсумовували подібні дані.

Це здається мені академічною дискусією, поки дані правильні та аналіз корисний.

Що відбувається, якщо в AI немає даних? Він заповнює пробіли. Іноді це смішно. Іноді це повний хаос.

Коли ви будуєте агентів AI, це в 10 разів більший ризик. Агенти повинні надавати дієві інсайти, але вони приймають більше рішень по дорозі. Вони виконують багатокрокові завдання, де результат кроку 1 інформує кроки 2, 3, 4, 5, … 10 … 20. Якщо результат кроку 1 неправильний, помилка буде посилена, роблячи вивід на кроку 20 ще гіршим. Особливо, оскільки агенти можуть приймати рішення та пропускати кроки.

Якщо все зробити правильно, агенти досягають більшого для бізнесу, який їх розгортає. Однак, як менеджери продукту AI, ми повинні визнати більший ризик, який супроводжує більшу нагороду.

Що ми зробили правильно:

• Збудуйте агента, щоб він запитував правильні питання та перевіряв, чи має він правильні дані. Зробіть так, щоб початковий процес введення даних агента був фактично більш детермінованим, менш “креативним”. Ви хочете, щоб агент сказав, коли у нього немає правильних даних, і не продовжував до наступного кроку, а не вигадував дані.
• Структуруйте книгу інструкцій для вашого агента – зробіть так, щоб він не вигадував новий план кожного разу, а мав напівструктурований підхід. Структура та контекст надзвичайно важливі на етапі збору та аналізу даних. Ви можете дозволити агенту розслабитися та виступати більш “креативно”, коли у нього є факти та він готовий написати підсумок, але спочатку отримайте факти правильно.
• Збудуйте високоякісний інструмент для витягування даних. Це повинно бути більше, ніж просто виклик API. Візьміть час, щоб написати код (люди все ще це роблять), який робить правильну кількість та різноманітність даних, які будуть зібрані, будуючи перевірки якості у процесі.
• Зробіть так, щоб агент показував свою роботу. Агент повинен цитувати свої джерела та посилатися на те, де користувач може перевірити дані, з оригінального джерела, та дослідити їх далі. Ні найменшої фокусниці!
• Ограждення: Подумайте про те, що може піти не так, та збудуйте захист проти помилок, які ви абсолютно не можете допустити. У нашому випадку це означає, що коли агент, призначений для аналізу ринку, не має даних – яким є наші дані Similarweb, а не якийсь випадковий джерело даних, взятий з вебу – забезпечення того, що він не вигадує щось, є суттєвим захистом. Краще для агента не мати можливості відповісти, ніж надати хибну чи вводючу в оману відповідь.

Ми включили ці принципи у наш останній реліз трьох нових агентів, з більшими, які слідують. Наприклад, наш агент підготовки зустрічей AI для продажників не тільки запитує ім’я цільової компанії, але також деталі щодо мети зустрічі та з ким вона проводиться, готуючи його до надання кращої відповіді. Він не повинен гадати, оскільки він використовує величезний обсяг даних компанії, цифрових даних та профілів виконавців, щоб інформувати свої рекомендації.

Чи наші агенти досконалі? Ні. Ніхто ще не створює досконалий AI, навіть найбільші компанії у світі. Але вирішення проблеми значно краще, ніж її ігнорування.

Хочете менше спотворень реальності? Дайте вашому AI приємний шматок високоякісних даних.

Якщо він спотворює реальність, можливо, це не AI, яке потребує виправлення. Можливо, це ваш підхід до використання цих потужних нових можливостей без вкладення часу та зусиль, щоб зробити все правильно.