Чим критичнішше рішення, тим менше AI повинна працювати самостійно

Агенти штучного інтелекту явно мають проблему, яка маскується під розмову про їхні переваги. Агент говорить впевнено і пише елегантно, обробляючи інформацію швидше за людину. Це може створити враження, що AI готова працювати автономно. Насправді, як тільки рішення涉нює реальні гроші, очікування клієнтів і довіру, AI не повинна бути автономною системою, оскільки їй усе ще потрібен нагляд дорослих.

Цей урок не був виведений з теорії – його було здобуто через тестування, коли AI розряду люксу була 能на взаємодіяти з реальними клієнтами.

Доброзичливі поради, які можуть бути небезпечними

На ранніх тестах програми управління способом життя, що працює на основі AI, система здавалася вражаючою на перший погляд. Вона могла скласти короткий список ресторанів, запропонувати варіанти розваг, скласти маршрути для місцевих заходів і об’єднати все це у ясні, якісні рекомендації. Але у близько 15% випадків вона просто вигадувала деталі – і робила це досить переконливо, щоб бути правдоподібною.

Є приклад, який зробив цю проблему неможливою для ігнорування: AI порекомендувала ресторан у Дубаї, який був закритий вісім місяців тому. Коли її запитали про це, вона не зволікала і не визнала помилку. Агент посилила свою позицію, вигадавши відгук і посилаючись на нього.

Інший раз агент переплутала вуличний бар з закусками з рестораном, що мав зірку Мішлен, бо назви були дещо схожі. Якби людина не переглянула замовлення, клієнт консьєрж-сервісу міг опинитися на вечері, яка була б зовсім не такою, як планувалося.

Тоді був інцидент з грою у падель. Клієнт запитав про спортивний клуб з кортами для паделю. AI була готова направити його до місця, яке мало тільки тенісні корти. Чому? Бо десь у джерельних даних вона знайшла статтю, яка казала, що корти для паделю планується будувати там, і вона тонко перетворила “планується” на “вже існує”. Саме це робить моделі ризикованим експериментом у сфері послуг: навіть якщо у AI немає повної і точної інформації, вона не зупиняється – вона імпровізує.

Галюцинації AI як загроза бізнесу

Ця проблема жодним чином не обмежується туристичною індустрією – вона лежить у самій реалізації AI.

У чітко визначених параметрах AI працює чудово. Ви можете надати їй структуровані дані, актуальні API, і вона перевершить вас на широкий розрив. Вона буде сортувати справи за сімнадцятьма параметрами, миттєво сканувати правила і генерувати готові до використання чернетки за секунди. Але реальний світ далеко не структурована база даних. Реальність повна випадків на межі, застарілої інформації, двозначних уподобань, нечіткої формулизації і операційних прогалин.

Саме тут галюцинації починають становити бізнес-ризик. Дослідження неодноразово попереджали, що галюцинації можуть миттєво знищити довіру, особливо коли клієнт отримує полішену, але неточну інформацію в момент прийняття рішення. Люди вже широко використовують AI-планувальники, але довіра залишається бідною.

HNWIs як остаточний стрес-тест для AI

Тепер підвищимо ставки.

AI легко справляється зі стандартними завданнями – прикладом такого завдання є бронювання поїздки з Лондона до Дубая: бізнес-клас, чотиризірковий готель на три ночі. Реальний стрес-тест – це завдання від HNWI: це наша річниця. Вона згадала ресторан в Амальфі з синьою дверима. Вона любить піонії, але ненавидить троянди, і вона буде відчувати себе більш комфортно з водієм, який говорить французькою.

Таке прохання звучить елегантно, але з оперативної точки зору це міна. Агент AI, безумовно, запропонує варіанти, але вона також може надати 40% неправильної інформації з повною впевненістю.

Клієнти в сегменті люксу і HNWI швидше розкривають справжні обмеження AI, ніж будь-який тест, оскільки їхні прохання не стандартизовані, а їхні очікування емоційні, контекстно-залежні і високо конкретні. Більшість таких прохань важко верифікувати автоматично.

Крім того, невдача у служінні клієнтам HNWI не закінчиться простим поверненням коштів. Це пошкодить репутацію компанії, оскільки рекомендації і довіра мають вирішальне значення в цьому сегменті.

Наступні працівники справляються з цими галюцинаціями щодня. Вони помічають ресторан, який happens бути закритим у саме той вівторок, коли клієнт прибуває, і швидку п’ятихвилинну прогулянку, яка насправді виявляється двадцятип’ятихвилинною підйомом у гору з багажем. Навчений спеціаліст не пропустить бутик-готель, який виглядає ідеально на фотографіях, але насправді покритий лісами через ремонтні роботи.

Чому фінтех потребує точності, а не швидкості

Ми можемо застосувати ту ж логіку до всього фінтех-сектору. AI може аналізувати продукти, порівнювати варіанти, виявляти аномалії і генерувати рекомендації швидко і ефективно. Але коли мова йде про гроші, немає терпимості до випадкових помилок.

Фінтех-компанії раптом сплачують ціну за рішення, прийняті автоматизацією – у вигляді втраченої довіри клієнтів. Успішні компанії реалізують механізми контролю на ранній стадії, а не вводять їх ретроспективно, коли шкода вже відбулася; правильна модель передбачає нагляд людини.

Додатковий рівень верифікації необхідний між AI і клієнтом – етап, на якому результат ретельно перевіряється і забезпечується. У галузях, де вартість помилки висока, цей рівень стає основою продукту.

Більш корисною концепцією є інфраструктура. AI повинна зосередитися на структурованих завданнях: дослідження, сортування, порівняння і чернетки. У цьому процесі люди повинні приймати остаточні рішення. З часом деякі робочі процеси стануть стабільними enough, щоб бути повністю автоматизованими. На той момент, ймовірно, буде можливо встановити базовий рівень, але це повинно бути зроблено на основі доказів, а не на вірі.

Ці ідеї можуть звучати менш надихаючими, ніж повністю автономне майбутнє, але саме так серйозні компанії в кінцевому підсумку досягнуть успіху.