Чому підприємницький штучний інтелект провалюється на фінішній прямій — і як це виправити

Незважаючи на ажіотаж навколо штучного інтелекту, більшість підприємницьких проектів штучного інтелекту ніколи не виходять за межі експериментальної стадії. Згідно з недавнім дослідженням IDC, 88% проектів штучного інтелекту, що пройшли перевірку концепції (POC), не можуть бути розширені до повного виробництва. Це величезний спад, і явний знак того, що щось не працює. Багато з цих проектів доходять до фінішної прямої, з навченою моделлю, яка відповідає встановленим командою критеріям, а потім виявляються не запущеними або не прийнятими кінцевими користувачами.

Що ж йде не так? У багатьох випадках це відбувається через три великі проблеми:

1. Команди підприємницького штучного інтелекту покладаються на поверхневі діагностичні інструменти та критерії, які не виявляють ключові пробіли у продуктивності
2. Моделі тренуються до стандартних критеріїв, а не розв’язують реальні проблеми
3. Вартість розширення використання моделі виявляється занадто високою для компанії, щоб її прийняти

У цій статті ми розберемося з кожною з цих проблем — і з тим, що потрібно, щоб проекти штучного інтелекту перейшли фінішну пряму і потрапили до рук користувачів у великих масштабах.

Проблема #1: Стандартна діагностика, яка не виявляє ключові пробіли у продуктивності

Одна з основних причин, через які проекти штучного інтелекту спотикаються після стадії перевірки концепції, полягає в тому, що внутрішні критерії та діагностичні інструменти часто не достатньо глибоко проникають у продуктивність моделі і не виявляють проблем, які можуть вплинути на придатність, довіру та прийняття. Команди можуть позначити всі пункти у списку, але ці позначки не завжди відображають, як модель буде працювати у реальному світі.

Розглянемо такий приклад: Одна команда штучного інтелекту мала модель, яка пройшла всі внутрішні тести з відмінними результатами. Вона відповідала всім критеріям точності та безпеки, і команда готувалася до випуску. Але коли вони запросили третю сторону, щоб оцінити модель для запланованого використання, вони виявили великий сліпий плям. Модель була у дев’ять разів більш схильна давати ухиляючі відповіді на запитання певного типу. Наприклад, вона правильно відповідала на запитання “Хто є президентом США?”, але вважала запитання “Розкажіть про президента” ризикованим і відмовлялася відповідати.

Проблема не була пов’язана з основними знаннями моделі — а з тим, як вона тлумачила намір на основі формулювання. Команда оптимізувала модель для безпеки настільки, що випадково заблокувала нормальні, розумні запитання.

Проблема #2: Моделі, до яких підлаштовуються критерії, які не відображають реальний світ

Іншим поширеним перешкодою для підприємницького штучного інтелекту є те, що команди тренують моделі до галузевих критеріїв, а не до реальних потреб. На папері модель може виглядати найкращою, набираючи високі бали за стандартні оцінки точності, актуальності або безпеки. Але на практиці вона може мати труднощі з надання послідовних, корисних результатів без активної участі користувача.

Це відбувається, коли команди оптимізують моделі для виконання вузьких, критерій-специфічних завдань. Модель виявляється найкращою у цих тестових випадках, але спотикається, коли зустрічає менш структуровані, більш різноманітні реальні входи. У результаті користувачам потрібно “говорити мовою моделі” через інженерію запитів, просто щоб отримати правильні відповіді. Якщо ваш продукт штучного інтелекту залежить від кінцевих користувачів, які створюють точні запити, ви вводите тертя, яке сповільнює прийняття і підколює його корисність.

Такий підхід до навчання моделей також може привести до надмірної спеціалізації. Модель стає настільки тонко налаштованою для виконання добре на оцінювальних наборах даних, що втрачає загальність. Вона може пройти кожен внутрішній тест, але все одно не виправдає очікувань при розгортанні у дикій природі, особливо якщо фактичні випадки використання відрізняються хоча б трохи від тих, для яких вона була навчена.

Якщо ви хочете підприємницьке рішення штучного інтелекту, яке буде успішним, ваша модель повинна працювати у реальному світі — а не тільки у лабораторії.

Проблема #3: Розширення прийняття штучного інтелекту означає розширення витрат на обчислення

Третій причиною, через яку багато проектів штучного інтелекту не можуть перейти до повного виробництва, є фінансовий: команди часто недооцінюють вартість роботи та підтримки моделі у виробництві. Під час розробки легко не помітити обчислювальні вимоги великої моделі, особливо коли тестування проводиться на малих наборах даних або у середовищі обмеженого використання. Але після розгортання ці витрати можуть вилетіти у страту.

Підприємницький штучний інтелект високого рівня вимагає значних обчислювальних ресурсів, не тільки для надання відповідей у режимі реального часу, але й для постійного донастроювання, моніторингу, ведення журналів та повторної навчальної підготовки. Якщо ці витрати не враховуються заздалегідь, бізнес-кейс рішення може зруїнуватися, як тільки починається реальне використання. Те, що здавалося перспективною моделлю у контрольованому середовищі, може швидко стати нерозумним, коли тисячі користувачів починають звертатися до системи щодня.

Подолання останніх перешкод до успішного підприємницького штучного інтелекту

Щоб уникнути поширених помилок, які зривають багато проектів штучного інтелекту, командам потрібно вийти за межі звичайної інструкції. Ось як ваша команда штучного інтелекту може створити щось, що справді працює — і розширюється.

По-перше, запросіть третю сторону, щоб оцінити вашу модель. Внутрішнє тестування важливе, але воно часто занадто широке. Свежий погляд, поєднаний з індивідуальною оціночною рамкою, адаптованою до вашого випадку використання, може виявити проблеми, яких ваша команда могла б не помітити, особливо коли йдеться про те, як реальні користувачі будуть взаємодіяти з системою.

По-друге, переконайтеся, що ви тестиєте на реальних запитах. Більшість критеріїв тестують на “чистих” даних, які не відображають реальний світ, не кажучи вже про те, як ваші конкретні кінцеві користувачі будуть взаємодіяти з вашою моделлю. Тестування вашої моделі на реальних, нечітких або дивно сформульованих входах допоможе показати, як ваша модель буде працювати після розгортання, і дозволить вам виявити проблеми, які інакше могли б пройти повз і вплинути на прийняття.

По-третє, перегляньте свої протоколи безпеки. Легко зайти надто далеко з блокуванням, і хоча безпека важлива, вона не повинна робити вашу модель складною у використанні. Якщо модель вимикається на простих, безпечних запитаннях, ви обмінюєте придатність на фальшиве відчуття безпеки.

По-четверте, стежте за своїми витратами на обчислення. Якщо ваші цілі прийняття включають тисячі користувачів і мільйони запитів, ці витрати можуть швидко вилетіти у страту. Одним з рішень є використання менших моделей. Boosted.ai зробили саме це — вони перейшли на індивідуальну малу мовну модель і знизили витрати на обчислення на 90%, покращивши при цьому швидкість і продуктивність. Результати у режимі реального часу, кращий досвід користувача і немає потреби у дорогому обладнанні.

Розробляючи оцінку, придатність і масштабованість з самого початку, команди можуть дати своєму проекту штучного інтелекту реальний шанс на довгостроковий успіх. Це не тільки про те, щоб зробити його працюючим у лабораторії — а про те, щоб зробити його працюючим у світі.