Ендрю Міссі, технічний директор і співзасновник Convos – Серія інтерв’ю

Ендрю Міссі, технічний директор і співзасновник Convos, є програмістом і лідером продукту з досвідом у сфері розробки продуктів штучного інтелекту, програмної архітектури, мережевих технологій та інженерії повного циклу. До заснування Convos він допомагав розробляти та запускати дві платформи, що працюють на основі штучного інтелекту, для творчих та маркетингових цілей у компанії Forum3, поєднуючи практичну інженерію з технічним управлінням продуктом. Його попередні ролі в компаніях N-able (NABL ), Autoshop Solutions та Brand IQ включали будівництво фронтенд-додатків, бекенд-систем, клієнтських панелей та внутрішніх програмних інструментів за допомогою технологій, таких як Svelte, NestJS, Angular та JavaScript. Цей багатопрофільний досвід дозволив йому поєднати технічну реалізацію з продуктовою стратегією під час керівництва розробкою платформи Convos, що працює на основі штучного інтелекту.

Convos – це контрольована платформа для текстових повідомлень, що працює на основі штучного інтелекту, розроблена для того, щоб допомогти політичним кампаніям та компаніям з комунікаціями замінити одностороннє масове повідомлення на персоналізовані двосторонні розмови з виборцями у великих масштабах. Платформа перетворює відповіді на аналіз настрою в режимі реального часу, класифікацію тем, результати звернень до дії, метрики залучення та структуровані відомості про виборців, які кампанії можуть використовувати для уточнення своєї діяльності. Її закрита система штучного інтелекту працює в межах затверджених кампаніями матеріалів та обмежень повідомлень, забезпечуючи функції, такі як сегментація контактів, історії розмов, відстежування посилань, експорт даних та аудиторські сліди, орієнтовані на дотримання вимог. Convos також може доповнювати існуючу інфраструктуру текстових повідомлень організації, а не вимагати заміни існуючих систем комунікації.

Ви стали співзасновником Convos після спостереження за тим, як політичне та організаційне текстове повідомлення стало в основному односторонньою комунікацією. Яка була первинна ідея, яка переконала вас у можливості перетворення масового текстового повідомлення на розмови, що працюють на основі штучного інтелекту, і які були найбільшими технічними проблемами, з якими ви зіткнулися під час будівництва платформи?

Ця ідея виникла з того, що я сам був на приймаючому кінці.

Навколо виборів 2024 року я був завалений політичними текстовими повідомленнями, як і багато інших людей. В якийсь момент я почав відповідати на них. Я ставив питання або відповідав, але ніколи нічого не поверталося.

Мені це здавалося величезною втраченою можливістю. Людина на іншому кінці вже була залучена. Вона ставила справжнє питання. Але жодної відповіді ніколи не надсилалося.

Таким чином, ідея Convos була простою. Перетворити трансляцію на справжню розмову у великих масштабах, без необхідності великої кількості людей для її обслуговування.

Найбільші технічні проблеми зводилися до трьох речей: масштабу, затримки та дотримання вимог.

Масштаб – це очевидна річ. Ви керуєте тисячами розмов одночасно, і кожна з них має свою власну стан та історію. Затримка має значення більше, ніж люди очікують. Якщо хтось відповідає на текстове повідомлення, а відповідь займає занадто багато часу, момент втрачено. Текстові повідомлення здаються майже миттєвими, і досвід має відповідати цьому.

Дотримання вимог було найскладнішою частиною, і ми пріоритезували це з самого початку. Політичне текстове повідомлення сильно регулюється, і помилка тут недопустима. Багато нашої початкової інженерії пішло на те, щоб система залишилася в межах повідомлення та поважала згоду та відмови у спосіб, який далеко перевищує просте виявлення слова “СТОП”.

Convos працює на перетині розмовного штучного інтелекту, великомасштабного повідомлення та аналізу настрою в режимі реального часу. Які уроки ви вивчили з розгортання систем штучного інтелекту, які повинні займатися тисячами людей одночасно, залишаючись персоналізованими та автентичними?

Найбільший урок полягає в тому, що “персоналізований у великих масштабах” – це щось, за що потрібно інженерувати. Це не відбувається автоматично.

Коли ви керуєте тисячами розмов одночасно, спокуса полягає в тому, щоб розглядати їх як одну велику партію. Але людина, яка отримує текстове повідомлення, не турбується про вашу партію. Для неї це одна з одним обмін, і воно повинно відчуватися саме так. Це означає, що кожна розмова повинна нести свій власний контекст та історію, щоб відповідь дійсно відповідала тому, що сказав конкретна людина, а не середньому значенню всіх.

Ми також вивчили, що потрібно уважно стежити за тим, що люди нам насправді кажуть. Відповідь – це не просто відповідь. Вона несе настрій. Хтось може відповісти питанням, з ентузіазмом, з розчаруванням або з явним сигналом, що вони хочуть бути залишені в спокої. Правильне читання цих нюансів – це те, що робить або розбиває взаємодію.

Врешті-решт, автентичність виникає з того, що ви слухаєте, а не з того, що ви звучите розумно. Найлюдянішою розмовою є та, яка відповідає на справжнє питання та поважає час людини.

Ви стверджували, що багато організацій надто сильно зосереджені на бенчмарках моделей, одночасно ігноруючи особистість та стиль комунікації. Чому ви вважаєте, що особистість стає критичним фактором у розгортуванні штучного інтелекту в підприємствях, і як організації повинні оцінювати її?

Бенчмарки вимірюють здатність. Вони не вимірюють відповідність.

Модель може показати дуже хороші результати на розумінні або кодуванні, але все одно бути неправильним вибором для розмови з виборцем. Так, як вона формулює речі, наскільки тепла або формальна вона звучить, чи знає, коли бути короткою, все це має величезне значення, коли справжня людина знаходиться на іншому кінці.

У нашому світі модель не розв’язує математичну проблему. Вона представляє кампанію у текстовому повідомленні. Кожна кампанія має свій власний голос, і модель повинна відповідати йому, а не нав’язувати свій власний. Якщо тон неправильний, це не має значення, наскільки розумною є базова модель. Взаємодія провалюється.

Є також здатність сторони до цього, яку бенчмарки пропускають. Кампанія може надати агенту детальні вказівки щодо того, що сказати, чого уникнути та як обробляти певні теми. Модель повинна слідувати всьому цьому, послідовно, протягом довгої розмови. Деякі моделі значно кращі за інші в утриманні складних інструкцій без відхилення в середині розмови. Ця здатність також є частиною особистості, оскільки модель, яка звучить добре, але перестає слідувати своїм інструкціям, не є тією, яку можна поставити перед справжніми людьми.

Це саме той момент, коли особистість стає справжнім фактором у розгортуванні підприємств. Коли моделі стають більш здатними в цілому, розрив у сирій здатності між ними звужується. Що залишається, це характер. Як вони спілкуються, і чи залишаються вони в межах, які ви встановили.

Способом оцінити це є не таблиця лідерів. Це тестування моделей на вашому фактичному випадку використання, з вашим фактичним вмістом, та читання виводів так, як це робить ваш кінцевий користувач. Ми проходимо моделі через саме той тип обмінів, з якими вони будуть мати справу в продуктивному режимі, і судимо їх щодо того, чи розмова відчувається правильно. Це говорить вам набагато більше, ніж будь-який бенчмарк-рахунок.

Ваша команда протестувала кілька провідних моделей і спостерігала значні відмінності в тому, як вони виконують різні завдання. Що ви вивчили про сильні та слабкі сторони сучасних великомасштабних мовних моделей, і чому деякі з них краще підходять для розмовної роботи, ніж інші?

Що ми вивчили, так це те, що немає єдиного найкращого моделі. Є тільки найкраща модель для певної роботи.

Деякі моделі відмінно слідують інструкціям точно, що має значення, коли система повинна залишатися в межах суворих меж. Деякі з них сильніші в природному, розмовному тоні. Деякі з них швидші, що є своєю власною силою, коли затримка є частиною досвіду. Інші краще розбираються через складний запит, але відчуваються негибкими або займають занадто багато часу для відповіді в неформальному обміні.

Для розмовної роботи конкретно якості, які мають значення, не завжди є тими, які потрапляють в заголовки. Швидкість має значення. Послідовність має значення. Знання про те, коли бути коротким, має значення. Модель, яка пише красиву трипарagraфну відповідь, часто є неправильним вибором, коли правильна відповідь – це одне речення.

Нічого з цього не видно на таблиці лідерів. Ви тільки вивчіте це, поставивши моделі перед фактичною роботою та звернувши увагу на те, як вони справляються з цим.

Багато компаній усе частіше приймають стратегії, що включають кілька моделей, а не покладаються на одного постачальника штучного інтелекту. Які переваги будівництва систем, які можуть перемикатися між моделями, і які архітектурні考虑и необхідні для того, щоб зробити це можливим?

Основна перевага полягає в тому, що ви не блоковані.

Якщо ви будуєте все навколо одного постачальника, ви успадковуєте всі їх обмеження. Їх ціни, їх обмеження швидкості, їх затримку, їх збої та їх графік випуску стають вашими. Підхід, що включає кілька моделей, дозволяє вам маршрутизувати кожне завдання до моделі, яка з ним справляється найкраще, і дає вам можливість піти в інше місце, коли один постачальник має поганий день.

Це також дозволяє вам відповідати витратам до роботи. Не кожна взаємодія потребує вашої найбільш потужної та найдорожчої моделі. Можливість відправляти просту роботу на легшу модель і збереження потужної моделі для складних випадків робить справжню різницю у великих масштабах.

Архітектура – це те, що робить це можливим, і ключовим рішенням є будівництво абстрактного шару між вашим додатком і будь-якою конкретною моделлю. Ваш система не повинна говорити безпосередньо з API постачальника через весь код. Вона повинна говорити з вашим власним внутрішнім інтерфейсом, і цей інтерфейс вирішує, яка модель фактично обробляє запит.

Як тільки у вас це є, ви можете додати логіку маршрутизації, запасні варіанти, коли постачальник виходить з ладу, і можливість перемикатися між моделями без переписування вашого додатку. Вам також потрібно послідовне оброблення підказок і виводів через моделі, оскільки кожна з них поводиться трохи по-різному, і ваша система повинна згладжувати ці відмінності.

Це більше роботи з самого початку. Але це купує вам гнучкість, яку дуже важко додати пізніше.

Ви нещодавно підкреслили, як швидко моделі штучного інтелекту еволюціонують, з новими випусками, які іноді змінюють характеристики продуктивності в несподіваних способах. Як підприємства повинні балансувати бажання приймати останні моделі з необхідністю стабільності, надійності та передбачуваної продуктивності?

Чесна відповідь полягає в тому, що нова модель не є оновленням, поки ви не доведете, що це так.

Кожен випуск цікавий, і є справжній тиск на прийняття останньої речі відразу. Але ми бачили, як нові моделі змінюють поведінку способами, яких ми не очікували. Щось, що працювало надійно, починає реагувати трохи по-різному, і в продуктивній системі ці маленькі зміни накапичуються.

Способом, яким ми з цим справляємося, є простий. Жодна модель не потрапляє до нашого конвеєра, поки ми не протестували її самостійно. Коли виходить новий випуск, ми не приймаємо бенчмарки або оголошення за слово. Ми сідаємо та проходимо його через його кроки на саме той тип розмов, з яким він буде справлятися в продуктивному режимі, і читаємо виводи самостійно.

Цей ручний крок не є необов’язковим для нас. Модель може виглядати краще на папері, але обробляти справжню розмову в спосіб, з яким ми не комфортні ставити перед виборцями. Єдиний спосіб знати – це поставити її в самі ситуації, з якими справляється наша система щодня, і побачити, як вона фактично реагує.

Це ще один випадок, коли абстрактний шар заробляє свій хліб. Оскільки наш додаток не залежить від однієї конкретної моделі, ми можемо принести новий випуск, протестувати його проти розмов, з якими справляється наша система, і порівняти його чесно з тим, що ми вже запускаємо.

Якщо він проходить бар’єр, ми перемикаємося. Якщо ні, ми чекаємо.

Галюцинації залишаються однією з найбільших бар’єрів для прийняття штучного інтелекту в підприємствах, особливо коли моделі працюють з великими наборами даних та складною інформацією. Які практичні техніки виявилися найбільш ефективними в зменшенні галюцинацій у продуктивному середовищі?

Найбільш ефективною технікою, яку ми знайшли, є обмеження того, що модель дозволена знати.

Багато галюцинацій виникають з того, що запитують модель відповісти з її власних загальних знань, де вона буде щасливо заповнювати пробіли чимось, що звучить правильно. Ми робимо протилежне. Наш штучний інтелект працює строго з інформацією, наданою кампанією. Він не має доступу до відкритого інтернету, і він не черпає з якоїсь невизначеної пам’яті світу.

Якщо відповідь не міститься в матеріалі, яке було надано, правильна відповідь полягає в тому, щоб сказати, що вона не має цієї інформації. Ця одна межа видаляє величезну кількість ризику.

Ми не зупиняємося там, хоча. У нас є кілька перевірок, щоб переконатися, що відповідь відповідає інформації, наданій кампанією. Навіть після того, як модель генерує відповідь, ця відповідь перехресно перевіряється проти інформації кампанії, перш ніж вона піде куди-небудь. Якщо щось не збігається, воно не відправляється.

Поза цим практичні техніки полягають в ґрунтуванні та обмеженні. Надайте моделі конкретний, актуальний контекст, який їй потрібен для завдання перед нею, а не величезну недиференційовану купу даних. Чим більш зосереджена інформація, тим менше місця для відхилення.

Ми також встановлюємо чіткі обмеження на те, що система дозволена робити та сказати, і ми стежимо за справжніми розмовами, а не припускаємо, що все в порядку. Ви не ловите проблеми, довіряючи моделі. Ви ловите їх, спостерігаючи за виводом.

У регульованому просторі, як політичне текстове повідомлення, вигадана відповідь є зобов’язанням, тому ми спроектували систему так, щоб вона віддавала перевагу прозорості над здогадками.

Як організації розгортають агентів штучного інтелекту по підтримці клієнтів, комунікаціям, маркетингу та операціям, які помилки ви бачите команди повторно роблять під час переходу від пілотних проектів до розгортування у великих масштабах?

Помилка, яку я бачу найчастіше, полягає в тому, що команди перевіряють, чи працює їх агент, але не чи можуть його зламати.

Я не можу порахувати, скільки разів компанія випускала агент штучного інтелекту, і протягом дня хтось в інтернеті виробляв його так, щоб він говорив щось, чого він ніколи не повинен був говорити. Його виводили з інструкцій, обманювали, щоб він пішов з сценарію, або маніпулювали, щоб він представляв бренд таким чином, що закінчувався скріншотом, який всі передавали.

Це відбувається тому, що під час пілотного проекту всі поводяться добре. Ви тестуєте агента з розумними людьми, які ставлять розумні питання, і все виглядає добре. Продуктивність – це протилежність. Момент, коли щось стає публічним, частина людей, які з ним розмовляють, активно намагається його зламати.

Якщо ви не протестували на цей випадок, ви не протестували його справді. Ви повинні спробувати зламати свою власну систему, перш ніж хтось інший це зробить. Поштовхніть її, надайте їй дивні та ворожі входи, і побачите, чи вона тримає свої межі, коли хтось намагається працювати проти неї.

Інша повторювана помилка полягає в тому, що демоверсія, яка працює, не є системою, яка працює. Пілотний проект – це кілька спостережуваних розмов на щасливому шляху. Продуктивність – це тисячі людей у всі години, які поводяться способами, яких ви не очікували, і крайні випадки, які ви відмахнулися, стають щоденними подіями у великих масштабах.

Моя порада полягає в тому, щоб витратити менше часу на вдосконалення демоверсії та більше часу на спроби зламати саму річ. Якщо вона не може пережити вашу атаку, вона не переживе публічності.

Агенти штучного інтелекту стають усе більш здатними займатися розмовами, які раніше вимагали людського персоналу. Де ви бачите баланс між автоматизацією та людським наглядом за наступні п’ять років, і які робочі процеси, на вашу думку, повинні завжди залишати людину в ланцюзі?

Це складна справа, і я не думаю, що хтось справді знає, де лежить лінія за п’ять років. Способом, яким я про це думаю, справжня цінність штучного інтелекту полягає в тому, що він є множником сили.

Команди, які отримують найбільшу вигоду з цих інструментів, використовують їх саме так. Штучний інтелект займає обсяг і повторення, а люди витрачають свій час на судження, стратегію та ситуації, які справді потребують людини. Це зовсім інша мета, ніж спроба прибрати людей з картини.

Коли мета полягає в чистій заміні, ви схильні тягнути технологію за межі того, що вона насправді добре робить, і вона виходить з ладу способами, які є видимими та дорогими. Коли мета полягає в тому, щоб помножити людей, ви дозволяєте штучному інтелекту робити те, що він робить добре, і тримаєте людей там, де вони додають найбільшу цінність. Другий підхід працює краще, і він більш чесний щодо того, де насправді знаходиться технологія сьогодні.

За наступні п’ять років я очікую, що агенти займуть більшу частину рутинної розмовної роботи, і їм слід це робити. Ця робота не потребує людини, яка спостерігає за кожним словом.

Робочі процеси, які повинні завжди залишати людину в ланцюзі, – це ті, де ставки високі або ситуація справді нова. Все, що торкається згоди, дотримання вимог або рішення, яке буде важко скасувати. Людина повинна володіти напрямком, а штучний інтелект повинен допомогти їм охопити набагато більше території, ніж вони могли б інакше.

Оглядаючи вперед, які розробки в розмовному штучному інтелекту вас найбільш цікавлять, і як ви бачите еволюцію платформ, таких як Convos, коли моделі стають більш здатними, багатомодальними та автономними?

Це те, що мене найбільш цікавить, – розмови будуть продовжувати покращуватися.

Когда моделі покращуються, обміни, з якими справляється наша платформа, стають більш природними та корисними без того, щоб нам потрібно було перебудовувати основу щоразу. Оскільки ми спроектували систему так, щоб вона могла перемикатися між моделями, ми отримуємо можливість принести ці покращення, коли вони стають доступними.

Багатомодальність – це розвиток, за яким я найуправніше спостерігаю. Наразі розмова відбувається через текст. Коли моделі починають краще обробляти зображення та інші формати, є справжня можливість зробити ці обміни багатшими, залишаючи при цьому миттєвість, яка робить текстове повідомлення ефективним.

Щодо автономності, я оптимістичний, але обережний. Більш здатні агенти випускаються щомісяця, і вони зможуть займатися багатьма речами самостійно. Але в регульованому просторі більша автономність повинна приходити з більшою дисципліною, а не меншою. Межі мають значення більше, коли здатність зростає.

Я зайнявся цим, тому що я був людиною, яка текстувала у порожнечу та нічого не отримувала у відповідь. Це все ще проблема, яка мені найбільше турбує. Незалежно від того, наскільки здатними стають ці моделі, міра, до якої я повертаюся, проста. Чуває людина на іншому кінці, що її чують?

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Convos.