Де мовна модель має зупинитися: як створювати ШІ для нарахування зарплати, вступу до закладів освіти та інших сфер, де помилки дорого коштують

Останні кілька років я впроваджував ШІ у продукти, де неправильна відповідь має свою ціну: платформу на основі ШІ для дотримання вимог щодо нарахування зарплати на австралійському ринку, де помилка позначається на чиємусь банківському рахунку, та продукт для вступу до коледжів, де невдалий вибір може визначити наступні чотири роки життя студента. В обох випадках архітектуру визначало одне й те саме запитання: наскільки далеко можна дозволити зайти мовній моделі, перш ніж її змінить детермінована система?

Помилка трапляється в кожній п’ятій системі нарахування зарплати у США, а середні збитки становлять 291 долар за кожен випадок — без урахування судових витрат. Закон ЄС про штучний інтелект відносить використання ШІ для ухвалення рішень щодо вступу та управління персоналом до категорій високого ризику.

Числа мають визначати правила

Детерміновані правила мають визначати все, що пов’язане з грошовими сумами або юридичними наслідками. Модель лише тлумачить ці правила та пояснює їх — і не робить нічого понад це.

У платформі для нарахування зарплати ми прагнули чітко розмежувати правила розрахунку та ШІ. Спершу фахівці з нарахування зарплати задають правила оплати праці у структурованому форматі. Потім система опрацьовує ці правила й генерує всі можливі сценарії, які з них випливають. Повний набір сценаріїв стає єдиним джерелом достовірної інформації для моделі. Вона не може створювати нові правила, змінювати наявні чи вирішувати, якими джерелами користуватися. Їй дозволено лише знаходити потрібний набір правил, перевіряти таблиці ставок і наводити сценарій, на який вона спиралася. Створення правил, генерування сценаріїв і вибір джерел повністю залишаються поза межами ШІ.

Продукт для вступу працює за тією самою логікою: вимоги щодо місця навчання, бюджетні обмеження, статус закладу та порогові критерії відповідності застосовуються як правила, перш ніж модель зможе вплинути на рейтинг. Якщо студент каже, що має навчатися в коледжі Каліфорнії, заклад з іншого штату не може потрапити до рекомендацій лише тому, що модель вирішила: загалом це вдалий варіант. Модель працює з менш жорсткими побажаннями й поясненнями, а детермінована логіка слугує запобіжником там, де приблизно правильного результату недостатньо.

Пошук доповнює модель, але лише до певної межі

Генерація з доповненням пошуком (RAG) прив’язує відповіді до внутрішніх політик організації, а не до всього, що модель засвоїла під час навчання. Водночас можливості цієї технології перебільшують. Коли дослідницька лабораторія RegLab Стенфордського університету протестувала комерційні інструменти для юридичних досліджень на основі RAG, вони все одно галюцинували у 17–33% випадків. Пошук звужує коло того, що може сказати модель, але вона все одно може помилитися.

Я переконався в цьому на власному досвіді. Якось платформа для нарахування зарплати знайшла правильний нормативний акт про умови праці для конкретного випадку, але модель неправильно витлумачила правила оплати понаднормової роботи. Джерело було правильним, та відповідь — ні. Після цього ми значно суворіше обмежили коло рішень, які модель може ухвалювати самостійно. Важливі правила нарахування зарплати перенесли до явної бізнес-логіки, кожну відповідь потрібно було підтверджувати матеріалами з джерел, а також ми додали тести на основі випадку, у якому сталася помилка. Доступ до потрібної інформації допомагає лише тоді, коли ви також контролюєте, як модель її використовує.

Забезпечте відстежуваність кожної відповіді

Перш ніж згенерувати відповідь, система точно фіксує, який звід правил і яку його версію було використано, а також модель та інші відомості про запит. Твердження, що відповідь ШІ ґрунтувалася на політиці компанії, важко перевірити. Натомість набагато вагомішим доказом є твердження, що її згенеровано на основі версії 7 конкретної угоди, яку збережено і можна порівняти з іншими версіями. Ми також відстежуємо кожен виклик моделі й інструментів: що запитав користувач, які дані було отримано, які інструменти запускалися, що повернула модель і які помилки виникали в процесі. Коли надходить звернення до служби підтримки, ми можемо точно з’ясувати, звідки взялася неправильна відповідь. Рішення 2024 року у справі Air Canada, за яким трибунал зобов’язав авіакомпанію надати знижку, вигадану її чатботом, показує, чим обертається альтернатива.

Залучайте людей там, де є наслідки

У Профілі генеративного ШІ NIST розмежування між діями системи без участі людини та діями, що потребують людського втручання, розглядається як управлінське рішення. Ми передаємо справу людині, якщо система не впевнена у відповіді, якщо інформація суперечлива або якщо рішення може істотно вплинути на користувача. У процесі вступу профілі незвичних студентів і рекомендації, які явно не відповідають обов’язковим вимогам студента, передаються на розгляд консультанта. Завдяки цьому виявляли рекомендації, які на перший погляд здавалися слушними, але не враховували обмеження, зазначене в профілі студента; кожен такий випадок враховували в системі. Жоден із продуктів не ухвалює остаточних рішень самостійно. Перш ніж покладатися на рекомендацію, потрібно отримати висновок консультанта, а кожну розрахункову відомість, сформовану системою нарахування зарплати, позначають як таку, що потребує затвердження, перш ніж її надіслати. Людська перевірка не потрібна для кожного запиту. Мета — впевнено автоматизувати типові випадки й залучати людину, коли є вагомі підстави сумніватися.

Визначте, що модель може робити самостійно вже сьогодні

Для оцінювання будь-якого робочого процесу я застосовую практичний тест. Якщо неправильний результат можна виявити й виправити, перш ніж він дійде до людини, цей етап можна доручити моделі. Якщо відповідь можна перевірити за правилом, рішення визначає правило, а модель його пояснює. Якщо неправильний результат може вплинути на зарплатну виплату чи рішення щодо вступу, перш ніж хтось його перевірить, цей етап ще не готовий до автоматизації.

Мовні моделі — найкращі тлумачі, яких ми коли-небудь залучали до роботи зі збірником правил. У сферах, де помилок не прощають, саме на тлумаченні їм і слід зупинитися.