Где должна остановиться языковая модель: как проектировать ИИ для расчета зарплаты, приема в вузы и других сфер, где ошибки обходятся дорого

Последние несколько лет я внедрял ИИ в продукты, где за неверный ответ приходится платить: платформу на базе ИИ для соблюдения требований к расчету зарплаты на австралийском рынке, где ошибка отражается на банковском счете человека, и продукт для поступающих в колледжи, где неудачный выбор может повлиять на следующие четыре года жизни студента. В обоих случаях архитектуру определял один и тот же вопрос: насколько далеко можно позволить зайти языковой модели, прежде чем управление перейдет к детерминированной системе?

В каждой пятой расчетной ведомости в США есть ошибка, средняя стоимость которой составляет 291 доллар, не считая возможных судебных разбирательств. Закон ЕС об искусственном интеллекте относит ИИ, используемый при принятии решений о зачислении и управлении занятостью, к категориям высокого риска.

Поручите правилам определять суммы

Детерминированные правила должны определять все, что связано с денежными суммами или юридическими последствиями, а модели остается лишь интерпретировать эти правила и объяснять их — и ничего больше.

При разработке платформы для расчета зарплаты мы стремились четко разграничить правила расчета и ИИ. Сначала специалисты по расчету зарплаты задают правила оплаты труда в структурированном формате. Затем система обрабатывает эти правила и генерирует все возможные сценарии, которые из них следуют. Полный набор таких сценариев становится единственным источником достоверных данных для модели. Модель не может создавать новые правила, изменять существующие или решать, какие источники использовать. Она может только извлекать нужный набор правил, обращаться к таблицам ставок и указывать сценарий, на который опиралась. Создание правил, генерация сценариев и выбор источников полностью остаются за пределами уровня ИИ.

В продукте для поступающих применяется тот же принцип: требования к местоположению, ограничения по бюджету, статус учебного заведения и пороговые критерии соответствия задаются как правила до того, как модель сможет повлиять на рейтинг. Если студент говорит, что ему необходимо учиться в колледже в Калифорнии, модель не может поставить выше вуз за пределами штата лишь потому, что сочла его в остальном подходящим вариантом. Модель работает с менее жесткими предпочтениями и объяснениями, а детерминированная логика служит защитным барьером везде, где приблизительно правильный ответ неприемлем.

Поиск помогает модели опираться на источники — но лишь до определенного предела

Генерация с дополнением поиском позволяет привязывать ответы к собственным политикам организации, а не к тому, что модель усвоила во время обучения. Но возможности этого подхода также преувеличивают. Когда исследовательская лаборатория RegLab при Stanford проверила коммерческие инструменты для юридических исследований на основе RAG, они по-прежнему галлюцинировали в 17–33% случаев. Поиск сужает круг того, о чем может сказать модель, но она все равно может ошибиться.

Я убедился в этом на собственном опыте. Однажды система на платформе для расчета зарплаты нашла правильный нормативный акт, регулирующий условия труда в конкретном случае, но модель все равно неверно истолковала правила оплаты сверхурочной работы. Источник был найден верно, однако ответ оказался неправильным, и после этого мы гораздо строже ограничили круг решений, которые модель могла принимать самостоятельно. Важные правила расчета зарплаты перенесли в явную бизнес-логику, потребовали подкреплять каждый ответ исходными материалами и добавили тесты на основе случая, в котором система дала сбой. Доступ к нужной информации полезен только в том случае, если контролировать и то, как модель ее использует.

Обеспечьте возможность отследить каждый ответ

Перед формированием ответа система точно фиксирует, какие свод правил и его версия использовались, а также модель и другие сведения о запросе. Утверждение, что ответ ИИ был основан на политике компании, трудно проверить. Гораздо убедительнее указать, что ответ был сгенерирован с использованием версии 7 конкретного соглашения, которое сохранено и которое можно сравнить с другими версиями. Мы также отслеживаем каждый вызов модели и инструмента: что спросил пользователь, какие данные были получены, какие инструменты запускались, что выдала модель и какие ошибки возникали по ходу работы. Когда поступает обращение в службу поддержки, мы можем точно установить, откуда взялся неверный ответ. Решение по делу Air Canada от 2024 года, согласно которому трибунал обязал авиакомпанию предоставить скидку, выдуманную её чат-ботом, показывает, во что обходится отсутствие такого подхода.

Привлекайте человека там, где последствия особенно важны

В Профиле NIST по генеративному ИИ граница между действиями системы без участия человека и действиями, требующими его вмешательства, рассматривается как вопрос управления. Мы передаем дело специалисту, если система не уверена в ответе, если сведения противоречат друг другу или если решение может существенно повлиять на пользователя. При поступлении в вуз необычный профиль студента или рекомендация, которая явно не соответствует его обязательным требованиям, направляются на рассмотрение консультанту. Благодаря этому удается выявлять рекомендации, которые на первый взгляд казались разумными, но не учитывали какое-либо ограничение из профиля студента; каждый такой случай затем помогает улучшить систему. Ни один из продуктов не принимает окончательных решений самостоятельно. Прежде чем полагаться на рекомендацию, необходимо получить мнение консультанта; кроме того, каждый расчетный листок, сформированный системой расчета зарплаты, помечается для проверки и утверждения перед отправкой. Проверка человеком не нужна для каждого запроса. Цель — уверенно автоматизировать типовые случаи и привлекать человека, когда у системы есть веские причины сомневаться.

Какие задачи можно поручить модели уже сегодня

Для любого рабочего процесса я применяю практическую проверку. Если неверный результат можно обнаружить и исправить до того, как он дойдет до человека, этот этап можно поручить модели. Если ответ можно сверить с правилом, решение должно оставаться за правилом, а модель — объяснять его. Если неверный результат может попасть в расчетный листок или повлиять на решение по заявлению до того, как кто-либо его проверит, такой этап пока не готов.

Языковые модели — лучшие толкователи, которых мы когда-либо ставили перед сводом правил. В сферах, где за ошибки приходится расплачиваться, на интерпретации им и следует останавливаться.