Лидеры мнений

Прежде чем масштабировать ИИ-агентов, спросите, чего они не знают

Dror Nadler
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыУверенные ответы оказываются неверными, когда агенты опускают контекст, например…
Показать больше
  • Уверенные ответы оказываются неверными, когда агенты опускают контекст, например устаревшие даты подачи документов или различия в фискальном календаре.
  • Почти 6 из 10 компаний обнаружили, что уверенный, но неверный ответ ИИ был вызван отсутствующим или неполным деловым контекстом.
  • Человеческая проверка должна масштабироваться в зависимости от ставок, поскольку правильные данные, переданные неправильно, всё равно могут нарушать нормативные требования.

Представьте: финансовый директор готовится к встрече с крупным институциональным инвестором. Чтобы помочь ему подготовиться, команда по связям с инвесторами (IR) просит инструмент на базе ИИ собрать справочную информацию: дату последней встречи с этой компанией, высказанные приоритеты, количество принадлежащих инвестору акций и так далее.

Инструмент уверенно сообщает, что инвестору принадлежат 2,5 миллиона акций. Никто не сомневается в этом, и финансовый директор продолжает готовиться к важному разговору, не сбавляя темпа.

Но есть нюанс: ИИ взял эту цифру из отчетности по форме Form 13F, в которой указывается размер пакета акций на конец предыдущего квартала. На момент публикации сведения были точными… но теперь они устарели на несколько месяцев. Тем временем инвестор незаметно продал 2 миллиона акций, значительно сократив свою долю. Повестка встречи (а возможно, и сама встреча!) уже не кажется актуальной.

Что пошло не так? В этой ситуации ИИ не галлюцинировал и не выдумывал цифру. Он извлек достоверную информацию, но не уточнил ее актуальность и не объяснил ее ограничения.

В данном случае последствиями могут стать неловкий разговор или упущенная возможность, но в других ситуациях столь же категоричный ответ без важного контекста может повлечь за собой гораздо более серьезные риски.

Более совершенные модели — не обязательно решение

Фундаментальные модели становятся все лучше. Почему же тогда кажется, что уверенные, но неверные ответы встречаются все чаще — и компании из самых разных отраслей не знают, как с этим справиться?

Для начала, генеративный ИИ (GenAI) получил повсеместное распространение. Согласно отчету McKinsey «Состояние ИИ в 2026 году», почти 9 из 10 специалистов отмечают, что их организации регулярно используют ИИ как минимум в одной из сфер деятельности.

По мере того как организации переходят от экспериментов к повседневному использованию ИИ для решения рабочих задач и принятия решений, они все чаще сталкиваются с ограничениями знаний и понимания таких инструментов.

Недавний отраслевой опрос показывает, что часто лежит в основе этой проблемы: только за последние шесть месяцев почти 6 из 10 компаний (57%) связали уверенный, но неверный ответ ИИ-агента с отсутствием или неполнотой контекста о бизнесе.

Учитывая весь объем данных, доступных ИИ, это может показаться неожиданным. Но важно различать две вещи: контекст — это не то же самое, что данные.

Что такое контекст — и чем он не является

Контекст может включать в себя институциональные знания, исключения из правил, взаимоотношения, процессы и ожидания относительно того, как организована работа, — нюансы, которые часто уникальны для каждой компании.

Работая с командами по связям с инвесторами, я вижу, насколько важными могут быть эти различия. Вот несколько примеров, которые на первый взгляд кажутся простыми:

  • Финансовые календари: Первый квартал финансового года одной компании может совпадать с календарным годом, тогда как у другой он начинается в сентябре. Без этого контекста ИИ-агент может сравнить результаты за неверные отчетные периоды.
  • Финансовые показатели: Организация может отчитываться о прибыли на акцию как по GAAP, так и по не-GAAP. Агент, который не понимает, какой показатель следует приводить и когда, может неверно представить результаты деятельности компании.
  • Корпоративные нарративы: Со временем меняются формулировки, которыми компания описывает свою деятельность, отражая осознанные решения о том, что следует подчеркнуть, а что опустить. Не понимая предыстории и причин таких решений, ИИ-агент может создавать контент, который фактически подрывает тщательно выстроенный нарратив.

Учитывая все это, неудивительно, что одна и та же базовая модель может выдавать совершенно разные результаты в разных компаниях — в зависимости от доступного ей контекста и специализированных знаний.

Специализированный ИИ, созданный для конкретной отрасли (так называемый вертикальный ИИ), может помочь устранить некоторые пробелы, учитывая специфические знания, рабочие процессы и нюансы той или иной сферы. Но даже самые совершенные технологии не способны охватить все знания организации — поэтому важна и роль человека.

Чего ИИ не знает о вашем бизнесе

Но люди не остаются на своих местах навсегда. Представьте, что опытный специалист по связям с инвесторами (IRO) увольняется из компании после, скажем, пяти лет работы. Вероятно, за это время он выявлял потенциальных инвесторов и выстраивал работу с ними, анализировал действия акционеров, развивал отношения, готовился к публикации финансовых результатов и помогал готовить к ней руководителей… и делал еще многое другое.

В компании остаются сценарии выступлений по итогам финансовых периодов, презентации и другие файлы. А институциональные знания, которые за ними стоят? Значительная их часть тоже уходит вместе с сотрудником, особенно если учесть, что почти у восьми из десяти специалистов по связям с инвесторами (78%) нет определенного преемника.

Поэтому организациям необходимо приложить усилия, чтобы сохранить знания и понимание рабочих процессов в форме, доступной для систем ИИ. Простого подключения ИИ-агента к общему диску часто недостаточно.

Для компаний из самых разных отраслей важно иметь возможность систематически фиксировать ключевые знания и рабочие процессы — например, логику важных решений, историю взаимоотношений и другую критически важную для деятельности информацию, которая так и не попала в официальные документы.

Но для создания такой базы знаний нужны люди: они и фиксируют информацию, и применяют к ней собственное суждение. ИИ помогает упорядочивать знания, однако необходимый контекст, который технология часто упускает, обеспечивают сотрудники.

В ситуациях с высокими ставками пробелы в контексте могут дорого обойтись

Мы уже говорили о том, что происходит, когда ИИ дает неверный ответ. Но иногда ИИ-агент может найти верную информацию — точную, актуальную и относящуюся к делу — и все же создать проблемы, поделившись ею не при тех обстоятельствах.

В отраслях со строгим регулированием такие ошибки обходятся особенно дорого.

Например, в сфере связей с инвесторами раскрытие существенной непубличной информации (MNPI), такой как еще не опубликованные финансовые результаты, аналитику или инвестору может нарушить правило Комиссии по ценным бумагам и биржам США о добросовестном раскрытии информации (Reg FD), что потенциально грозит финансовыми санкциями и ущербом для репутации.

В других отраслях — например, в здравоохранении, финансовом и юридическом секторах — существуют аналогичные регуляторные риски. Это подчеркивает необходимость защитных ограничений, когда ИИ-агентам доступна конфиденциальная информация.

Это также показывает, почему участие людей по-прежнему крайне важно: они должны проверять и утверждать передаваемую информацию. Компаниям стоит соотносить степень человеческого контроля с уровнем риска и предусматривать разную степень автономности для разных типов рабочих процессов с ИИ.

Три вопроса, которые стоит задать, прежде чем масштабировать использование ИИ-агентов

Наверное, каждому из нас случалось на работе или в обычной жизни не знать о том, чего мы не знаем. Иногда последствия несущественны, а иногда — гораздо серьезнее.

Сегодня ИИ располагает огромными массивами данных, и модели знают гораздо больше… но им все равно нужно «сигнализировать», когда в знаниях есть пробелы. Поэтому, прежде чем масштабировать применение ИИ для решения более стратегических задач и выполнения рабочих процессов, компаниям важно задать себе следующие вопросы:

  • Может ли наш агент указать, откуда он взял ответы и когда эта информация обновлялась в последний раз? Может ли он сообщить это без отдельного запроса?
  • Располагает ли агент необходимым контекстом о бизнесе, чтобы правильно истолковывать запросы и отвечать на них? Укажет ли он на свои ограничения?
  • Понимаем ли мы, когда необходимо вмешательство человека для проверки и утверждения? При каких обстоятельствах это произойдет и как будет инициироваться проверка?

Решение не в том, чтобы отказываться от ИИ

Хочу сразу прояснить: я с оптимизмом смотрю на перспективы ИИ. Я использую его каждый день в своей работе, вижу нынешние и будущие преимущества и считаю, что во многом мы только начинаем раскрывать потенциал ИИ. Не сомневаюсь, что компании, избегающие ИИ, а также те, кто не сумеет внедрить его организованно и эффективно, действительно рискуют отстать.

Но внедрение ИИ не означает, что нужно предоставить универсальной модели доступ к корпоративным данным и позволить ей действовать как вздумается.

Сейчас, насколько я могу судить, полностью автономный ИИ подходит не для каждой рабочей задачи и не для каждого решения. Организациям нужно понимать, где ИИ может действовать самостоятельно, где ему требуется дополнительный контекст, а где человеческое суждение обязательно.

Поэтому, прежде чем спрашивать, что знает ИИ-агент, спросите, чего он не знает. Ответы помогут определить, как его внедрять, какие задачи ему можно доверить и как создать условия для его успешной работы.

Dror Nadler — директор по продукту компании Q4 Inc., где он руководит разработкой продуктовой стратегии и инновациями, помогая командам по связям с инвесторами эффективнее использовать ИИ, данные и технологии. За его плечами более 25 лет опыта в сфере корпоративных технологий, SaaS и финансовых услуг; ранее он занимал руководящие должности в Intralinks, Cellrox, Rapid7 и EMC. На протяжении всей карьеры Dror занимался разработкой и масштабированием технологических продуктов, внедрением инноваций и ускорением роста бизнеса. Он получил степень Executive MBA в Boston University, степень магистра в области информационных технологий в Harvard University и юридическое образование в Reichman University.