3 способа сохранить устаревшие факты в актуальных моделях крупномасштабного языка

Крупномасштабные языковые модели (LLM), такие как GPT3, ChatGPT и BARD, сейчас находятся в центре внимания. Каждый имеет свое мнение о том, как эти инструменты полезны или вредны для общества и что они означают для будущего ИИ. Google подвергся критике за свою новую модель BARD, которая дала неправильный ответ на сложный вопрос (немного). Когда его спросили: “Какие новые открытия с помощью телескопа Джеймса Уэбба можно рассказать моему 9-летнему ребенку?” – чат-бот дал три ответа, из которых 2 были правильными, а 1 был неправильным. Неправильный ответ был о том, что первое изображение “экзопланеты” было сделано телескопом Джеймса Уэбба, что было неверно. Итак, по сути, модель имела неправильный факт, хранящийся в своей базе знаний. Чтобы крупномасштабные языковые модели были эффективными, нам нужно найти способ обновлять эти факты или дополнять их новыми знаниями.

Давайте сначала посмотрим, как факты хранятся внутри крупномасштабной языковой модели (LLM). Крупномасштабные языковые модели не хранят информацию и факты в классическом смысле, как базы данных или файлы. Вместо этого они были обучены на огромных объемах текстовых данных и выучили закономерности и отношения в этих данных. Это позволяет им генерировать ответы, похожие на человеческие, на вопросы, но у них нет конкретного места хранения для полученной информации. Когда модель отвечает на вопрос, она использует свое обучение, чтобы сгенерировать ответ на основе полученного входного сигнала. Информация и знания, которые имеет языковая модель, являются результатом закономерностей, которые она выучила в обучающих данных, а не результатом явного хранения в памяти модели. Архитектура Трансформеров, на которой основаны большинство современных LLM, имеет внутреннее кодирование фактов, используемое для ответа на вопрос, заданный в запросе.

Итак, если факты внутри внутренней памяти LLM неверны или устарели, новая информация должна быть предоставлена через запрос. Запрос – это текст, отправляемый в LLM с вопросом и поддерживающими доказательствами, которые могут быть некоторыми новыми или исправленными фактами. Вот 3 способа подойти к этому.

1. Один из способов исправить закодированные факты LLM – предоставить новые факты, актуальные для контекста, используя внешнюю базу знаний. Эта база знаний может быть API-вызовами для получения актуальной информации или поиском в SQL-, No-SQL- или векторной базе данных. Более продвинутые знания можно извлечь из графической базы знаний, которая хранит сущности данных и отношения между ними. В зависимости от информации, которую запрашивает пользователь, актуальная контекстная информация может быть получена и предоставлена в качестве дополнительных фактов LLM. Эти факты также могут быть отформатированы так, чтобы выглядеть как примеры обучения, чтобы улучшить процесс обучения. Например, вы можете передать набор вопросов и ответов, чтобы модель научилась давать ответы.

2. Более инновационный (и более дорогой) способ дополнить LLM – фактическое тонкое настройка с помощью обучающих данных. Итак, вместо запроса к базе знаний для получения конкретных фактов, мы создаем обучающий набор данных, выбирая образцы из базы знаний. Используя методы обучения с учителем, такие как тонкая настройка, мы можем создать новую версию LLM, обученную на этих дополнительных знаниях. Этот процесс обычно дорогой и может стоить несколько тысяч долларов для создания и поддержки тонко настроенной модели в OpenAI. Конечно, стоимость должна уменьшиться со временем.

3. Другой вариант – использовать методы, такие как обучение с подкреплением (RL), для обучения агента с помощью обратной связи человека и обучения политики ответов на вопросы. Этот метод был очень эффективен в построении более мелких моделей, которые хорошо справляются с конкретными задачами. Например, знаменитый ChatGPT, выпущенный OpenAI, был обучен на комбинации обучения с учителем и RL с обратной связью человека.

В заключение, это высокоэволюционирующая область, в которую каждый крупный компания хочет войти и показать свою дифференциацию. Мы скоро увидим крупномасштабные инструменты LLM в большинстве областей, таких как розничная торговля, здравоохранение и банковское дело, которые могут отвечать в человеческом стиле, понимая нюансы языка. Эти инструменты LLM, интегрированные с корпоративными данными, могут оптимизировать доступ и предоставить правильные данные правильным людям в правильное время.