Промпт-инжиниринг

Генеративный ИИ в финансах: FinGPT, BloombergGPT и дальше

mm
Добавьте Unite.AI в избранные источники в Google
Generative AI in Finance

Генеративный ИИ относится к моделям, которые могут генерировать новые образцы данных, похожие на входные данные. Успех ChatGPT открыл многие возможности в различных отраслях, вдохновив предприятия на разработку своих собственных крупномасштабных языковых моделей. Финансовый сектор, движимый данными, теперь стал еще более интенсивным, чем когда-либо.

Я работаю в качестве специалиста по данным в французской финансовой компании. Будучи там более года, я недавно наблюдал значительный рост использования моделей крупномасштабного языкового моделирования (LLM) во всех отделах для автоматизации задач и создания надежных, безопасных систем ИИ.

Каждая финансовая служба стремится создать свои собственные тонко настроенные модели LLM, используя открытые модели, такие как LLAMA 2 или Falcon. Особенно это касается старых банков, которые имеют десятилетия финансовых данных.

До сих пор было нецелесообразно включать это огромное количество данных в одну модель из-за ограниченных вычислительных ресурсов и менее сложных/низкопараметрических моделей. Однако эти открытые модели с миллиардами параметров теперь могут быть тонко настроены на большие объемы текстовых данных. Данные – это топливо для этих моделей; чем больше данных, тем лучше результаты.

И данные, и модели LLM могут сэкономить банкам и другим финансовым услугам миллионы, повышая автоматизацию, эффективность, точность и многое другое.

Недавние оценки McKinsey предполагают, что этот генеративный ИИ может предложить годовые экономии до 340 миллиардов долларов только для банковского сектора.

BloombergGPT и экономика генеративного ИИ

В марте 2023 года Bloomberg представил BloombergGPT. Это языковая модель, построенная с нуля с 50 миллиардами параметров, предназначенная специально для финансовых данных.

Чтобы сэкономить деньги, иногда нужно потратить деньги. Обучение моделей, таких как BloombergGPT или Meta’s Llama 2, не дешево.

Обучение модели Llama 2 с 70 миллиардами параметров потребовало 1 700 000 часов GPU. На коммерческих облачных сервисах использование Nvidia A100 GPU (NVDA ) (используемой для Llama 2) может стоить 1-2 доллара за каждый час GPU. Если сделать расчет, модель с 10 миллиардами параметров может стоить около 150 000 долларов, а модель с 100 миллиардами параметров может стоить до 1,5 миллиона долларов.

Если не арендовать, покупка GPU напрямую является альтернативой. Однако покупка около 1000 A100 GPU для создания кластера может стоить более 10 миллионов долларов.

Инвестиции Bloomberg в размере более миллиона долларов особенно интересны на фоне быстрого развития ИИ. Удивительно, что модель, стоившая всего 100 долларов, смогла превзойти производительность BloombergGPT всего за полгода. Хотя обучение BloombergGPT включало проприетарные данные, подавляющая часть (99,30%) их набора данных была публично доступна. И появляется FinGPT.

FinGPT

FinGPT – это передовая финансовая тонко настроенная крупномасштабная языковая модель (FinLLM). Разработанная AI4Finance-Foundation, FinGPT в настоящее время превосходит другие модели как по стоимости, так и по точности в целом.

В настоящее время у нее есть 3 версии; серия FinGPT v3 – это модели, улучшенные с помощью метода LoRA, и они обучены на новостях и твитах для анализа настроений. Они показывают лучшие результаты во многих финансовых тестах настроений. FinGPT v3.1 построен на основе модели chatglm2-6B, а FinGPT v3.2 основан на модели Llama2-7b.

 

FINGPT

FINGPT

Операции FinGPT:

  1. Источники данных и инженерия:
    • Сбор данных: Используя данные из авторитетных источников, таких как Yahoo, Reuters и другие, FinGPT объединяет огромный массив финансовых новостей, охватывающих акции США до акций Китая.
    • Обработка данных: Эти сырые данные проходят несколько стадий очистки, токенизации и инженерии запросов, чтобы обеспечить их актуальность и точность.
  2. Крупномасштабные языковые модели (LLM):
    • Обучение: Используя отобранные данные, LLM можно тонко настроить для создания легковесных моделей, адаптированных к конкретным потребностям, а также можно адаптировать существующие модели или API для поддержки приложений.
    • Стратегии тонкой настройки:
      • Слои тензоров (LoRA): Одной из ключевых проблем в разработке моделей, таких как FinGPT, является получение высококачественных помеченных данных. Признавая эту проблему, FinGPT采用 инновационный подход. Вместо того, чтобы полагаться исключительно на традиционное помечание, колебания цен акций на рынке используются в качестве меток, переводя настроения новостей в осязаемые метки, такие как положительные, отрицательные или нейтральные. Это приводит к значительному улучшению предсказательной способности модели, особенно в различении положительных и отрицательных настроений. С помощью методов тонкой настройки, таких как LoRA, FinGPT v3 смог оптимизировать производительность, уменьшив вычислительную нагрузку.
      • Обучение с подкреплением от человеческой обратной связи: FinGPT использует “RLHF (обучение с подкреплением от человеческой обратной связи)“. Этот функционал отсутствует в BloombergGPT, RLHF обеспечивает модель LLM возможностью различать индивидуальные предпочтения – будь то риск-аппетит пользователя, инвестиционные модели или настраиваемые настройки робо-советника. Этот метод, который является краеугольным камнем как ChatGPT, так и GPT4, обеспечивает более адаптированный и интуитивно понятный пользовательский опыт.
  3. Применения и инновации:
    • Робо-советник: Как опытный финансовый советник, FinGPT может анализировать настроения новостей и прогнозировать рыночные тенденции с большой точностью.
    • Количественная торговля: Определяя настроения из различных источников, от новостных изданий до Twitter, FinGPT может разработать эффективные торговые стратегии. На самом деле, даже когда направляется только настроениями Twitter, она демонстрирует перспективные торговые результаты.
FinGPT сравнение с ChatGLM, LLAMA 2, BloombergGPT

FinGPT сравнение с ChatGLM, LLAMA 2, BloombergGPT

Текущая траектория и будущее FinGPT: Июль 2023 года стал важной вехой для FinGPT. Команда представила исследовательскую работу под названием “Instruct-FinGPT: финансовый анализ настроений с помощью инструктивного обучения крупномасштабных языковых моделей“. Центральным в этой работе является изучение инструктивного обучения, метода, позволяющего FinGPT выполнять сложные финансовые анализы настроений.

Но FinGPT не ограничивается только анализом настроений. На самом деле, есть 19 других различных применений, каждое из которых обещает использовать LLM в новых способах. От инженерии запросов до понимания сложных финансовых контекстов FinGPT устанавливает себя как универсальную модель генеративного ИИ в финансовой области.

Как глобальные банки принимают генеративный ИИ

Хотя начало 2023 года увидело некоторых из основных финансовых игроков, таких как Bank of America (BAC ), Citigroup и Goldman Sachs, которые ввели ограничения на использование OpenAI’s ChatGPT своими сотрудниками, другие участники отрасли решили принять более принимающую позицию.

Morgan Stanley (MS ), например, интегрировал чат-боты, работающие на OpenAI, в качестве инструмента для своих финансовых советников. Используя внутренние исследования и данные фирмы, эти чат-боты служат обогащенными источниками знаний, повышая эффективность и точность финансового консультирования.

В марте этого года хедж-фонд Citadel пытался договориться о лицензии на ChatGPT для всей компании. Предполагаемая реализация предполагает укрепление таких областей, как разработка программного обеспечения и сложный анализ информации.

JPMorgan Chase также вкладывает усилия в использование крупномасштабных языковых моделей для обнаружения мошенничества. Их метод заключается в использовании шаблонов электронной почты для выявления потенциальных компрометаций. Не останавливаясь на этом, банк поставил амбициозную цель – добавить до 1,5 миллиарда долларов стоимости с помощью ИИ к концу года.

Что касается Goldman Sachs, они не совсем устойчивы к привлекательности ИИ. Банк изучает силу генеративного ИИ для укрепления своей области программной инженерии. Как Марко Аргенти, главный информационный директор Goldman Sachs, говорит, такая интеграция имеет потенциал превратить их рабочую силу в нечто “сверхчеловеческое“.

Применения генеративного ИИ в банковской и финансовой отрасли

Генеративный ИИ в финансах ПРИМЕНЕНИЯ

Генеративный ИИ в финансах ПРИМЕНЕНИЯ

Генеративный ИИ фундаментально меняет финансовые операции, принятие решений и взаимодействие с клиентами. Вот подробное исследование его применений:

1. Предотвращение мошенничества: Генеративный ИИ находится на переднем крае разработки передовых механизмов обнаружения мошенничества. Анализируя огромные объемы данных, он может выявить сложные закономерности и аномалии, предлагая более активный подход. Традиционные системы, часто перегруженные огромным объемом данных, могут производить ложные положительные результаты. Генеративный ИИ, в отличие от этого, постоянно совершенствует свое понимание, снижая ошибки и обеспечивая более безопасные финансовые транзакции.

2. Оценка кредитного риска: Традиционные методы оценки кредитоспособности заемщика становятся устаревшими. Модели генеративного ИИ через различные параметры – от кредитных историй до тонких поведенческих закономерностей – предлагают всесторонний профиль риска. Это не только обеспечивает более безопасное кредитование, но и обслуживает более широкий круг клиентов, включая тех, кто может быть недооценен традиционными метриками.

3. Усиление взаимодействия с клиентами: Финансовый мир переживает революцию в обслуживании клиентов, благодаря моделям генеративного ИИ, работающим на основе обработки естественного языка. Эти модели способны понимать и отвечать на различные запросы клиентов, предлагая персонализированные решения оперативно. Автоматизируя рутинные задачи, финансовые учреждения могут сократить расходы, оптимизировать операции и, самое главное, повысить удовлетворенность клиентов.

4. Персонализированные финансовые услуги: Одно-размер-подходит-всем – это реликт прошлого. Сегодня клиенты требуют финансового планирования, адаптированного к их уникальным потребностям и стремлениям. Генеративный ИИ преуспевает в этом. Анализируя данные – от моделей расходов до инвестиционных предпочтений – он создает индивидуальные финансовые карты. Этот комплексный подход обеспечивает, что клиенты лучше информированы и более подготовлены к навигации в своих финансовых перспективах.

5. Алгоритмическая торговля: Аналитические возможности генеративного ИИ доказывают свою ценность в волатильном мире алгоритмической торговли. Анализируя данные – от рыночных тенденций до настроений новостей – он предоставляет проницательные идеи, позволяя финансовым экспертам оптимизировать стратегии, предвидеть рыночные сдвиги и смягчить потенциальные риски.

6. Укрепление рамок соблюдения: Регуляции по борьбе с отмыванием денег (AML) имеют решающее значение для поддержания целостности финансовых систем. Генеративный ИИ упрощает соблюдение, просеивая через сложные транзакционные данные, чтобы выявить подозрительную деятельность. Это не только обеспечивает, что финансовые учреждения придерживаются глобальных стандартов, но и значительно снижает вероятность ложных положительных результатов, оптимизируя операции.

7. Кибербезопасность: С постоянно эволюционирующими киберугрозами финансовый сектор нуждается в гибких решениях. Генеративный ИИ предлагает именно это. Реализуя динамические прогностические модели, он позволяет обнаруживать угрозы быстрее, укрепляя финансовые инфраструктуры против потенциальных нарушений.

Однако, как и в случае с любой развивающейся технологией, генеративный ИИ также имеет свой набор проблем в финансовой отрасли.

Проблемы

  1. Усиление предвзятости: Модели ИИ, как бы они ни были сложными, все еще полагаются на данные, сгенерированные человеком. Эти данные, с их врожденными предвзятостями – будь то намеренными или нет – могут привести к смещенным результатам. Например, если определенная демографическая группа недопредставлена в обучающем наборе, последующие выводы ИИ могут увековечить это упущение. В секторе, таком как финансы, где справедливость и равенство имеют первостепенное значение, такие предвзятости могут привести к тяжелым последствиям. Финансовые лидеры должны быть активными в выявлении этих предвзятостей и обеспечении того, чтобы их наборы данных были как можно более полными и представительными.
  2. Надежность вывода и принятие решений: Генеративный ИИ иногда может производить результаты, которые одновременно неверны и вводят в заблуждение – часто называемые “галлюцинациями“. Эти промахи несколько ожидаемы, поскольку модели ИИ совершенствуются и учатся, но последствия в финансах, где точность неоспорима, являются тяжелыми. Полагаться исключительно на ИИ для критических решений, таких как одобрение кредитов, является рискованным. Вместо этого ИИ должен рассматриваться как сложный инструмент, помогающий финансовым экспертам, а не заменяющий их. Он должен обрабатывать вычислительную нагрузку, предоставляя идеи для человеческих профессионалов, чтобы принимать окончательные, обоснованные решения.
  3. Конфиденциальность данных и соблюдение: Защита конфиденциальных данных клиентов остается значительной проблемой при применении генеративного ИИ. Обеспечение того, чтобы система соответствовала глобальным стандартам, таким как Общий регламент по защите данных (GDPR) и Закон о конфиденциальности потребителей Калифорнии (CCPA), имеет решающее значение. ИИ может не знать или уважать эти границы, поэтому его использование должно быть умерено строгими руководящими принципами защиты данных, особенно в финансовом секторе, где конфиденциальность имеет первостепенное значение.
  4. Качество входных данных: Генеративный ИИ только так хорош, как данные, которые ему предоставлены. Неправильные или неполные данные могут непреднамеренно привести к низкокачественному финансовому совету или решениям.

Заключение

От улучшения торговых стратегий до укрепления безопасности применения генеративного ИИ являются обширными и трансформирующими. Однако, как и в случае с любой технологией, важно подходить к его принятию с осторожностью, учитывая этические и конфиденциальные последствия.

Те учреждения, которые успешно используют возможности генеративного ИИ, одновременно уважая его ограничения и потенциальные ловушки, безусловно, определят будущую траекторию глобальной финансовой арены.

Я провел последние пять лет, погружаясь в увлекательный мир машинного обучения и глубокого обучения. Моя страсть и экспертиза привели меня к участию в более чем 50 различных проектах программной инженерии, с особым акцентом на ИИ/МО. Мое непрекращающееся любопытство также привело меня к обработке естественного языка, области, которую я с нетерпением жду возможности изучить дальше.