Prompt engineering

Sztuczna inteligencja generatywna w finansach: FinGPT, BloombergGPT i więcej

mm
Dodaj Unite.AI do preferowanych źródeł w Google
Generative AI in Finance

Sztuczna inteligencja generatywna odnosi się do modeli, które mogą generować nowe przykłady danych podobne do danych wejściowych. Sukces ChatGPT otworzył wiele możliwości w różnych branżach, inspirując przedsiębiorstwa do zaprojektowania własnych dużych modeli językowych. Sektor finansowy, napędzany danymi, jest teraz jeszcze bardziej intensywny pod względem danych niż kiedykolwiek wcześniej.

Pracuję jako naukowiec danych w francuskiej firmie świadczącej usługi finansowe. Przez ponad rok obserwuję znaczny wzrost przypadków użycia dużych modeli językowych we wszystkich działach do automatyzacji zadań i budowy solidnych, bezpiecznych systemów AI.

Każda usługa finansowa stara się wytworzyć własne dopasowane duże modele językowe przy użyciu modeli open-source, takich jak LLAMA 2 lub Falcon. Szczególnie banki, które mają dziesięciolecia danych finansowych.

Do tej pory nie było możliwe uwzględnienie tak ogromnej ilości danych w jednym modelu ze względu na ograniczone zasoby obliczeniowe i mniej złożone/mało-parametryczne modele. Jednak te modele open-source z miliardami parametrów mogą być dopasowane do dużych zbiorów danych tekstowych. Dane są paliwem dla tych modeli; im więcej danych, tym lepsze wyniki.

Obydwa, dane i modele LLM, mogą zaoszczędzić bankom i innym usługom finansowym miliony poprzez zwiększenie automatyzacji, wydajności, dokładności i więcej.

Ostatnie szacunki McKinsey sugerują, że ta sztuczna inteligencja generatywna może zapewnić roczne oszczędności do 340 miliardów dolarów dla sektora bankowego samym.

BloombergGPT & Ekonomia Sztucznej Inteligencji Generatywnej

W marcu 2023 roku Bloomberg zaprezentował BloombergGPT. Jest to model językowy zbudowany od podstaw z 50 miliardami parametrów, dostosowany specjalnie do danych finansowych.

Aby zaoszczędzić pieniądze, czasem trzeba wydać pieniądze. Trenowanie modeli takich jak BloombergGPT lub Meta Llama 2 nie jest tanie.

Trenowanie modelu Llama 2 o 70 miliardach parametrów wymagało 1 700 000 godzin GPU. Na komercyjnych usługach chmurowych, korzystając z Nvidia A100 GPU (NVDA ) (używanego w Llama 2), może to kosztować od 1 do 2 dolarów za każdą godzinę GPU. Robiąc rachunki, model o 10 miliardach parametrów mógłby kosztować około 150 000 dolarów, a model o 100 miliardach parametrów mógłby kosztować aż 1,5 miliona dolarów.

Jeśli nie wynajmujemy, kupowanie GPU na własność jest alternatywą. Jednak kupienie około 1000 A100 GPU, aby utworzyć klaster, mogłoby kosztować więcej niż 10 milionów dolarów.

Inwestycja Bloomberga przekraczająca milion dolarów jest szczególnie interesująca w kontekście szybkiego postępu w dziedzinie AI. Zaskakująco, model, który kosztował tylko 100 dolarów, przewyższył wyniki BloombergGPT w zaledwie pół roku. Podczas gdy trening BloombergGPT wykorzystywał dane własne, ogromna większość (99,30%) ich zbioru danych była publicznie dostępna. Pojawia się FinGPT.

FinGPT

FinGPT to model językowy dopasowany do finansów, wykorzystujący najnowsze osiągnięcia w dziedzinie dużych modeli językowych. Opracowany przez AI4Finance-Foundation, FinGPT obecnie przewyższa inne modele pod względem zarówno efektywności kosztowej, jak i dokładności ogólnej.

FinGPT ma obecnie trzy wersje; seria FinGPT v3 to modele udoskonalone przy użyciu metody LoRA, a są one trenowane na wiadomościach i tweetach w celu analizy sentymentów. Wykonują najlepiej w wielu testach sentymentów finansowych. FinGPT v3.1 oparty jest na modelu chatglm2-6B, a FinGPT v3.2 oparty jest na modelu Llama2-7b.

 

FINGPT

FINGPT

Operacje FinGPT::

  1. Źródła danych i inżynieria:
    • Pobieranie danych: FinGPT łączy ogromny zbiór wiadomości finansowych z renomowanych źródeł, takich jak Yahoo, Reuters i inne.
    • Przetwarzanie danych: Dane te przechodzą przez wiele etapów czyszczenia, tokenizacji i inżynierii promtu, aby zapewnić ich przydatność i dokładność.
  2. Duże modele językowe (LLM):
    • Trenowanie: Z wykorzystaniem wyselekcjonowanych danych, LLM mogą być dopasowane do tworzenia lekkich modeli dostosowanych do konkretnych potrzeb, a także dostosowane do istniejących modeli lub API w celu obsługi aplikacji.
    • Strategie dopasowania:
      • Warstwy tensorowe (LoRA): Jednym z kluczowych wyzwań w rozwoju modeli takich jak FinGPT jest uzyskanie wysokiej jakości danych etykietowanych. Rozpoznając to wyzwanie, FinGPT przyjmuje innowacyjne podejście. Zamiast polegać wyłącznie na tradycyjnym etykietowaniu, FinGPT wykorzystuje fluktuacje cen akcji jako etykiety, tłumacząc sentyment wiadomości w tangiblne etykiety, takie jak pozytywne, negatywne lub neutralne. To skutkuje ogromnymi poprawami w zdolnościach predykcyjnych modelu, szczególnie w rozróżnianiu pozytywnych i negatywnych sentymentów. Dzięki technikom dopasowania, takim jak LoRA, FinGPT v3 zdołał zoptymalizować swoją wydajność, redukując przy tym obciążenie obliczeniowe.
      • Nauczanie ze sprzężeniem zwrotnym od ludzi: FinGPT wykorzystuje “RLHF (Nauczanie ze sprzężeniem zwrotnym od ludzi)“. Ta funkcja, nieobecna w BloombergGPT, pozwala modelowi LLM na rozróżnianie indywidualnych preferencji, takich jak apetyt na ryzyko, wzorce inwestycyjne lub ustawienia doradcy robota. Ta technika, będąca kamieniem milowym zarówno ChatGPT, jak i GPT4, zapewnia bardziej dopasowane i intuicyjne doświadczenie użytkownika.
  3. Aplikacje i innowacje:
    • Doradca robota: FinGPT może analizować sentyment wiadomości i przewidywać trendy rynkowe z wielką precyzją, jak doświadczony doradca finansowy.
    • Handel ilościowy: FinGPT może formułować skuteczne strategie handlowe, identyfikując sentyment z różnych źródeł, od wiadomości po tweety. W rzeczywistości, nawet kierując się wyłącznie sentymentem z Twittera, pokazuje obiecujące wyniki handlowe.
Porównanie FinGPT z ChatGLM, LLAMA 2, BloombergGPT

Porównanie FinGPT z ChatGLM, LLAMA 2, BloombergGPT

Bieżąca trajektoria i przyszłość FinGPT: Lipiec 2023 roku to ważny kamień milowy dla FinGPT. Zespół opublikował artykuł pt. “Instruct-FinGPT: Analiza sentymentu finansowego przy użyciu instruktażu dostosowanego dużych modeli językowych“. Centralnym punktem tego artykułu jest eksploracja dostosowania instruktażu, techniki umożliwiającej FinGPT wykonanie złożonych analiz sentymentu finansowego.

Jednak FinGPT nie ogranicza się tylko do analizy sentymentu. W rzeczywistości, 19 innych różnorodnych aplikacji jest dostępnych, z których każda obiecuje wykorzystać LLM w nowy sposób. Od inżynierii promtu po zrozumienie złożonych kontekstów finansowych, FinGPT ustanawia się jako wszechstronny model AI w dziedzinie finansów.

Jak globalne banki przyjmują sztuczną inteligencję generatywną

Podczas gdy początek 2023 roku przyniósł pewne ograniczenia w użyciu OpenAI ChatGPT przez pracowników dużych instytucji finansowych, takich jak Bank of America (BAC ), Citigroup i Goldman Sachs, inne podmioty w branży zdecydowały się na bardziej przyjazne podejście.

Morgan Stanley (MS ) na przykład zintegrował chatboty napędzane przez OpenAI jako narzędzie dla swoich doradców finansowych. Wykorzystując wewnętrzne badania i dane firmy, te chatboty służą jako wzbogacone źródła wiedzy, zwiększając wydajność i dokładność doradztwa finansowego.

W marcu tego roku hedge fund Citadel negocjował licencję na ChatGPT dla całej firmy. Przewidywana implementacja ma na celu wzmocnienie obszarów, takich jak rozwój oprogramowania i złożona analiza informacji.

JPMorgan Chase również stara się wykorzystać duże modele językowe do wykrywania oszustw. Ich metoda opiera się na wykorzystaniu wzorców e-mailowych do identyfikacji potencjalnych naruszeń. Nie poprzestając na tym, bank ustalił ambitny cel: dodanie do 1,5 miliarda dolarów wartości za pomocą AI do końca roku.

Co się tyczy Goldman Sachs, nie są oni całkowicie odporni na atrakcję AI. Bank eksploruje możliwości sztucznej inteligencji generatywnej w celu wzmocnienia swojej dziedziny inżynierii oprogramowania. Jak powiedział Marco Argenti, Chief Information Officer of Goldman Sachs, taka integracja ma potencjał przekształcić ich siłę roboczą w coś “nadludzkiego“.

Zastosowania sztucznej inteligencji generatywnej w sektorze bankowym i finansowym

Zastosowania sztucznej inteligencji generatywnej w finansach

Zastosowania sztucznej inteligencji generatywnej w finansach

Sztuczna inteligencja generatywna przekształca podstawowo operacje finansowe, podejmowanie decyzji i interakcje z klientami. Oto szczegółowe przedstawienie jej zastosowań:

1. Zapobieganie oszustwom: Sztuczna inteligencja generatywna jest na czele rozwoju najnowocześniejszych mechanizmów wykrywania oszustw. Analizując ogromne puli danych, może wykryć złożone wzorce i nieprawidłowości, oferując bardziej proaktywne podejście. Tradycyjne systemy, często przytłoczone ogromną ilością danych, mogą produkować fałszywe pozytywy. Sztuczna inteligencja generatywna, z drugiej strony, ciągle doskonali swoje zrozumienie, redukując błędy i zapewniając bardziej bezpieczne transakcje finansowe.

2. Ocena ryzyka kredytowego: Tradycyjne metody oceny wiarygodności kredytowej, choć niezawodne, stają się przestarzałe. Modele sztucznej inteligencji generatywnej, poprzez różne parametry – od historii kredytowych po subtelne wzorce behawioralne – oferują kompleksowy profil ryzyka. To nie tylko zapewnia bezpieczniejsze kredytowanie, ale także obsługuje szerszą klientelę, w tym tych, którzy mogą być niedostatecznie obsłużeni przez tradycyjne metryki.

3. Wzmacnianie interakcji z klientem: Świat finansowy doświadcza rewolucji w obsłudze klienta, dzięki modelom NLP napędzanym przez sztuczną inteligencję generatywną. Te modele są zdolne do zrozumienia i odpowiedzi na różne zapytania klientów, oferując personalizowane rozwiązania w czasie rzeczywistym. Automatyzując rutynowe zadania, instytucje finansowe mogą redukować nakłady, usprawniać operacje i, co najważniejsze, poprawiać satysfakcję klienta.

4. Personalizacja finansowa: Podejście “jedna wielkość pasuje do wszystkich” jest już przeszłością. Dziś klienci wymagają planowania finansowego dostosowanego do ich unikalnych potrzeb i aspiracji. Sztuczna inteligencja generatywna wyróżnia się w tym zakresie. Analizując dane – od wzorców wydatków po preferencje inwestycyjne – tworzy indywidualne plany finansowe. To holistyczne podejście zapewnia, że klienci są lepiej poinformowani i lepiej przygotowani do nawigowania swoimi przyszłościami finansowymi.

5. Handel algorytmiczny: Analityczne możliwości sztucznej inteligencji generatywnej okazują się niezwykle cenne w dynamicznym świecie handlu algorytmicznego. Analizując dane – od trendów rynkowych po sentyment wiadomości – dostarcza przenikliwe spostrzeżenia, umożliwiając ekspertom finansowym optymalizację strategii, przewidywanie zmian rynkowych i minimalizowanie potencjalnych ryzyk.

6. Wzmacnianie ram prawnych: Przepisy dotyczące przeciwdziałania praniu pieniędzy (AML) są kluczowe dla utrzymania integralności systemów finansowych. Sztuczna inteligencja generatywna ułatwia zgodność, przeszukując złożone dane transakcyjne w celu identyfikacji podejrzanych działań. To nie tylko zapewnia, że instytucje finansowe przestrzegają standardów globalnych, ale także znacznie redukuje fałszywe pozytywy, usprawniając operacje.

7. Cyberbezpieczeństwo: Wraz z ewoluującymi zagrożeniami cybernetycznymi, sektor finansowy potrzebuje elastycznych rozwiązań. Sztuczna inteligencja generatywna oferuje genau to. Wdrażając dynamiczne modele predykcyjne, umożliwia szybsze wykrywanie zagrożeń, wzmacniając infrastrukturę finansową przed potencjalnymi naruszeniami.

Jednak, jak w przypadku każdej ewoluującej technologii, sztuczna inteligencja generatywna w sektorze finansowym wiąże się z pewnymi wyzwaniami.

Wyzwania

  1. Wzmacnianie uprzedzeń: Modele AI, tak zaawansowane jak są, nadal polegają na danych wygenerowanych przez ludzi. Dane te, z ich wrodzonymi uprzedzeniami – czy to zamierzonymi, czy nie – mogą prowadzić do skrzywionych wyników. W sektorze finansowym, gdzie równość i sprawiedliwość są niezwykle ważne, takie uprzedzenia mogą mieć poważne konsekwencje. Liderzy finansowi muszą być proaktywni w identyfikowaniu tych uprzedzeń i zapewnianiu, że ich zbiory danych są jak najbardziej kompleksowe i reprezentatywne.
  2. Niezawodność wyników i podejmowanie decyzji: Sztuczna inteligencja generatywna, czasem, może produkować wyniki, które są zarówno błędne, jak i mylące – często określane jako “halucynacje“. Te błędy są w pewnym stopniu oczekiwane, gdy modele AI są doskonalone i uczą się, ale konsekwencje w finansach, gdzie precyzja jest niezbywalna, są poważne. Poleganie wyłącznie na AI do podejmowania krytycznych decyzji, takich jak zatwierdzanie kredytów, jest ryzykowne. Zamiast tego, AI powinno być traktowane jako zaawansowane narzędzie, które wspiera ekspertów finansowych, a nie je zastępuje. Powinno ono zajmować się obciążeniem obliczeniowym, dostarczając spostrzeżenia, które umożliwiają profesjonalistom podejmowanie ostatecznych, świadomych decyzji.
  3. Prywatność danych i zgodność: Ochrona wrażliwych danych klientów pozostaje znaczącym wyzwaniem w aplikacjach sztucznej inteligencji generatywnej. Zapewnienie, że system przestrzega globalnych standardów, takich jak Ogólne Rozporządzenie o Ochronie Danych (GDPR) i Ustawa o Prywatności Konsumentów Kalifornii (CCPA), jest kluczowe. AI może nie wiedzieć ani nie szanować tych granic, więc jego użycie musi być umiarkowane przez surowe wytyczne ochrony danych, szczególnie w sektorze finansowym, gdzie poufność jest najwyższą wartością.
  4. Jakość danych wejściowych: Sztuczna inteligencja generatywna jest tylko tak dobra, jak dane, które jej dostarcza. Niedokładne lub niepełne dane mogą nieumyślnie prowadzić do gorszych porad finansowych lub decyzji.

Podsumowanie

Od poprawy strategii handlowych po wzmocnienie bezpieczeństwa, zastosowania sztucznej inteligencji generatywnej są ogromne i transformujące. Jednak, jak w przypadku każdej technologii, niezwykle ważne jest podejście do jej przyjęcia z rozwagą, biorąc pod uwagę implikacje etyczne i prywatności.

Te instytucje, które z powodzeniem wykorzystają możliwości sztucznej inteligencji generatywnej, jednocześnie szanując jej ograniczenia i potencjalne pułapki, bez wątpienia ukształtują przyszłą trajektorię globalnego rynku finansowego.

Przez ostatnie pięć lat zanurzałem się w fascynującym świecie Machine Learning i Deep Learning. Moja pasja i ekspertyza doprowadziły mnie do udziału w ponad 50 różnorodnych projektach inżynierii oprogramowania, ze szczególnym uwzględnieniem AI/ML. Moja nieustanna ciekawość również skierowała mnie w stronę Natural Language Processing, dziedziny, którą chcę dalej eksplorować.