Prompt engineering

Generatieve AI in Financiën: FinGPT, BloombergGPT & Verder

mm
Generative AI in Finance

Generatieve AI verwijst naar modellen die nieuwe gegevenssamples kunnen genereren die vergelijkbaar zijn met de invoergegevens. Het succes van ChatGPT heeft veel kansen gecreëerd in verschillende industrieën, waardoor ondernemingen hun eigen grote taalmodellen ontwerpen. De financiële sector, die door gegevens wordt aangedreven, is nu nog meer gegevensintensief dan ooit.

Ik werk als datawetenschapper bij een in Frankrijk gevestigde financiële dienstverleningsmaatschappij. Na hier meer dan een jaar te hebben gewerkt, heb ik onlangs een significante toename gezien in het gebruik van LLM’s in alle afdelingen voor taakautomatisering en de constructie van robuuste, beveiligde AI-systemen.

Ieder financieel bedrijf streeft ernaar om zijn eigen afgestemde LLM’s te maken met behulp van open-source modellen zoals LLAMA 2 of Falcon. Vooral legacybanken die decennialang financiële gegevens hebben, zijn hierin geïnteresseerd.

Tot nu toe was het niet haalbaar om deze enorme hoeveelheid gegevens in één model te integreren vanwege beperkte rekenbronnen en minder complexe/lage-parametermodellen. Deze open-source modellen met miljarden parameters kunnen echter worden afgestemd op grote hoeveelheden tekstuele datasets. Gegevens zijn als brandstof voor deze modellen; hoe meer er is, hoe beter de resultaten.

Beide gegevens en LLM-modellen kunnen banken en andere financiële dienstverleners miljoenen besparen door automatisering, efficiëntie, nauwkeurigheid en meer te verbeteren.

Recente schattingen van McKinsey suggereren dat deze generatieve AI jaarlijkse besparingen van maximaal 340 miljard dollar kan opleveren voor de banksector alleen.

BloombergGPT & Economie van Generatieve AI

In maart 2023 presenteerde Bloomberg BloombergGPT. Het is een taalmodel dat van scratch is gebouwd met 50 miljard parameters, specifiek ontworpen voor financiële gegevens.

Om geld te besparen, moet je soms geld uitgeven. Het trainen van modellen zoals BloombergGPT of Meta’s Llama 2 is niet goedkoop.

Het trainen van Llama 2’s 70 miljard parametermodel vereiste 1.700.000 GPU-uren. Bij commerciële cloudservices kan het gebruik van de Nvidia A100 GPU (gebruikt voor Llama 2) tussen de 1 en 2 dollar per GPU-uur kosten. Als we de berekening maken, kan een 10 miljard parametermodel ongeveer 150.000 dollar kosten, terwijl een 100 miljard parametermodel tot 1,5 miljoen dollar kan kosten.

Als alternatief kan men de GPUs ook rechtstreeks kopen. Het kopen van ongeveer 1000 A100 GPUs om een cluster te vormen, kan meer dan 10 miljoen dollar kosten.

Bloombergs investering van meer dan een miljoen dollar is bijzonder opvallend als men dit afzet tegen de snelle vooruitgang in AI. Verbluffend genoeg wist een model dat slechts 100 dollar kostte, de prestaties van BloombergGPT te overtreffen in slechts een half jaar. Terwijl de training van BloombergGPT gebruik maakte van propriëtaire gegevens, was een overgrote meerderheid (99,30%) van hun dataset openbaar toegankelijk. Hier komt FinGPT om de hoek kijken.

FinGPT

FinGPT is een state-of-the-art financieel afgestemd groot taalmodel (FinLLM). Ontwikkeld door AI4Finance-Foundation, presteert FinGPT momenteel beter dan andere modellen qua kostenbesparing en nauwkeurigheid in het algemeen.

Er zijn momenteel drie versies; de FinGPT v3-serie zijn modellen die zijn verbeterd met behulp van de LoRA-methode en getraind op nieuws en tweets om sentimenten te analyseren. Ze presteren het beste in veel financiële sentimenttests. FinGPT v3.1 is gebaseerd op het chatglm2-6B-model, terwijl FinGPT v3.2 is gebaseerd op het Llama2-7b-model.

 

FINGPT

FINGPT

FinGPT’s Operaties:

  1. Gegevensbronnen en -engineering:
    • Gegevensverwerving: FinGPT verzamelt gegevens van betrouwbare bronnen zoals Yahoo, Reuters en meer, en combineert een enorme hoeveelheid financieel nieuws, van Amerikaanse aandelen tot Chinese aandelen.
    • Gegevensverwerking: Deze ruwe gegevens ondergaan veel stadia van schoonmaken, tokenisatie en prompt-engineering om ervoor te zorgen dat ze relevant en nauwkeurig zijn.
  2. Grote Taalmodellen (LLM’s):
    • Training: Met de gecureerde gegevens kunnen LLM’s niet alleen worden afgestemd om lichtgewichtmodellen te creëren die zijn aangepast aan specifieke behoeften, maar bestaande modellen of API’s kunnen ook worden aangepast om applicaties te ondersteunen.
    • Afstemstrategieën:
      • Tensorlagen (LoRA): Een van de belangrijkste uitdagingen bij de ontwikkeling van modellen zoals FinGPT is het verkrijgen van hoogwaardige gelabelde gegevens. FinGPT neemt een innovatieve aanpak door marktgedreven aandelenkoersschommelingen te gebruiken als labels, waardoor nieuws sentimenten worden vertaald in tastbare labels zoals positief, negatief of neutraal. Dit resulteert in een enorme verbetering van de voorspellende capaciteiten van het model, vooral bij het onderscheiden van positieve en negatieve sentimenten. Door afstemtechnieken zoals LoRA kon FinGPT v3 de prestaties optimaliseren en de rekenkundige overhead verminderen.
      • Versterking van het leren van menselijke feedback: FinGPT gebruikt “RLHF (Versterking van het leren van menselijke feedback)“. Een functie die ontbreekt in BloombergGPT, RLHF geeft het LLM-model de mogelijkheid om individuele voorkeuren te onderscheiden – of het nu gaat om een gebruikersrisicobereidheid, beleggingspatronen of aangepaste robo-adviseurinstellingen. Deze techniek, een hoeksteen van zowel ChatGPT als GPT4, zorgt voor een meer aangepaste en intuïtieve gebruikerservaring.
  3. Toepassingen en Innovaties:
    • Robo-adviseur: FinGPT kan net als een ervaren financieel adviseur nieuws sentimenten analyseren en markttrends voorspellen met grote precisie.
    • Kwantitatief beleggen: Door sentimenten te identificeren uit diverse bronnen, van nieuwsuitzendingen tot Twitter, kan FinGPT effectieve beleggingsstrategieën formuleren. In feite kan het zelfs belovende beleggingsresultaten laten zien, zelfs als het alleen wordt geleid door Twitter-sentimenten.
FinGPT vergelijking met ChatGLM, LLAMA 2, BloombergGPT

FinGPT vergelijking met ChatGLM, LLAMA 2, BloombergGPT

FinGPT’s Huidige Traject en Toekomst: Juli 2023 markeert een spannende mijlpaal voor FinGPT. Het team onthulde een onderzoeksrapport getiteld “Instruct-FinGPT: Financieel Sentimentanalyse door Instructieafstemming van Algemene Grote Taalmodellen“. Centraal in dit rapport staat de exploratie van instructieafstemming, een techniek die FinGPT in staat stelt om complexe financiële sentimentanalyses uit te voeren.

Maar FinGPT is niet beperkt tot sentimentanalyse alleen. In feite zijn er 19 andere diverse toepassingen beschikbaar, elk belovend om LLM’s op nieuwe manieren te benutten. Van prompt-engineering tot het begrijpen van complexe financiële contexten, FinGPT vestigt zich als een veelzijdig GenAI-model in de financiële sector.

Hoe Globale Banken Generatieve AI Omarmen

Terwijl het begin van 2023 zag dat enkele van de belangrijkste financiële spelers zoals Bank of America, Citigroup en Goldman Sachs beperkingen oplegden aan het gebruik van OpenAI’s ChatGPT door hun werknemers, hebben andere tegenhangers in de industrie besloten om een meer omarmende houding aan te nemen.

Morgan Stanley heeft bijvoorbeeld OpenAI-gepowered chatbots geïntegreerd als een tool voor hun financiële adviseurs. Door gebruik te maken van de uitgebreide interne onderzoeks- en gegevens van het bedrijf, dienen deze chatbots als verrijkte kennisbronnen, waardoor de efficiëntie en nauwkeurigheid van financieel advies worden verhoogd.

In maart van dit jaar Hedge fund Citadel was bezig om een ondernemingsbrede ChatGPT-licentie te verwerven. De voorgenomen implementatie voorziet in het versterken van gebieden zoals softwareontwikkeling en complexe informatieanalyse.

JPMorgan Chase werkt ook aan het benutten van grote taalmodellen voor fraudebestrijding. Hun methode draait om het gebruik van e-mailpatronen om potentiële inbreuken te identificeren. Het bedrijf heeft ook een ambitieuze doelstelling: het toevoegen van maximaal 1,5 miljard dollar aan waarde met AI tegen het einde van het jaar.

Wat Goldman Sachs betreft, zijn ze niet geheel resistent tegen de aantrekkingskracht van AI. De bank verkent de kracht van generatieve AI om hun software-engineeringdomein te versterken. Zoals Marco Argenti, Chief Information Officer van Goldman Sachs, het verwoordt, heeft deze integratie het potentieel om hun werknemers te transformeren in iets “superhumans“.

Toepassingen van Generatieve AI in de Bank- en Financiële Sector

Generatieve AI in Financiën Gebruiksgevallen

Generatieve AI in Financiën Gebruiksgevallen

Generatieve AI transformeert financiële operaties, besluitvorming en klantinteracties fundamenteel. Hieronder volgt een gedetailleerde verkenning van de toepassingen:

1. Fraudepreventie: Generatieve AI staat aan de vooravond van het ontwikkelen van geavanceerde fraudebestrijdingsmechanismen. Door het analyseren van enorme gegevenspools kan het ingewikkelde patronen en onregelmatigheden onderscheiden, waardoor een proactievere aanpak mogelijk wordt. Traditionele systemen, die vaak worden overweldigd door de enorme hoeveelheid gegevens, kunnen valse positieven produceren. Generatieve AI, daarentegen, verfijnt voortdurend zijn begrip, waardoor fouten worden verminderd en financiële transacties veiliger worden.

2. Kredietrisicobeoordeling: De traditionele methoden voor het beoordelen van de kredietwaardigheid van een lener, hoewel betrouwbaar, worden verouderd. Generatieve AI-modellen bieden, door middel van diverse parameters – van kredietgeschiedenis tot subtiele gedragspatronen – een uitgebreid risicoprofiel. Dit zorgt niet alleen voor veiliger lenen, maar ook voor een bredere cliëntèle, inclusief diegenen die mogelijk door traditionele metingen worden onderschat.

3. Klantinteractie: De financiële wereld wordt getransformeerd door generatieve AI-gepowered NLP-modellen. Deze modellen zijn in staat om diverse klantvragen te begrijpen en te beantwoorden, en bieden persoonlijke oplossingen. Door routine taken te automatiseren, kunnen financiële instellingen overheadkosten verlagen, operaties stroomlijnen en klanttevredenheid verbeteren.

4. Persoonlijke Financiën: Een-op-een-past is een overblijfsel uit het verleden. Tegenwoordig eisen klanten financiële planning die is aangepast aan hun unieke behoeften en aspiraties. Generatieve AI excelleert hierin. Door het analyseren van gegevens – van bestedingspatronen tot beleggingsvoorkeuren – creëert het individuele financiële wegenkaarten. Deze holistische aanpak zorgt ervoor dat klanten beter geïnformeerd zijn en beter toegerust om hun financiële toekomst te navigeren.

5. Algoritmisch Beleggen: Generatieve AI’s analytische kracht is waardevol in de volatile wereld van algoritmisch beleggen. Door het ontleedden van gegevens – van markttrends tot nieuws sentiment – biedt het inzichten, waardoor financiële experts strategieën kunnen optimaliseren, marktveranderingen kunnen anticiperen en potentiële risico’s kunnen mitigeren.

6. Versterking van Compliance-kaders: Anti-witwasregelingen zijn essentieel voor het behoud van de integriteit van financiële systemen. Generatieve AI vereenvoudigt compliance door transactiegegevens te doorzoeken om verdachte activiteiten te identificeren. Dit zorgt niet alleen ervoor dat financiële instellingen wereldwijde standaarden naleven, maar reduceert ook aanzienlijk de kans op valse positieven, waardoor operaties worden gestroomlijnd.

7. Cyberbeveiliging: Aangezien cyberdreigingen constant evolueren, heeft de financiële sector agile oplossingen nodig. Generatieve AI biedt precies dat. Door dynamische voorspellingsmodellen te implementeren, kan het snellere dreigingsdetectie mogelijk maken, waardoor financiële infrastructuur wordt versterkt tegen potentiële inbreuken.

Echter, zoals bij elke evoluerende technologie, komt generatieve AI ook met zijn eigen set uitdagingen in de financiële sector.

De Uitdagingen

  1. Vertekening van vooroordelen: AI-modellen, hoe geavanceerd ook, zijn nog steeds afhankelijk van door mensen gegenereerde trainingsgegevens. Deze gegevens, met hun inherente vooroordelen – of het nu opzettelijk is of niet – kunnen tot scheve resultaten leiden. In een sector als financiën, waar gelijkheid en eerlijkheid essentieel zijn, kunnen dergelijke vooroordelen ernstige gevolgen hebben. Financiële leiders moeten proactief zijn in het identificeren van deze vooroordelen en ervoor zorgen dat hun datasets evenwichtig en representatief zijn.
  2. Outputbetrouwbaarheid en Besluitvorming: Generatieve AI kan soms resultaten produceren die zowel verkeerd als misleidend zijn – vaak aangeduid als ‘hallucinaties‘. Deze misstappen zijn enigszins te verwachten aangezien AI-modellen worden verfijnd en leren, maar de gevolgen in financiën, waar precisie niet te onderhandelen is, zijn ernstig. Alleen vertrouwen op AI voor kritieke beslissingen, zoals leninggoedkeuringen, is gevaarlijk. In plaats daarvan moet AI worden gezien als een geavanceerd hulpmiddel dat financiële experts ondersteunt, niet vervangt. Het moet de rekenkundige last dragen, inzichten verschaffen voor menselijke professionals om de uiteindelijke, geïnformeerde beslissingen te nemen.
  3. Gegevensbescherming en Compliance: Het beschermen van gevoelige klantgegevens blijft een significante zorg bij generatieve AI-toepassingen. Het is cruciaal om ervoor te zorgen dat het systeem voldoet aan wereldwijde standaarden zoals de Algemene Verordening Gegevensbescherming (AVG) en de California Consumer Privacy Act (CCPA). AI mag deze grenzen niet inherent kennen of respecteren, dus het gebruik ervan moet worden gemodereerd met strikte gegevensbeschermingsrichtlijnen, vooral in de financiële sector waar vertrouwelijkheid van het grootste belang is.
  4. Kwaliteit van Invoergegevens: Generatieve AI is alleen zo goed als de gegevens die worden ingevoerd. Onnauwkeurige of onvolledige gegevens kunnen ongewild leiden tot ondermaatse financiële adviezen of beslissingen.

Conclusie

Van het verbeteren van handelsstrategieën tot het versterken van beveiliging, zijn de toepassingen van generatieve AI uitgebreid en transformatief. Echter, zoals bij elke technologie, is het essentieel om de adoptie ervan met voorzichtigheid te benaderen, waarbij de ethische en privacy-implicaties in overweging worden genomen.

Die instellingen die erin slagen om de kracht van generatieve AI te benutten, terwijl ze tegelijkertijd de beperkingen en potentiële valkuilen respecteren, zullen ongetwijfeld de toekomstige traject van de wereldwijde financiële arena vormgeven.

Ik heb de afgelopen vijf jaar doorgebracht met het onderdompelen van mezelf in de fascinerende wereld van Machine Learning en Deep Learning. Mijn passie en expertise hebben me geleid om bij te dragen aan meer dan 50 diverse software-engineeringprojecten, met een bijzondere focus op AI/ML. Mijn voortdurende nieuwsgierigheid heeft me ook aangetrokken tot Natural Language Processing, een vakgebied dat ik graag verder wil verkennen.