Prompt engineering

L’IA générative dans la finance : FinGPT, BloombergGPT et au-delà

mm
Ajouter Unite.AI à vos sources préférées sur Google
Generative AI in Finance

L’IA générative fait référence à des modèles capables de générer de nouvelles données similaires aux données d’entrée. Le succès de ChatGPT a ouvert de nombreuses opportunités dans diverses industries, inspirant les entreprises à concevoir leurs propres grands modèles de langage. Le secteur financier, qui repose sur les données, est désormais encore plus intensif en données que jamais.

Je travaille en tant que scientifique des données dans une société de services financiers basée en France. Ayant été là pendant plus d’un an, j’ai récemment observé une augmentation significative de l’utilisation de LLM dans toutes les divisions pour l’automatisation des tâches et la construction de systèmes AI robustes et sécurisés.

Chaque service financier cherche à créer ses propres LLM fine-tunés à l’aide de modèles open-source comme LLAMA 2 ou Falcon. En particulier les banques héritées qui ont des décennies de données financières.

Jusqu’à présent, il n’a pas été possible d’intégrer cette grande quantité de données dans un seul modèle en raison de ressources de calcul limitées et de modèles à faible complexité. Cependant, ces modèles open-source avec des milliards de paramètres peuvent désormais être fine-tunés pour de grandes quantités de jeux de données textuels. Les données sont comme du carburant pour ces modèles ; plus il y en a, mieux c’est.

Les données et les modèles LLM peuvent économiser des millions pour les banques et les autres services financiers en améliorant l’automatisation, l’efficacité, la précision et plus encore.

Les estimations récentes de McKinsey suggèrent que cette IA générative pourrait offrir des économies annuelles de jusqu’à 340 milliards de dollars pour le secteur bancaire seul.

BloombergGPT & Économie de l’IA générative

En mars 2023, Bloomberg a présenté BloombergGPT. Il s’agit d’un modèle de langage construit à partir de zéro avec 50 milliards de paramètres, conçu spécifiquement pour les données financières.

Pour économiser de l’argent, il faut parfois dépenser de l’argent. Former des modèles comme BloombergGPT ou Meta’s Llama 2 n’est pas gratuit.

La formation du modèle Llama 2 à 70 milliards de paramètres a nécessité 1 700 000 heures de GPU. Sur les services cloud commerciaux, l’utilisation du Nvidia A100 GPU (NVDA ) (utilisé pour Llama 2) peut coûter 1 à 2 dollars par heure de GPU. En faisant les calculs, un modèle à 10 milliards de paramètres pourrait coûter environ 150 000 dollars, tandis qu’un modèle à 100 milliards de paramètres pourrait coûter jusqu’à 1,5 million de dollars.

Si vous n’avez pas loué, acheter les GPU directement est une alternative. Cependant, acheter environ 1000 A100 GPUs pour former un cluster pourrait coûter plus de 10 millions de dollars.

L’investissement de Bloomberg de plus d’un million de dollars est particulièrement éclairant lorsqu’il est comparé aux progrès rapides de l’IA. Étonnamment, un modèle qui coûte seulement 100 dollars a réussi à surpasser les performances de BloombergGPT en seulement six mois. Alors que la formation de BloombergGPT a incorporé des données propriétaires, une grande majorité (99,30 %) de leur ensemble de données était accessible au public. Voici FinGPT.

FinGPT

FinGPT est un modèle de langage grand et fine-tuné pour la finance (FinLLM). Développé par AI4Finance-Foundation, FinGPT surpasse actuellement d’autres modèles en termes de rentabilité et de précision en général.

Il existe actuellement trois versions ; la série FinGPT v3 sont des modèles améliorés à l’aide de la méthode LoRA, et ils sont formés sur des actualités et des tweets pour analyser les sentiments. Ils se comportent le mieux dans de nombreux tests de sentiments financiers. FinGPT v3.1 est basé sur le modèle chatglm2-6B, tandis que FinGPT v3.2 est basé sur le modèle Llama2-7b.

 

FINGPT

FINGPT

Opérations de FinGPT :

  1. Approvisionnement et ingénierie des données :
    • Acquisition des données : FinGPT utilise des données de sources réputées comme Yahoo, Reuters, etc., et combine une grande variété de nouvelles financières, allant des actions américaines aux actions chinoises.
    • Traitement des données : Ces données brutes subissent de nombreuses étapes de nettoyage, de tokenisation et d’ingénierie de prompt pour garantir leur pertinence et leur exactitude.
  2. Modèles de langage grand (LLM) :
    • Formation : À l’aide des données curées, les LLM peuvent être fine-tunés pour donner naissance à des modèles légers adaptés à des besoins spécifiques, et les modèles ou API existants peuvent également être adaptés pour prendre en charge les applications.
    • Stratégies de fine-tuning :
      • Couches de tenseur (LoRA) : L’un des principaux défis dans le développement de modèles comme FinGPT est d’obtenir des données étiquetées de haute qualité. En reconnaissant ce défi, FinGPT adopte une approche innovante. Au lieu de s’appuyer uniquement sur l’étiquetage traditionnel, les fluctuations des prix des actions sont employées comme étiquettes, traduisant les sentiments des actualités en étiquettes tangibles comme positives, négatives ou neutres. Cela se traduit par des améliorations massives des capacités prédictives du modèle, en particulier dans la distinction des sentiments positifs et négatifs. Grâce à des techniques de fine-tuning comme LoRA, FinGPT v3 a réussi à optimiser les performances tout en réduisant la charge de calcul.
      • Apprentissage par renforcement à partir de la rétroaction humaine : FinGPT utilise “RLHF (Reinforcement learning from human feedback)“. Une fonctionnalité absente de BloombergGPT, RLHF équipe le modèle LLM avec la capacité de discerner les préférences individuelles – qu’il s’agisse de l’appétit pour le risque d’un utilisateur, de ses modèles d’investissement ou de ses paramètres de conseiller robotique personnalisés. Cette technique, un élément clé de ChatGPT et de GPT4, garantit une expérience utilisateur plus personnalisée et plus intuitive.
  3. Applications et innovations :
    • Conseiller robotique : Comme un conseiller financier expérimenté, FinGPT peut analyser les sentiments des actualités et prédire les tendances du marché avec grande précision.
    • Négociation quantitative : En identifiant les sentiments de diverses sources, des actualités aux tweets, FinGPT peut formuler des stratégies de négociation efficaces. En fait, même lorsqu’il est dirigé uniquement par les sentiments des tweets, il montre des résultats de négociation prometteurs.
FinGPT comparision with ChatGLM, LLAMA 2, BloombergGPT

FinGPT comparison with ChatGLM, LLAMA 2, BloombergGPT

Trajectoire actuelle et future de FinGPT : Juillet 2023 marque un jalon passionnant pour FinGPT. L’équipe a présenté un article de recherche intitulé “Instruct-FinGPT : Analyse des sentiments financiers par ajustement d’instruction des grands modèles de langage.” Au cœur de cet article se trouve l’exploration de l’ajustement d’instruction, une technique permettant à FinGPT d’exécuter des analyses de sentiments financiers complexes.

Mais FinGPT n’est pas limité à l’analyse des sentiments seuls. En fait, 19 autres applications diverses sont disponibles, chacune promettant d’exploiter les LLM de manière novatrice. De l’ingénierie de prompt à la compréhension de contextes financiers complexes, FinGPT s’établit comme un modèle GenAI polyvalent dans le domaine de la finance.

Comment les banques mondiales adoptent l’IA générative

Alors que le début de 2023 a vu certaines des principales institutions financières comme Bank of America (BAC ), Citigroup et Goldman Sachs imposer des contraintes sur l’utilisation d’OpenAI’s ChatGPT par leurs employés, d’autres acteurs de l’industrie ont choisi une approche plus accueillante.

Morgan Stanley (MS ), par exemple, a intégré des chatbots alimentés par OpenAI comme outil pour leurs conseillers financiers. En exploitant les recherches internes approfondies et les données de la société, ces chatbots servent de ressources de connaissances enrichies, améliorant l’efficacité et la précision des conseils financiers.

En mars de cette année, Hedge fund Citadel était en train de négocier une licence d’entreprise pour ChatGPT. La mise en œuvre prévue vise à renforcer des domaines tels que le développement de logiciels et l’analyse d’informations complexes.

JPMorgan Chase s’efforce également d’exploiter les grands modèles de langage pour la détection de la fraude. Leur méthode repose sur l’utilisation de modèles de courriels pour identifier les compromis potentiels. Sans s’arrêter là, la banque a également fixé un objectif ambitieux : ajouter jusqu’à 1,5 milliard de dollars de valeur avec l’IA d’ici la fin de l’année.

En ce qui concerne Goldman Sachs, ils ne sont pas entièrement résistants à l’attrait de l’IA. La banque explore le pouvoir de l’IA générative pour renforcer son domaine d’ingénierie logicielle. Comme Marco Argenti, Directeur de l’information de Goldman Sachs, le dit, une telle intégration a le potentiel de transformer leur main-d’œuvre en quelque chose de “surhumain.”

Cas d’utilisation de l’IA générative dans le secteur bancaire et financier

Cas d'utilisation de l'IA générative dans la finance

Cas d’utilisation de l’IA générative dans la finance

L’IA générative transforme fondamentalement les opérations financières, la prise de décision et les interactions avec les clients. Voici une exploration détaillée de ses applications :

1. Prévention de la fraude : L’IA générative est à la pointe du développement de mécanismes de détection de la fraude de pointe. En analysant de vastes pools de données, elle peut discerner des modèles et des irrégularités complexes, offrant une approche plus proactive. Les systèmes traditionnels, souvent submergés par la quantité de données, pourraient produire de faux positifs. L’IA générative, en revanche, affine continuellement sa compréhension, réduisant les erreurs et garantissant des transactions financières plus sécurisées.

2. Évaluation du risque de crédit : Les méthodes traditionnelles d’évaluation de la solvabilité d’un emprunteur, bien que fiables, sont devenues obsolètes. Les modèles d’IA générative, à travers divers paramètres – de l’historique de crédit à des modèles de comportement subtils – offrent un profil de risque complet. Cela ne garantit pas seulement des prêts plus sûrs, mais s’adresse également à une clientèle plus large, y compris ceux qui pourraient être mal desservis par les métriques traditionnelles.

3. Amélioration de l’interaction avec les clients : Le monde financier est en train de vivre une révolution dans le service client, grâce aux modèles de NLP alimentés par l’IA générative. Ces modèles sont aptes à comprendre et à répondre à diverses requêtes des clients, offrant des solutions personnalisées rapidement. En automatisant les tâches routinières, les institutions financières peuvent réduire les coûts, rationaliser les opérations et, surtout, améliorer la satisfaction des clients.

4. Planification financière personnalisée : Le “taille unique” est un vestige du passé. Aujourd’hui, les clients exigent une planification financière adaptée à leurs besoins et aspirations uniques. L’IA générative excelle dans ce domaine. En analysant les données – des modèles de dépenses aux préférences d’investissement – elle élabore des feuilles de route financières individualisées. Cette approche holistique garantit que les clients sont mieux informés et plus équipés pour naviguer dans leur avenir financier.

5. Négociation algorithmique : La puissance d’analyse de l’IA générative se révèle précieuse dans le monde volatile de la négociation algorithmique. En décomposant les données – des tendances du marché aux sentiments des actualités – elle fournit des insights pénétrants, permettant aux experts financiers d’optimiser les stratégies, d’anticiper les fluctuations du marché et d’atténuer les risques potentiels.

6. Renforcement des cadres de conformité : Les réglementations anti-blanchiment d’argent (AML) sont cruciales pour maintenir l’intégrité des systèmes financiers. L’IA générative simplifie la conformité en passant au crible les données transactionnelles complexes pour identifier les activités suspectes. Cela ne garantit pas seulement que les institutions financières adhèrent aux normes mondiales, mais réduit également considérablement les faux positifs, rationalisant ainsi les opérations.

7. Sécurité informatique : Les menaces informatiques évoluant constamment, le secteur financier a besoin de solutions agiles. L’IA générative offre exactement cela. En mettant en œuvre des modèles prédictifs dynamiques, elle permet une détection plus rapide des menaces, renforçant ainsi les infrastructures financières contre les failles potentielles.

Cependant, comme c’est le cas avec toute technologie en évolution, l’IA générative comporte également ses propres défis dans le secteur financier.

Les défis

  1. Amplification des biais : Les modèles d’IA, aussi sophistiqués soient-ils, s’appuient toujours sur des données générées par l’homme. Ces données, avec leurs biais inhérents – qu’ils soient intentionnels ou non – peuvent conduire à des résultats biaisés. Dans un secteur comme la finance, où l’équité et l’équité sont primordiales, de tels biais pourraient avoir de graves conséquences. Les dirigeants financiers doivent être proactifs pour identifier ces biais et garantir que leurs ensembles de données sont aussi complets et représentatifs que possible.
  2. Fabilité des sorties et prise de décision : L’IA générative peut parfois produire des résultats qui sont à la fois faux et trompeurs – souvent appelés “hallucinations“. Ces erreurs sont quelque peu attendues à mesure que les modèles d’IA se raffinent et apprennent, mais les conséquences dans la finance, où la précision est non négociable, sont graves. S’appuyer uniquement sur l’IA pour des décisions critiques, telles que les approbations de prêt, est hasardeux. Au lieu de cela, l’IA doit être considérée comme un outil sophistiqué qui assiste les experts financiers, et non les remplace. Il doit gérer le poids computationnel, fournissant des insights pour que les professionnels humains prennent les décisions éclairées finales.
  3. Confidentialité des données et conformité : La protection des données sensibles des clients reste une préoccupation majeure avec les applications d’IA générative. Il est crucial de garantir que le système respecte les normes mondiales comme le Règlement général sur la protection des données (RGPD) et la Loi sur la confidentialité des consommateurs de Californie (CCPA). L’IA peut ne pas connaître ou respecter ces limites par nature, donc son utilisation doit être modérée avec des directives de protection des données strictes, en particulier dans le secteur financier où la confidentialité est primordiale.
  4. Qualité des données d’entrée : L’IA générative n’est que aussi bonne que les données qui lui sont fournies. Des données inexactes ou incomplètes peuvent involontairement conduire à des conseils financiers ou à des décisions médiocres.

Conclusion

Des stratégies de négociation améliorées à la sécurité renforcée, les applications de l’IA générative sont vastes et transformatives. Cependant, comme pour toute technologie, il est essentiel d’aborder son adoption avec prudence, en tenant compte des implications éthiques et de confidentialité.

Ces institutions qui parviennent à exploiter avec succès le potentiel de l’IA générative, tout en respectant ses limites et ses écueils potentiels, façonneront sans aucun doute la trajectoire future de l’arène financière mondiale.

J'ai passé les cinq dernières années à plonger dans le monde fascinant de l'apprentissage automatique et du deep learning. Ma passion et mon expertise m'ont conduit à contribuer à plus de 50 projets de génie logiciel divers, avec un focus particulier sur l'IA/ML. Ma curiosité continue m'a également attiré vers le traitement automatique des langues, un domaine que je suis impatient d'explorer plus en profondeur.