Qu’est-ce que l’apprentissage par renforcement profond ?

Qu’est-ce que l’apprentissage par renforcement profond ?

En plus de l’apprentissage automatique non supervisé et de l’apprentissage supervisé, une autre forme courante de création d’IA est l’apprentissage par renforcement. Au-delà de l’apprentissage par renforcement classique, l’apprentissage par renforcement profond peut conduire à des résultats impressionnants, grâce au fait qu’il combine les meilleurs aspects de l’apprentissage profond et de l’apprentissage par renforcement. Examinons comment fonctionne l’apprentissage par renforcement profond.

Avant de plonger dans l’apprentissage par renforcement profond, il pourrait être utile de rafraîchir nos connaissances sur la façon dont fonctionne l’apprentissage par renforcement classique. Dans l’apprentissage par renforcement, des algorithmes orientés vers les objectifs sont conçus à travers un processus d’essais et d’erreurs, en optimisant l’action qui conduit au meilleur résultat, ou à l’action qui obtient la plus grande « récompense ». Lorsque les algorithmes d’apprentissage par renforcement sont formés, ils reçoivent des « récompenses » ou des « punitions » qui influencent les actions qu’ils prendront à l’avenir. Les algorithmes tentent de trouver un ensemble d’actions qui procureront au système la plus grande récompense, en équilibrant à la fois les récompenses immédiates et futures.

Les algorithmes d’apprentissage par renforcement sont très puissants car ils peuvent être appliqués à presque toutes les tâches, pouvant apprendre de manière flexible et dynamique à partir d’un environnement et découvrir des actions possibles.

Présentation de l’apprentissage par renforcement profond

Photo: Megajuice via Wikimedia Commons, CC 1.0 (https://commons.wikimedia.org/wiki/File:Reinforcement_learning_diagram.svg)

Lorsqu’il s’agit d’apprentissage par renforcement profond, l’environnement est généralement représenté par des images. Une image est une capture de l’environnement à un moment précis. L’agent doit analyser les images et extraire les informations pertinentes, en utilisant ces informations pour déterminer quelle action prendre. L’apprentissage par renforcement profond est généralement effectué avec l’une des deux techniques suivantes : l’apprentissage basé sur les valeurs et l’apprentissage basé sur les politiques.

Les techniques d’apprentissage basé sur les valeurs utilisent des algorithmes et des architectures tels que les réseaux de neurones convolutifs et les réseaux Q profonds. Ces algorithmes fonctionnent en convertissant l’image en niveaux de gris et en supprimant les parties inutiles de l’image. Ensuite, l’image subit diverses convolutions et opérations de regroupement, en extrayant les parties les plus pertinentes de l’image. Les parties importantes de l’image sont ensuite utilisées pour calculer la valeur Q pour les différentes actions que l’agent peut prendre. Les valeurs Q sont utilisées pour déterminer la meilleure action pour l’agent. Après que les valeurs Q initiales soient calculées, une rétropropagation est effectuée afin que les valeurs Q les plus précises puissent être déterminées.

Les méthodes basées sur les politiques sont utilisées lorsque le nombre d’actions possibles que l’agent peut prendre est extrêmement élevé, ce qui est généralement le cas dans les scénarios du monde réel. De telles situations nécessitent une approche différente, car le calcul des valeurs Q pour toutes les actions individuelles n’est pas pratique. Les approches basées sur les politiques adoptent des politiques en apprenant directement la politique, souvent à l’aide de techniques appelées gradients de politique.

Les gradients de politique fonctionnent en recevant un état et en calculant des probabilités pour les actions en fonction des expériences antérieures de l’agent. L’action la plus probable est ensuite sélectionnée. Ce processus est répété jusqu’à la fin de la période d’évaluation et les récompenses sont attribuées à l’agent. Après que les récompenses aient été attribuées à l’agent, les paramètres du réseau sont mis à jour à l’aide de la rétropropagation.

Qu’est-ce que l’apprentissage Q ?

Puisque l’apprentissage Q est une grande partie du processus d’apprentissage par renforcement profond, examinons comment fonctionne le système d’apprentissage Q.

Le processus de décision markovien

Un processus de décision markovien. Photo: waldoalvarez via Pixabay, Pixbay License (https://commons.wikimedia.org/wiki/File:Markov_Decision_Process.svg)

Afin qu’un agent d’IA puisse effectuer une série de tâches et atteindre un objectif, l’agent doit être capable de gérer une séquence d’états et d’événements. L’agent commence à un état et doit prendre une série d’actions pour atteindre un état final, et il peut y avoir un nombre massif d’états entre le début et la fin. Stocker des informations sur chaque état est impraticable ou impossible, l’agent doit donc trouver un moyen de conserver uniquement les informations les plus pertinentes sur l’état. Cela est réalisé à l’aide d’un processus de décision markovien, qui conserve uniquement les informations sur l’état actuel et l’état précédent. Chaque état suit une propriété markovienne, qui suit la façon dont l’agent change de l’état précédent à l’état actuel.

L’apprentissage Q profond

Une fois que le modèle a accès aux informations sur les états de l’environnement d’apprentissage, les valeurs Q peuvent être calculées. Les valeurs Q sont la récompense totale attribuée à l’agent à la fin d’une séquence d’actions.

Les valeurs Q sont calculées à l’aide d’une série de récompenses. Il y a une récompense immédiate, calculée à l’état actuel et en fonction de l’action actuelle. La valeur Q pour l’état suivant est également calculée, ainsi que la valeur Q pour l’état après celui-ci, et ainsi de suite jusqu’à ce que toutes les valeurs Q pour les différents états soient calculées. Il y a également un paramètre Gamma qui est utilisé pour contrôler le poids des récompenses futures sur les actions de l’agent. Les politiques sont généralement calculées en initialisant aléatoirement les valeurs Q et en laissant le modèle converger vers les valeurs Q optimales au cours de la formation.

Les réseaux Q profonds

L’un des problèmes fondamentaux liés à l’utilisation de l’apprentissage Q pour l’apprentissage par renforcement est que la quantité de mémoire requise pour stocker les données augmente rapidement à mesure que le nombre d’états augmente. Les réseaux Q profonds résolvent ce problème en combinant des modèles de réseaux de neurones avec des valeurs Q, permettant à un agent d’apprendre à partir de l’expérience et de faire des suppositions raisonnables sur les meilleures actions à prendre. Avec l’apprentissage Q profond, les fonctions de valeur Q sont estimées à l’aide de réseaux de neurones. Le réseau de neurones prend l’état en tant que données d’entrée, et le réseau produit la valeur Q pour toutes les actions possibles que l’agent peut prendre.

L’apprentissage Q profond est réalisé en stockant toutes les expériences passées en mémoire, en calculant les sorties maximales pour le réseau Q, puis en utilisant une fonction de perte pour calculer la différence entre les valeurs actuelles et les valeurs théoriques les plus élevées possibles.

L’apprentissage par renforcement profond vs l’apprentissage profond

Une différence importante entre l’apprentissage par renforcement profond et l’apprentissage profond classique est que, dans le cas du premier, les entrées sont constamment changeantes, ce qui n’est pas le cas dans l’apprentissage profond classique. Comment le modèle d’apprentissage peut-il tenir compte des entrées et des sorties qui changent constamment ?

En essence, pour tenir compte de la divergence entre les valeurs prévues et les valeurs cibles, deux réseaux de neurones peuvent être utilisés au lieu d’un seul. Un réseau estime les valeurs cibles, tandis que l’autre réseau est responsable des prédictions. Les paramètres du réseau cible sont mis à jour à mesure que le modèle apprend, après un certain nombre d’itérations d’entraînement. Les sorties des réseaux respectifs sont ensuite combinées pour déterminer la différence.

Apprentissage basé sur les politiques

Les approches d’apprentissage basé sur les politiques fonctionnent différemment des approches basées sur les valeurs Q. Alors que les approches basées sur les valeurs Q créent une fonction de valeur qui prédit les récompenses pour les états et les actions, les méthodes basées sur les politiques déterminent une politique qui cartographie les états aux actions. En d’autres termes, la fonction de politique qui sélectionne les actions est directement optimisée sans tenir compte de la fonction de valeur.

Les gradients de politique

Une politique pour l’apprentissage par renforcement profond tombe dans l’une des deux catégories suivantes : stochastique ou déterministe. Une politique déterministe est celle où les états sont cartographiés aux actions, ce qui signifie que lorsque la politique est donnée des informations sur un état, une action est renvoyée. En revanche, les politiques stochastiques renvoient une distribution de probabilité pour les actions au lieu d’une seule action discrète.

Les politiques déterministes sont utilisées lorsqu’il n’y a pas d’incertitude quant aux résultats des actions qui peuvent être prises. En d’autres termes, lorsque l’environnement lui-même est déterministe. En revanche, les sorties de politiques stochastiques sont appropriées pour les environnements où le résultat des actions est incertain. Généralement, les scénarios d’apprentissage par renforcement impliquent un certain degré d’incertitude, les politiques stochastiques sont donc utilisées.

Les approches de gradient de politique ont quelques avantages par rapport aux approches d’apprentissage Q, ainsi que quelques inconvénients. En termes d’avantages, les méthodes basées sur les politiques convergent plus rapidement et de manière plus fiable vers les paramètres optimaux. Le gradient de politique peut simplement être suivi jusqu’à ce que les meilleurs paramètres soient déterminés, tandis que les méthodes basées sur les valeurs nécessitent de petites modifications des valeurs d’action estimées, ce qui peut conduire à de grandes modifications des actions et de leurs paramètres associés.

Les gradients de politique fonctionnent mieux pour les espaces d’action à haute dimension. Lorsqu’il y a un nombre extrêmement élevé d’actions possibles à prendre, l’apprentissage Q profond devient impraticable car il doit attribuer un score à chaque action possible pour toutes les étapes de temps, ce qui peut être impossible sur le plan computationnel. Cependant, avec les méthodes basées sur les politiques, les paramètres sont ajustés au fil du temps et le nombre de paramètres optimaux possibles diminue rapidement à mesure que le modèle converge.

Les gradients de politique sont également capables de mettre en œuvre des politiques stochastiques, contrairement aux politiques basées sur les valeurs. Puisque les politiques stochastiques produisent une distribution de probabilité, un compromis entre exploration et exploitation n’a pas besoin d’être mis en œuvre.

En termes d’inconvénients, le principal inconvénient des gradients de politique est qu’ils peuvent se bloquer lors de la recherche de paramètres optimaux, se concentrant uniquement sur un ensemble étroit de valeurs optimales locales au lieu des valeurs optimales globales.

Fonction de score de politique

Les politiques utilisées pour optimiser les performances d’un modèle visent à maximiser une fonction de score – J(θ). Si J(θ) est une mesure de la qualité de notre politique pour atteindre l’objectif souhaité, nous pouvons trouver les valeurs de « θ » qui nous donnent la meilleure politique. Tout d’abord, nous devons calculer une récompense de politique attendue. Nous estimons la récompense de politique afin d’avoir un objectif, quelque chose à optimiser. La fonction de score de politique est la façon dont nous calculons la récompense de politique attendue, et il existe différentes fonctions de score de politique qui sont couramment utilisées, telles que : les valeurs de départ pour les environnements épisodiques, la valeur moyenne pour les environnements continus, et la récompense moyenne par étape de temps.

Montée de gradient de politique

La montée de gradient vise à déplacer les paramètres jusqu’à ce qu’ils soient à l’endroit où le score est le plus élevé. Photo: Public Domain (https://commons.wikimedia.org/wiki/File:Gradient_ascent_(surface).png)

Après que la fonction de score de politique souhaitée est utilisée, et qu’une récompense de politique attendue est calculée, nous pouvons trouver une valeur pour le paramètre « θ » qui maximise la fonction de score. Pour maximiser la fonction de score J(θ), une technique appelée « montée de gradient » est utilisée. La montée de gradient est similaire au concept de descente de gradient dans l’apprentissage profond, mais nous optimisons pour l’augmentation la plus rapide au lieu de la diminution. C’est parce que notre score n’est pas « d’erreur », comme dans de nombreux problèmes d’apprentissage profond. Notre score est quelque chose que nous voulons maximiser. Une expression appelée le théorème du gradient de politique est utilisée pour estimer le gradient par rapport à la politique « θ ».

Résumé de l’apprentissage par renforcement profond

En résumé, l’apprentissage par renforcement profond combine les aspects de l’apprentissage par renforcement et des réseaux de neurones profonds. L’apprentissage par renforcement profond est effectué avec deux techniques différentes : l’apprentissage Q profond et les gradients de politique.

Les méthodes d’apprentissage Q visent à prédire quelles récompenses suivront certaines actions prises dans un état donné, tandis que les approches de gradient de politique visent à optimiser l’espace d’action, en prédissant les actions elles-mêmes. Les approches basées sur les politiques de l’apprentissage par renforcement profond sont soit déterministes, soit stochastiques en nature. Les politiques déterministes cartographient les états directement aux actions, tandis que les politiques stochastiques produisent des distributions de probabilité pour les actions.