Modèles d'apprentissage automatique génératifs ou discriminants

Certains modèles d'apprentissage automatique appartiennent aux catégories de modèles « génératifs » ou « discriminatifs ». Pourtant qu'est-ce que la différence entre ces deux catégories de modèles ? Qu'est-ce que cela signifie pour un modèle d'être discriminant ou génératif ?

La réponse courte est que les modèles génératifs sont ceux qui incluent la distribution de l'ensemble de données, renvoyant une probabilité pour un exemple donné. Les modèles génératifs sont souvent utilisés pour prédire ce qui se passe ensuite dans une séquence. Pendant ce temps, les modèles discriminatifs sont utilisés pour la classification ou la régression et ils renvoient une prédiction basé sur le conditionnel probabilité. Explorons plus en détail les différences entre les modèles génératifs et discriminatifs, afin que nous puissions vraiment comprendre ce qui sépare les deux types de modèles et quand chaque type doit être utilisé.

Modèles génératifs vs modèles discriminants

Il existe plusieurs façons de catégoriser un modèle d'apprentissage automatique. Un modèle peut être classé comme appartenant à différentes catégories telles que : les modèles génératifs, les modèles discriminatifs, les modèles paramétriques, les modèles non paramétriques, les modèles arborescents, les modèles non arborescents.

Cet article se concentrera sur les différences entre les modèles génératifs et les modèles discriminatifs. Nous commencerons par définir les modèles génératifs et discriminatifs, puis nous explorerons quelques exemples de chaque type de modèle.

Modèles génératifs

Modèles génératifs sont ceux qui se concentrent sur la distribution des classes au sein de l'ensemble de données. Les algorithmes d'apprentissage automatique modélisent généralement la distribution des points de données. Les modèles génératifs reposent sur la recherche d'une probabilité conjointe. Création de points où une entité d'entrée donnée et une sortie/étiquette souhaitée existent simultanément.

Les modèles génératifs sont généralement utilisés pour estimer les probabilités et la vraisemblance, modéliser les points de données et discriminer les classes en fonction de ces probabilités. Étant donné que le modèle apprend une distribution de probabilité pour l'ensemble de données, il peut référencer cette distribution de probabilité pour générer de nouvelles instances de données. Les modèles génératifs reposent souvent sur théorème de Bayes pour trouver la probabilité conjointe, trouver p(x,y). Essentiellement, les modèles génératifs modélisent la manière dont les données ont été générées, répondent à la question suivante :

"Quelle est la probabilité que cette classe ou une autre classe ait généré ce point de données/instance ?"

Des exemples de modèles d'apprentissage automatique génératif incluent l'analyse discriminante linéaire (LDA), les modèles de Markov cachés et les réseaux bayésiens comme Naive Bayes.

Modèles discriminants

Alors que les modèles génératifs apprennent la distribution de l'ensemble de données, modèles discriminants en savoir plus sur la frontière entre les classes au sein d'un ensemble de données. Avec les modèles discriminants, le but est d'identifier la limite de décision entre les classes pour appliquer des étiquettes de classe fiables aux instances de données. Les modèles discriminants séparent les classes dans l'ensemble de données en utilisant la probabilité conditionnelle, sans faire d'hypothèses sur les points de données individuels.

Les modèles discriminants visent à répondre à la question suivante :

« De quel côté de la limite de décision se trouve cette instance ? »

Des exemples de modèles discriminants dans l'apprentissage automatique incluent les machines à vecteurs de support, la régression logistique, les arbres de décision et les forêts aléatoires.

Différences entre génératif et discriminant

Voici un bref aperçu des principales différences entre les modèles génératifs et discriminatifs.

Modèles génératifs :

• Les modèles génératifs visent à capturer la distribution réelle des classes dans l'ensemble de données.
• Les modèles génératifs prédisent la distribution de probabilité conjointe – p(x,y) – en utilisant le théorème de Bayes.
• Les modèles génératifs sont coûteux en calcul par rapport aux modèles discriminatifs.
• Les modèles génératifs sont utiles pour les tâches d'apprentissage automatique non supervisées.
• Les modèles génératifs sont plus impactés par la présence de valeurs aberrantes que les modèles discriminants.

Modèles discriminants :

• Les modèles discriminants modélisent la limite de décision pour les classes d'ensembles de données.
• Les modèles discriminants apprennent la probabilité conditionnelle – p(y|x).
• Les modèles discriminants sont peu coûteux en termes de calcul par rapport aux modèles génératifs.
• Les modèles discriminants sont utiles pour les tâches d'apprentissage automatique supervisé.
• Les modèles discriminants ont l'avantage d'être plus robustes aux valeurs aberrantes, contrairement aux modèles génératifs.
• Les modèles discriminants sont plus robustes aux valeurs aberrantes que les modèles génératifs.

Nous allons maintenant explorer brièvement différents exemples de modèles d'apprentissage automatique génératifs et discriminatifs.

Exemples de modèles génératifs

Analyse discriminante linéaire (LDA)

Modèles LDA fonction en estimant la variance et la moyenne des données pour chaque classe de l'ensemble de données. Une fois que la moyenne et les variances de chaque classe ont été calculées, des prédictions peuvent être faites en estimant la probabilité qu'un ensemble donné d'entrées appartienne à une classe donnée.

Modèles cachés de Markov

Chaînes de Markov peuvent être considérés comme des graphiques avec des probabilités qui indiquent la probabilité que nous nous déplaçons d'un point de la chaîne, un « état », à un autre état. Les chaînes de Markov sont utilisées pour déterminer la probabilité de passer de l'état j à l'état i, qui peut être notée p(i,j). Ce n'est que la probabilité conjointe mentionnée ci-dessus. Un modèle de Markov caché est l'endroit où une chaîne de Markov invisible et non observable est utilisée. Les entrées de données sont fournies au modèle et les probabilités pour l'état actuel et l'état qui le précède immédiatement sont utilisées pour calculer le résultat le plus probable.

Réseaux bayésiens

Réseaux bayésiens sont un type de modèle graphique probabiliste. Ils représentent des dépendances conditionnelles entre les variables, représentées par un graphe acyclique dirigé. Dans un réseau bayésien, chaque arête du graphe représente une dépendance conditionnelle et chaque nœud correspond à une variable unique. L'indépendance conditionnelle des relations uniques dans le graphique peut être utilisée pour déterminer la distribution conjointe des variables et calculer la probabilité conjointe. En d'autres termes, un réseau bayésien capture un sous-ensemble des relations indépendantes dans une distribution de probabilité conjointe spécifique.

Une fois qu'un réseau bayésien a été créé et correctement défini, avec des variables aléatoires, des relations conditionnelles et des distributions de probabilité connues, il peut être utilisé pour estimer la probabilité d'événements ou de résultats.

L'un des types de réseaux bayésiens les plus couramment utilisés est le modèle Naive Bayes. Un modèle Naive Bayes gère le défi du calcul de la probabilité pour les ensembles de données avec de nombreux paramètres/variables en traitant toutes les caractéristiques comme indépendantes les unes des autres.

Exemples de modèles discriminants

Machines à vecteurs de support

Machines à vecteurs de soutien fonctionnent en traçant une frontière de décision entre les points de données, en trouvant la frontière de décision qui sépare le mieux les différentes classes dans l'ensemble de données. L'algorithme SVM dessine soit des lignes, soit des hyperplans qui séparent des points, respectivement pour des espaces bidimensionnels et des espaces 2D. SVM s'efforce de trouver la ligne/hyperplan qui sépare le mieux les classes en essayant de maximiser la marge, ou la distance entre la ligne/hyperplan et les points les plus proches. Les modèles SVM peuvent également être utilisés sur des ensembles de données qui ne sont pas linéairement séparables en utilisant « l'astuce du noyau » pour identifier les limites de décision non linéaires.

Régression logistique

Régression logistique est un algorithme qui utilise une fonction logit (log-odds) pour déterminer la probabilité qu'une entrée soit dans l'un des deux états. Une fonction sigmoïde est utilisée pour "écraser" la probabilité vers 0 ou 1, vrai ou faux. Les probabilités supérieures à 0.50 sont supposées appartenir à la classe 1, tandis que les probabilités inférieures ou égales à 0.49 sont supposées être égales à 0. Pour cette raison, la régression logistique est généralement utilisée dans les problèmes de classification binaire. Cependant, la régression logistique peut être appliquée à des problèmes multi-classes en utilisant une approche un contre tous, en créant un modèle de classification binaire pour chaque classe et en déterminant la probabilité qu'un exemple soit une classe cible ou une autre classe dans l'ensemble de données.

Arbre de décision

A arbre de décision Le modèle fonctionne en divisant un ensemble de données en portions de plus en plus petites, et une fois que les sous-ensembles ne peuvent plus être divisés, le résultat est un arbre avec des nœuds et des feuilles. Les nœuds d'un arbre de décision sont l'endroit où les décisions concernant les points de données sont prises à l'aide de différents critères de filtrage. Les feuilles d'un arbre de décision sont les points de données qui ont été classés. Les algorithmes d'arbre de décision peuvent gérer à la fois des données numériques et catégorielles, et les divisions dans l'arbre sont basées sur des variables/caractéristiques spécifiques.

Forêts aléatoires

A modèle de forêt aléatoire est fondamentalement juste une collection d'arbres de décision où les prédictions des arbres individuels sont moyennées pour arriver à une décision finale. L'algorithme de forêt aléatoire sélectionne les observations et les caractéristiques de manière aléatoire, en construisant les arbres individuels en fonction de ces sélections.

Cet article de didacticiel explorera comment créer un Box Plot dans Matplotlib. Les boîtes à moustaches sont utilisées pour visualiser les statistiques récapitulatives d'un jeu de données, affichant les attributs de la distribution tels que la plage et la distribution des données.