Models generatius vs discriminatius d'aprenentatge automàtic

Alguns models d'aprenentatge automàtic pertanyen a les categories de models "generatius" o "discriminatius". No obstant això, què és la diferència entre els aquestes dues categories de models? Què vol dir que un model sigui discriminatiu o generatiu?

La resposta breu és que els models generatius són aquells que inclouen la distribució del conjunt de dades, retornant una probabilitat per a un exemple determinat. Sovint s'utilitzen models generatius per predir què passa a continuació en una seqüència. Mentrestant, s'utilitzen models discriminatius per a la classificació o la regressió i retornen una predicció basat en condicional probabilitat. Explorem les diferències entre models generatius i discriminatius amb més detall, de manera que puguem entendre realment què separa els dos tipus de models i quan s'ha d'utilitzar cada tipus.

Models generatius versus discriminatius

Hi ha diverses maneres de categoritzar un model d'aprenentatge automàtic. Un model es pot classificar com a pertanyent a diferents categories com: models generatius, models discriminatius, models paramètrics, models no paramètrics, models basats en arbres, models no basats en arbres.

Aquest article se centrarà en les diferències entre models generatius i models discriminatius. Començarem definint models tant generatius com discriminatius, i després explorarem alguns exemples de cada tipus de model.

Models generatius

Models generatius són aquells que se centren en la distribució de les classes dins del conjunt de dades. Els algorismes d'aprenentatge automàtic solen modelar la distribució dels punts de dades. Els models generatius es basen en trobar probabilitats conjuntes. Crear punts on una característica d'entrada determinada i una sortida/etiqueta desitjada existeixen simultàniament.

Els models generatius s'utilitzen normalment per estimar probabilitats i probabilitats, modelant punts de dades i discriminant entre classes en funció d'aquestes probabilitats. Com que el model aprèn una distribució de probabilitat per al conjunt de dades, pot fer referència a aquesta distribució de probabilitat per generar noves instàncies de dades. Sovint es basen en els models generatius Teorema de Bayes per trobar la probabilitat conjunta, trobant p(x,y). Essencialment, els models generatius modelen com es van generar les dades, responeu a la pregunta següent:

"Quina probabilitat hi ha que aquesta classe o una altra classe hagi generat aquest punt/instància de dades?"

Alguns exemples de models generatius d'aprenentatge automàtic inclouen l'anàlisi discriminant lineal (LDA), els models de Markov ocults i les xarxes bayesianes com Naive Bayes.

Models discriminatius

Mentre que els models generatius aprenen sobre la distribució del conjunt de dades, models discriminatius aprendre sobre el límit entre les classes dins d'un conjunt de dades. Amb models discriminatius, l'objectiu és identificar el límit de decisió entre classes per aplicar etiquetes de classe fiables a les instàncies de dades. Els models discriminatius separen les classes del conjunt de dades mitjançant la probabilitat condicional, sense fer cap hipòtesi sobre punts de dades individuals.

Els models discriminatius pretenen respondre la pregunta següent:

"En quin costat del límit de decisió es troba aquesta instància?"

Alguns exemples de models discriminatius en l'aprenentatge automàtic inclouen màquines vectorials de suport, regressió logística, arbres de decisió i boscos aleatoris.

Diferències entre generatiu i discriminatiu

Aquí teniu un resum ràpid de les principals diferències entre els models generatius i discriminatius.

Models generatius:

• Els models generatius tenen com a objectiu capturar la distribució real de les classes al conjunt de dades.
• Els models generatius prediuen la distribució de probabilitat conjunta – p(x,y) – utilitzant el teorema de Bayes.
• Els models generatius són computacionalment costosos en comparació amb els models discriminatius.
• Els models generatius són útils per a tasques d'aprenentatge automàtic no supervisades.
• Els models generatius es veuen afectats per la presència de valors atípics més que els models discriminatius.

Models discriminatius:

• Els models discriminatius modelen el límit de decisió per a les classes de conjunt de dades.
• Els models discriminatius aprenen la probabilitat condicional – p(y|x).
• Els models discriminatius són computacionalment barats en comparació amb els models generatius.
• Els models discriminatius són útils per a tasques d'aprenentatge automàtic supervisades.
• Els models discriminatius tenen l'avantatge de ser més robusts als valors atípics, a diferència dels models generatius.
• Els models discriminatius són més robusts per als valors atípics en comparació amb els models generatius.

Ara explorarem breument alguns exemples diferents de models d'aprenentatge automàtic generatius i discriminatius.

Exemples de models generatius

Anàlisi discriminant lineal (LDA)

Models LDA funció estimant la variància i la mitjana de les dades per a cada classe del conjunt de dades. Després de calcular la mitjana i les variàncies de cada classe, es poden fer prediccions estimant la probabilitat que un determinat conjunt d'entrades pertanyi a una classe determinada.

Models de Markov ocults

Cadenes de Markov es pot pensar com a gràfics amb probabilitats que indiquen la probabilitat que ens movem d'un punt de la cadena, un "estat", a un altre estat. Les cadenes de Markov s'utilitzen per determinar la probabilitat de passar de l'estat j a l'estat i, que es pot denotar com p(i,j). Aquesta és només la probabilitat conjunta esmentada anteriorment. Un model de Markov ocult és on s'utilitza una cadena de Markov invisible i no observable. Les dades entrades es donen al model i les probabilitats per a l'estat actual i l'estat immediatament anterior s'utilitzen per calcular el resultat més probable.

Xarxes Bayesianes

Xarxes bayesianes són un tipus de model gràfic probabilístic. Representen dependències condicionals entre variables, tal com es representa mitjançant un gràfic acíclic dirigit. En una xarxa bayesiana, cada vora del gràfic representa una dependència condicional i cada node correspon a una variable única. La independència condicional de les relacions úniques del gràfic es pot utilitzar per determinar la distribució conjunta de les variables i calcular la probabilitat conjunta. En altres paraules, una xarxa bayesiana captura un subconjunt de les relacions independents en una distribució de probabilitat conjunta específica.

Un cop creada i definida correctament una xarxa bayesiana, amb les variables aleatòries, les relacions condicionals i les distribucions de probabilitat conegudes, es pot utilitzar per estimar la probabilitat d'esdeveniments o resultats.

Un dels tipus de xarxes bayesianes més utilitzats és un model de Bayes ingenu. Un model Naive Bayes gestiona el repte de calcular la probabilitat per a conjunts de dades amb molts paràmetres/variables tractant totes les característiques com a independents les unes de les altres.

Exemples de models discriminatius

Suport de màquines vectorials

Suport de màquines vectorials operar dibuixant un límit de decisió entre punts de dades, trobant el límit de decisió que millor separa les diferents classes del conjunt de dades. L'algorisme SVM dibuixa línies o hiperplans que separen punts, per a espais bidimensionals i espais 2D respectivament. SVM s'esforça per trobar la línia/hiperpla que millor separa les classes intentant maximitzar el marge, o la distància entre la línia/hiperpla als punts més propers. Els models SVM també es poden utilitzar en conjunts de dades que no es poden separar linealment mitjançant el "truc del nucli" per identificar els límits de decisió no lineals.

Regressió logística

Regressió logística és un algorisme que utilitza una funció logit (log-odds) per determinar la probabilitat que una entrada estigui en un dels dos estats. Una funció sigmoide s'utilitza per "aprimar" la probabilitat cap a 0 o 1, vertader o fals. Se suposa que les probabilitats superiors a 0.50 són de classe 1, mentre que les probabilitats 0.49 o inferiors s'assumeixen que són 0. Per aquest motiu, la regressió logística s'utilitza normalment en problemes de classificació binària. Tanmateix, la regressió logística es pot aplicar a problemes de diverses classes utilitzant un enfocament d'un contra tots, creant un model de classificació binari per a cada classe i determinant la probabilitat que un exemple sigui una classe objectiu o una altra classe del conjunt de dades.

Arbre de decisions

A arbre de decisió El model funciona dividint un conjunt de dades en porcions cada cop més petites, i una vegada que els subconjunts no es poden dividir més, el resultat és un arbre amb nodes i fulles. Els nodes d'un arbre de decisions són on es prenen decisions sobre punts de dades utilitzant diferents criteris de filtratge. Les fulles d'un arbre de decisió són els punts de dades que s'han classificat. Els algorismes de l'arbre de decisions poden gestionar tant dades numèriques com categòriques, i les divisions de l'arbre es basen en variables/característiques específiques.

Boscos aleatoris

A model forestal aleatori és bàsicament només una col·lecció d'arbres de decisió on es fa una mitjana de les prediccions dels arbres individuals per arribar a una decisió final. L'algoritme forestal aleatori selecciona observacions i característiques aleatòriament, construint els arbres individuals en funció d'aquestes seleccions.

Aquest article del tutorial explorarà com crear un Box Plot a Matplotlib. Els diagrames de caixa s'utilitzen per visualitzar estadístiques de resum d'un conjunt de dades, mostrant atributs de la distribució com l'interval i la distribució de les dades.