Cele mai bune 10 algoritmi de învățare automată

Deși trăim într-o perioadă de inovație extraordinară în domeniul învățării automate accelerate de GPU, cercetările recente prezintă frecvent algoritmi care au fost dezvoltați cu zeci de ani în urmă, în unele cazuri chiar cu 70 de ani în urmă.

Unii ar putea susține că multe dintre aceste metode mai vechi se încadrează în categoria “analiză statistică” și nu în cea de învățare automată, preferând să dateze apariția acestui sector din 1957, odată cu inventarea Perceptronului.

Având în vedere măsura în care acești algoritmi mai vechi susțin și sunt integrați în tendințele și dezvoltările recente din domeniul învățării automate, această poziție este discutabilă. Să aruncăm o privire asupra unor “blocuri clasice” care stau la baza inovațiilor recente, precum și asupra unor intrări mai noi care își fac loc în “hall of fame” al inteligenței artificiale.

1: Transformatori

În 2017, cercetătorii de la Google au condus o colaborare care a culminat cu publicarea lucrării “Attention Is All You Need”. Această lucrare a prezentat o arhitectură inovatoare care a promovat mecanismele de atenție din modelele de rețele neuronale recurente și encoder/decoder într-o tehnologie centrală în sine.

Abordarea a fost numită Transformator și a devenit o metodologie revoluționară în procesarea limbajului natural (NLP), alimentând, printre altele, modelul de limbaj autoregresiv GPT-3.

Transformatorii au rezolvat elegant problema transducției secvențiale, care se ocupă de prelucrarea secvențelor de intrare în secvențe de ieșire. Un transformator primește și gestionează date în mod continuu, și nu în loturi secvențiale, permițând o “persistență a memoriei” pe care arhitecturile RNN nu sunt proiectate să o obțină.

2: Rețele Adversative Generative (GAN)

Deși transformatorii au căpătat o acoperire media extraordinară prin lansarea și adoptarea GPT-3, Rețeaua Adversativă Generativă (GAN) a devenit o marcă recunoscută în sine și ar putea ajunge să se alăture lui “deepfake” ca verb.

Propusă pentru prima dată în 2014 și utilizată în principal pentru sinteza de imagini, o arhitectură GAN este compusă dintr-un generator și un discriminator. Generatorul parcurge mii de imagini dintr-un set de date, încercând iterativ să le reconstituie.

3: Mașini cu Vectors de Sprijin (SVM)

Originate în 1963, Mașinile cu Vectors de Sprijin (SVM) sunt algoritmi de bază care apar frecvent în cercetări recente. În SVM, vectorii cartezieni reprezintă dispunerea relativă a punctelor de date dintr-un set de date, în timp ce vectorii de sprijin delimitează granițele dintre diferite grupuri, caracteristici sau trăsături.

4: Clustering K-Medie

Clusteringul în general este o abordare de învățare nesupervizată care își propune să categorizeze punctele de date prin estimarea densității, creând o hartă a distribuției datelor studiate.

Clusteringul K-Medie a devenit cea mai populară implementare a acestei abordări, dirijând punctele de date în grupuri distincte “K”, care pot indica sectoare demografice, comunități online sau orice altă agregare secretă așteptată a fi descoperită în datele statistice brute.

5: Pădure Aleatoare

Pădurea Aleatoare este o metodă de învățare ensemble care mediază rezultatul dintr-un array de arbori de decizie pentru a stabili o predicție generală pentru rezultat.

6: Naive Bayes

Un clasificator Naive Bayes este un algoritm puternic, dar relativ ușor, capabil să estimeze probabilități pe baza caracteristicilor calculate ale datelor.

7: Vecini Cel Mai Apropiați (KNN)

Propus pentru prima dată în 1951, Vecinii Cel Mai Apropiați (KNN) este un algoritm slab care încă apare frecvent în articole academice și inițiative de cercetare din sectorul privat.

KNN a fost numit “învățătorul leneș”, deoarece scanează exhaustiv un set de date pentru a evalua relațiile dintre punctele de date, în loc să necesite antrenarea unui model de învățare automată complet.

8: Proces Decizional Markov

Un cadru matematic introdus de matematicianul american Richard Bellman în 1957, Procesul Decizional Markov (MDP) este unul dintre blocurile de bază ale arhitecturilor de învățare prin întărire.

MDP explorează un mediu de date prin utilizarea evaluării stării sale curente (adică “unde” se află în date) pentru a decide care nod al datelor să exploreze următorul.

9: Frecvență-Term – Frecvență Inversă a Documentului

Frecvența Termenului (TF) împarte numărul de ori când un cuvânt apare într-un document la numărul total de cuvinte din acel document.

Frecvența Inversă a Documentului (IDF) calculează TF-ul unui cuvânt de-a lungul multiplelor documente dintr-un set de date, atribuind o notă scăzută cuvintelor foarte frecvente, cum ar fi cuvintele de legătură.

10: Coborâre Gradient Stochastică

Coborârea Gradientului Stochastică (SGD) este o metodă din ce în ce mai populară pentru optimizarea antrenării modelelor de învățare automată.

SGD actualizează parametrii modelului pe fiecare exemplu de antrenament per iterație, ceea ce în general accelerează călătoria spre convergență.