Cercetătorii se întorc către neuroștiințifici pentru a depăși prejudecățile din seturile de date

O echipă de cercetători de la MIT, Harvard University și Fujitsu, Ltd. a căutat să afle cum un model de învățare automată poate depăși prejudecățile din seturile de date. Ei s-au bazat pe o abordare din neuroștiințe pentru a studia modul în care datele de antrenare afectează capacitatea unei rețele neuronale artificiale de a recunoaște obiecte pe care nu le-a văzut niciodată.

Cercetarea a fost publicată în Nature Machine Intelligence.

Diversitatea în datele de antrenare

Rezultatele studiului au demonstrat că diversitatea în datele de antrenare influențează capacitatea unei rețele neuronale de a depăși prejudecățile. Cu toate acestea, diversitatea datelor poate avea și un impact negativ asupra performanței rețelei. Cercetătorii au arătat, de asemenea, că modul în care o rețea neuronală este antrenată poate influența capacitatea sa de a depăși un set de date prejudecat.

Xavier Boix este cercetător științific în Departamentul de Creier și Științe Cognitive (BCS) și Centrul pentru Creiere, Minți și Mașini (CBMM). El este, de asemenea, autorul principal al articolului.

“O rețea neuronală poate depăși prejudecățile din seturile de date, ceea ce este încurajator. Dar principala concluzie aici este că trebuie să ținem cont de diversitatea datelor. Trebuie să încetăm să ne gândim că, dacă colectăm o cantitate uriașă de date brute, aceasta ne va duce undeva. Trebuie să fim foarte atenți la modul în care proiectăm seturile de date de la început”, spune Boix.

Echipa a adoptat o abordare din neuroștiințe pentru a dezvolta noua abordare. Conform lui Boix, este obișnuit să se utilizeze seturi de date controlate în experimente, astfel încât echipa a creat seturi de date care conțineau imagini cu diferite obiecte în diverse poziții. Apoi, au controlat combinațiile astfel încât unele seturi de date să fie mai diverse decât altele. Un set de date cu mai multe imagini care arată obiecte dintr-un singur punct de vedere este mai puțin divers, în timp ce unul cu mai multe imagini care arată obiecte din multiple puncte de vedere este mai divers.

Cercetătorii au luat aceste seturi de date și le-au utilizat pentru a antrena o rețea neuronală pentru clasificarea imaginilor. Apoi, au studiat cât de bine a fost capabilă să identifice obiecte din puncte de vedere pe care rețeaua nu le-a văzut în timpul antrenării.

Ei au descoperit că seturile de date mai diverse permit rețelei să generalizeze mai bine imagini noi sau puncte de vedere, și acest lucru este esențial pentru a depăși prejudecățile.

“Dar nu este ca și cum mai multă diversitate a datelor ar fi întotdeauna mai bună; există o tensiune aici. Când rețeaua neuronală devine mai bună la recunoașterea lucrurilor noi pe care nu le-a văzut, atunci va deveni mai greu pentru ea să recunoască lucrurile pe care le-a văzut deja”, spune Boix.

Metode pentru antrenarea rețelelor neuronale

Echipa a descoperit, de asemenea, că un model antrenat separat pentru fiecare sarcină este mai capabil să depășească prejudecățile comparativ cu un model antrenat pentru ambele sarcini împreună.

“Rezultatele au fost cu adevărat izbitoare. De fapt, prima dată când am făcut acest experiment, am crezut că este o eroare. Ne-a luat câteva săptămâni pentru a ne da seama că este un rezultat real, deoarece a fost atât de neașteptat”, continuă Boix.

O analiză mai profundă a arătat că specializarea neuronilor este implicată în acest proces. Când rețeaua neuronală este antrenată pentru a recunoaște obiecte în imagini, două tipuri de neuroni apar. Un neuron se specializează în recunoașterea categoriei de obiect, în timp ce celălalt se specializează în recunoașterea punctului de vedere.

Neuronii specializați devin mai prominenți atunci când rețeaua neuronală este antrenată pentru a efectua sarcini separate. Cu toate acestea, atunci când o rețea este antrenată pentru a completa ambele sarcini în același timp, unii neuroni devin diluați. Acest lucru înseamnă că nu se specializează într-o singură sarcină și sunt mai predispuși să se confunde.

“Dar următoarea întrebare acum este, cum au apărut acești neuroni? Antreni rețeaua neuronală și ei apar din procesul de învățare. Nimeni nu i-a spus rețelei să includă aceste tipuri de neuroni în arhitectura sa. Acesta este lucru fascinant”, spune Boix.

Cercetătorii vor să exploreze această întrebare în lucrările lor viitoare, precum și să aplice noua abordare la sarcini mai complexe.