Cercetătorii caută neurologii pentru a depăși prejudecățile setului de date

O echipă de cercetători de la MIT, Universitatea Harvard și Fujitsu, Ltd. a căutat cum un model de învățare automată ar putea depăși părtinirea setului de date. Ei s-au bazat pe o abordare neuroștiințifică pentru a studia modul în care datele de antrenament afectează dacă o rețea neuronală artificială poate învăța să recunoască obiecte pe care nu le-a văzut niciodată. 

Cercetarea a fost publicată în Natura Inteligenței Machine. 

Diversitatea datelor de instruire

Rezultatele studiului au demonstrat că diversitatea datelor de antrenament influențează dacă o rețea neuronală este capabilă să depășească părtinirea. Cu toate acestea, diversitatea datelor poate avea, de asemenea, un impact negativ asupra performanței rețelei. Cercetătorii au arătat, de asemenea, că modul în care este antrenată o rețea neuronală poate influența și dacă poate depăși un set de date părtinitor. 

Xavier Boix este cercetător în cadrul Departamentului de Științe ale Creierului și Cognitive (BCS) și al Centrului pentru Creiere, Minți și Mașini (CBMM). El este, de asemenea, autor principal al lucrării. 

„O rețea neuronală poate depăși părtinirea setului de date, ceea ce este încurajator. Dar principala concluzie aici este că trebuie să luăm în considerare diversitatea datelor. Trebuie să nu ne mai gândim că, dacă colectezi o mulțime de date brute, asta te va duce undeva. Trebuie să fim foarte atenți la modul în care proiectăm seturile de date în primul rând”, spune Boix.

Echipa a îmbrățișat mintea unui neuroștiință pentru a dezvolta noua abordare. Potrivit lui Boix, este obișnuit să se utilizeze seturi de date controlate în experimente, astfel încât echipa a construit seturi de date care conțineau imagini ale diferitelor obiecte în diferite ipostaze. Apoi au controlat combinațiile, astfel încât unele seturi de date au fost mai diverse decât altele. Un set de date cu mai multe imagini care arată obiecte dintr-un singur punct de vedere este mai puțin divers, în timp ce unul cu mai multe imagini care arată obiecte din mai multe puncte de vedere este mai divers. 

Cercetătorii au luat aceste seturi de date și le-au folosit pentru a antrena o rețea neuronală pentru clasificarea imaginilor. Apoi au studiat cât de bun a fost la identificarea obiectelor din puncte de vedere pe care rețeaua nu le-a văzut în timpul antrenamentului. 

Ei au descoperit că seturile de date mai diverse permit rețelei să generalizeze mai bine noi imagini sau puncte de vedere, iar acest lucru este crucial pentru a depăși părtinirea. 

„Dar nu se pare că mai multă diversitate a datelor este întotdeauna mai bună; este o tensiune aici. Când rețeaua neuronală devine mai bună în recunoașterea lucrurilor noi pe care nu le-a văzut, atunci îi va deveni mai greu să recunoască lucrurile pe care le-a văzut deja”, spune Boix.

Metode de antrenare a rețelelor neuronale

Echipa a descoperit, de asemenea, că un model antrenat separat pentru fiecare sarcină este mai capabil să depășească părtinirea în comparație cu un model antrenat pentru ambele sarcini împreună. 

„Rezultatele au fost cu adevărat uimitoare. De fapt, prima dată când am făcut acest experiment, am crezut că este un bug. Ne-a luat câteva săptămâni să ne dăm seama că a fost un rezultat real pentru că a fost atât de neașteptat”, continuă Boix.

O analiză mai profundă a arătat că specializarea neuronilor este implicată în acest proces. Când rețeaua neuronală este antrenată să recunoască obiecte din imagini, apar două tipuri de neuroni. Un neuron este specializat în recunoașterea categoriei de obiecte, în timp ce celălalt este specializat în recunoașterea punctului de vedere. 

Neuronii specializați devin mai proeminenti atunci când rețeaua este antrenată să îndeplinească sarcini separat. Cu toate acestea, atunci când o rețea este antrenată pentru a îndeplini ambele sarcini în același timp, unii neuroni devin diluați. Aceasta înseamnă că nu se specializează într-o singură sarcină și este mai probabil să se confuze. 

„Dar următoarea întrebare acum este, cum au ajuns acești neuroni acolo? Antrenezi rețeaua neuronală și ele ies din procesul de învățare. Nimeni nu a spus rețelei să includă aceste tipuri de neuroni în arhitectura sa. Acesta este lucrul fascinant”, spune Boix.

Cercetătorii vor căuta să exploreze această întrebare în lucrările lor viitoare, precum și să aplice noua abordare la sarcini mai complexe.