Cercetătorii se uită spre neuroștiințifici pentru a depăși bias-ul de set de date

O echipă de cercetători de la MIT, Harvard University și Fujitsu, Ltd. a căutat moduri în care un model de învățare automată poate depăși bias-ul de set de date. Ei s-au bazat pe o abordare de neuroștiință pentru a studia modul în care datele de antrenare afectează capacitatea unei rețele neuronale artificiale de a recunoaște obiecte pe care nu le-a văzut niciodată.

Cercetarea a fost publicată în Nature Machine Intelligence.

Diversitatea în datele de antrenare

Rezultatele studiului au demonstrat că diversitatea în datele de antrenare influențează capacitatea unei rețele neuronale de a depăși bias-ul. Cu toate acestea, diversitatea datelor poate avea și un impact negativ asupra performanței rețelei. Cercetătorii au arătat, de asemenea, că modul în care o rețea neuronală este antrenată poate influența, de asemenea, capacitatea sa de a depăși un set de date biasat.

Xavier Boix este cercetător științific în Departamentul de Creier și Științe Cognitive (BCS) și Centrul pentru Creiere, Minți și Mașini (CBMM). El este, de asemenea, autor principal al articolului.

“O rețea neuronală poate depăși bias-ul de set de date, ceea ce este încurajator. Dar principala concluzie de aici este că trebuie să ținem cont de diversitatea datelor. Trebuie să încetăm să mai credem că, dacă colectați o cantitate uriașă de date brute, aceasta vă va duce undeva. Trebuie să fim foarte atenți la modul în care proiectăm seturile de date din start”, spune Boix.

Echipa a adoptat o abordare de neuroștiință pentru a dezvolta noua abordare. Conform lui Boix, este obișnuit să se utilizeze seturi de date controlate în experimente, astfel încât echipa a construit seturi de date care conțineau imagini cu diferite obiecte în diverse poziții. Apoi, au controlat combinațiile, astfel încât unele seturi de date să fie mai diverse decât altele. Un set de date cu mai multe imagini care arată obiecte dintr-un singur punct de vedere este mai puțin divers, în timp ce unul cu mai multe imagini care arată obiecte din multiple puncte de vedere este mai divers.

Cercetătorii au luat aceste seturi de date și le-au utilizat pentru a antrena o rețea neuronală pentru clasificarea imaginilor. Apoi, au studiat cât de bine a fost capabilă să identifice obiecte din puncte de vedere pe care rețeaua nu le-a văzut în timpul antrenării.

Ei au descoperit că seturile de date mai diverse permit rețelei să generalizeze mai bine imagini sau puncte de vedere noi, și acest lucru este crucial pentru a depăși bias-ul.

“Dar nu este ca și cum mai multă diversitate de date ar fi întotdeauna mai bună; există o tensiune aici. Când rețeaua neuronală devine mai bună la recunoașterea unor lucruri noi pe care nu le-a văzut, atunci va deveni mai greu pentru ea să recunoască lucruri pe care le-a văzut deja”, spune Boix.

Metode pentru antrenarea rețelelor neuronale

Echipa a descoperit, de asemenea, că un model antrenat separat pentru fiecare sarcină este mai capabil să depășească bias-ul comparativ cu un model antrenat pentru ambele sarcini împreună.

“Rezultatele au fost cu adevărat izbitoare. De fapt, prima dată când am făcut acest experiment, am crezut că este o eroare. Ne-a luat câteva săptămâni să realizăm că este un rezultat real, pentru că a fost atât de neașteptat”, continuă Boix.

O analiză mai profundă a arătat că specializarea neuronilor este implicată în acest proces. Când rețeaua neuronală este antrenată pentru a recunoaște obiecte în imagini, două tipuri de neuroni emerg. Un neuron se specializează în recunoașterea categoriei de obiect, în timp ce celălalt se specializează în recunoașterea punctului de vedere.

Neuronii specializați devin mai prominenți atunci când rețeaua este antrenată pentru a efectua sarcini separate. Cu toate acestea, atunci când o rețea este antrenată pentru a finaliza ambele sarcini în același timp, unii neuroni devin diluați. Acest lucru înseamnă că nu se specializează într-o sarcină și sunt mai susceptibili să se confunde.

“Dar următoarea întrebare acum este, cum au ajuns acești neuroni aici? Antrenați rețeaua neuronală și ei emerg din procesul de învățare. Nimeni nu a spus rețelei să includă acești tipi de neuroni în arhitectura sa. Acesta este lucru fascinant”, spune Boix.

Cercetătorii vor explora această întrebare în lucrările lor viitoare, precum și vor aplica noua abordare pentru sarcini mai complexe.