Cercetători AI Dezvoltă Metodă Rapidă De Calcul Al Intervalelor De Încredere, Raportând Când Modelul Nu Ar Trebui Încredințat

Cercetătorii de la MIT au dezvoltat recent o tehnică care permite rețelelor neuronale profunde să calculeze rapid nivelurile de încredere, ceea ce ar putea ajuta oamenii de știință și alți utilizatori AI să știe când să aibă încredere în predicțiile modelului.

Sistemele AI bazate pe rețele neuronale artificiale sunt responsabile pentru tot mai multe decizii în zilele noastre, inclusiv multe decizii care implică sănătatea și securitatea oamenilor. Din cauza acestui fapt, rețelele neuronale ar trebui să aibă o metodă de estimare a încrederii în ieșirile lor, permițând oamenilor de știință să determine cât de de încredere sunt predicțiile lor. Recent, o echipă de cercetători de la Harvard și MIT a proiectat o cale rapidă pentru rețelele neuronale de a genera o indicație a încrederii modelului alături de predicțiile sale.

Modelele de învățare profundă au devenit tot mai sofisticate în ultimul deceniu și acum pot ușor depăși oamenii în sarcinile de clasificare a datelor. Modelele de învățare profundă sunt utilizate în domenii în care sănătatea și securitatea oamenilor pot fi în pericol dacă acestea eșuează, conducând vehicule autonome și diagnosticând afecțiuni medicale din scanări. În aceste cazuri, nu este suficient ca un model să fie 99% precis, cele 1% din cazurile în care modelul eșuează pot duce la catastrofe. Prin urmare, trebuie să existe o modalitate prin care oamenii de știință să poată determina cât de de încredere este o anumită predicție.

Există câteva modalități prin care un interval de încredere poate fi generat împreună cu predicțiile rețelelor neuronale, dar metodele tradiționale de estimare a incertitudinii pentru o rețea neuronală sunt destul de lente și costisitoare din punct de vedere computațional. Rețelele neuronale pot fi incredibil de mari și complexe, pline de miliarde de parametri. Generarea de predicții poate fi costisitoare din punct de vedere computațional și poate dura o perioadă substanțială de timp, iar generarea unui nivel de încredere pentru predicții durează și mai mult. Cele mai multe metode anterioare de cuantificare a incertitudinii s-au bazat pe eșantionare sau rularea unei rețele de mai multe ori pentru a obține o estimare a încrederii sale. Acest lucru nu este întotdeauna fezabil pentru aplicații care necesită trafic de mare viteză.

După cum a raportat MIT News, Alexander Amini conduce grupul combinat de cercetători de la MIT și Harvard, iar conform lui Amini, metoda dezvoltată de cercetătorii lor accelerează procesul de generare a estimărilor de incertitudine utilizând o tehnică numită “regresie evidențială profundă”. Amini a explicat prin MIT că oamenii de știință necesită atât modele de mare viteză, cât și estimări de încredere pentru a putea discerne modelele de încredere. Pentru a păstra atât viteza modelului, cât și a genera o estimare a incertitudinii, cercetătorii au proiectat o modalitate de a estima incertitudinea dintr-o singură rulare a modelului.

Cercetătorii au proiectat modelul rețelei neuronale astfel încât o distribuție probabilistică să fie generată alături de fiecare decizie. Rețeaua păstrează dovezi pentru deciziile sale în timpul procesului de antrenare, generând o distribuție de probabilitate pe baza dovezilor. Distribuția evidențială reprezintă încrederea modelului și reprezintă incertitudinea atât pentru decizia finală a modelului, cât și pentru datele de intrare originale. Capturarea incertitudinii atât pentru datele de intrare, cât și pentru decizii este importantă, deoarece reducerea incertitudinii depinde de cunoașterea sursei incertitudinii.

Cercetătorii au testat tehnica lor de estimare a incertitudinii aplicând-o unei sarcini de viziune computerizată. După ce modelul a fost antrenat pe o serie de imagini, a generat atât predicții, cât și estimări de incertitudine. Rețeaua a proiectat corect o incertitudine ridicată pentru instanțele în care s-a făcut o predicție greșită. “A fost foarte calibrată la erorile pe care le face rețeaua, ceea ce credem că a fost unul dintre cele mai importante lucruri la evaluarea calității unui nou estimator de incertitudine”, a spus Amini referitor la rezultatele testelor modelului.

Echipa de cercetare a efectuat mai multe teste cu arhitectura rețelei lor. Pentru a testa tehnicile în condiții de stres, au testat și datele pe “date din afara distribuției”, seturi de date alcătuite din obiecte pe care rețeaua nu le-a văzut niciodată. Așa cum era de așteptat, rețeaua a raportat o incertitudine mai ridicată pentru aceste obiecte nevăzute. Când a fost antrenată pe medii interioare, rețeaua a afișat o incertitudine ridicată atunci când a fost testată pe imagini din medii exterioare. Testele au arătat că rețeaua poate evidenția când deciziile sale sunt supuse unei incertitudini ridicate și nu ar trebui să fie încredințate în anumite circumstanțe cu risc ridicat.

Echipa de cercetare a raportat chiar și că rețeaua poate discerne atunci când imaginile au fost falsificate. Când echipa de cercetare a modificat fotografiile cu zgomot advers, rețeaua a etichetat noile imagini modificate cu estimări de incertitudine ridicate, în ciuda faptului că efectul a fost prea subtil pentru a fi observat de un observator uman obișnuit.

Dacă tehnica se dovedește a fi fiabilă, regresia evidențială profundă ar putea îmbunătăți siguranța modelelor AI în general. Conform lui Amini, regresia evidențială profundă ar putea ajuta oamenii să ia decizii atente atunci când utilizează modele AI în situații riscante. Așa cum a explicat Amini prin MIT News:

“Începem să vedem multe dintre aceste [rețele neuronale] care ies din laboratorul de cercetare și intră în lumea reală, în situații care ating oamenii cu consecințe potențial letale. Orice utilizator al metodei, fie că este un medic sau o persoană în scaunul pasagerului unui vehicul, trebuie să fie conștient de orice risc sau incertitudine asociat cu acea decizie.”