Cercetătorii în domeniul inteligenței artificiale dezvoltă o metodă rapidă de calculare a intervalului de încredere, raportând atunci când modelul nu ar trebui să fie considerat de încredere

Cercetătorii de la MIT au dezvoltat recent o tehnică care permite rețelelor neuronale să calculeze rapid nivelurile de încredere, ceea ce ar putea ajuta oamenii de știință și alți utilizatori de inteligență artificială să știe când să aibă încredere în previziunile furnizate de un model.

Sistemele de inteligență artificială bazate pe rețele neuronale artificiale sunt responsabile pentru tot mai multe decizii în zilele noastre, inclusiv multe decizii care implică sănătatea și securitatea oamenilor. Din cauza acestui fapt, rețelele neuronale ar trebui să aibă o metodă de estimare a încrederii în ieșirile lor, permițând oamenilor de știință să determine cât de de încredere sunt previziunile lor. Recent, o echipă de cercetători de la Harvard și MIT a proiectat o modalitate rapidă pentru rețelele neuronale de a genera o indicație a încrederii modelului alături de previziunile sale.

Modelele de învățare profundă au devenit tot mai sofisticate în ultimul deceniu și acum pot depăși cu ușurință oamenii în sarcinile de clasificare a datelor. Modelele de învățare profundă sunt utilizate în domenii în care sănătatea și securitatea oamenilor pot fi puse în pericol dacă acestea eșuează, conducând vehicule autonome și diagnosticând afecțiuni medicale din scanări. În aceste cazuri, nu este suficient ca un model să fie corect în 99% din cazuri, deoarece acel 1% în care modelul eșuează are potențialul de a duce la catastrofe. Prin urmare, trebuie să existe o modalitate prin care oamenii de știință să poată determina cât de de încredere este o previziune dată.

Există câteva modalități prin care poate fi generat un interval de încredere împreună cu previziunile rețelelor neuronale, dar metodele tradiționale de estimare a incertitudinii pentru o rețea neuronală sunt destul de lente și consumatoare de resurse computaționale. Rețelele neuronale pot fi incredibil de mari și complexe, pline de miliarde de parametri. Generarea de previziuni poate fi în sine consumatoare de resurse și poate dura o perioadă substanțială de timp, iar generarea unui nivel de încredere pentru previziuni durează și mai mult. Cele mai multe metode anterioare de cuantificare a incertitudinii s-au bazat pe eșantionare sau rularea rețelei de mai multe ori pentru a obține o estimare a încrederii sale. Acest lucru nu este întotdeauna fezabil pentru aplicații care necesită trafic de mare viteză.

Conform MIT News, Alexander Amini conduce echipa combinată de cercetători de la MIT și Harvard, iar conform lui Amini, metoda dezvoltată de cercetătorii lor accelerează procesul de generare a estimărilor de incertitudine utilizând o tehnică numită “regresie evidențială profundă”. Amini a explicat prin MIT că oamenii de știință necesită atât modele de mare viteză, cât și estimări de încredere fiabile, astfel încât modelele neverosimile să poată fi recunoscute. Pentru a păstra atât viteza modelului, cât și pentru a genera o estimare a incertitudinii, cercetătorii au proiectat o modalitate de a estima incertitudinea dintr-o singură rulare a modelului.

Cercetătorii au proiectat modelul rețelei neuronale astfel încât o distribuție probabilistică să fie generată alături de fiecare decizie. Rețeaua păstrează dovezi pentru deciziile sale în timpul procesului de antrenare, generând o distribuție de probabilitate pe baza acestor dovezi. Distribuția evidențială reprezintă încrederea modelului și reprezintă incertitudinea atât pentru decizia finală a modelului, cât și pentru datele de intrare originale. Capturarea incertitudinii atât pentru datele de intrare, cât și pentru decizii este importantă, deoarece reducerea incertitudinii depinde de cunoașterea sursei incertitudinii.

Cercetătorii au testat tehnica lor de estimare a incertitudinii aplicând-o unei sarcini de viziune computerizată. După ce modelul a fost antrenat pe o serie de imagini, a generat atât previziuni, cât și estimări de incertitudine. Rețeaua a proiectat corect o incertitudine ridicată pentru instanțele în care s-a făcut o previziune greșită. “A fost foarte calibrat la erorile pe care rețeaua le face, ceea ce credem că a fost unul dintre cele mai importante lucruri în evaluarea calității unui nou estimator de incertitudine”, a spus Amini referitor la rezultatele testelor modelului.

Echipa de cercetare a efectuat și alte teste cu arhitectura lor de rețea. Pentru a testa tehnica la limită, au testat și date “în afara distribuției”, seturi de date compuse din obiecte pe care rețeaua nu le-a văzut niciodată. Așa cum era de așteptat, rețeaua a raportat o incertitudine mai mare pentru aceste obiecte necunoscute. Când a fost antrenat pe medii interioare, rețeaua a afișat o incertitudine ridicată atunci când a fost testată pe imagini din medii exterioare. Testele au arătat că rețeaua poate evidenția când deciziile sale sunt supuse unei incertitudini ridicate și nu ar trebui să fie considerate de încredere în anumite situații cu risc ridicat.

Echipa de cercetare a raportat chiar și că rețeaua poate discerne atunci când imaginile au fost falsificate. Când echipa de cercetare a modificat fotografii cu zgomot advers, rețeaua a marcat noile imagini modificate cu estimări de incertitudine ridicate, în ciuda faptului că efectul a fost prea subtil pentru a fi văzut de un observator uman obișnuit.

Dacă tehnica se dovedește a fi fiabilă, regresia evidențială profundă ar putea îmbunătăți siguranța modelelor de inteligență artificială în general. Conform lui Amini, regresia evidențială profundă ar putea ajuta oamenii să ia decizii atente atunci când utilizează modele de inteligență artificială în situații cu risc. Așa cum a explicat Amini prin MIT News:

“Începem să vedem tot mai multe dintre aceste [rețele neuronale] care ies din laboratorul de cercetare și intră în lumea reală, în situații care ating oamenii cu consecințe potențial letale. Orice utilizator al metodei, fie că este un medic sau o persoană în scaunul pasagerului unui vehicul, trebuie să fie conștient de orice risc sau incertitudine asociat cu acea decizie.”