Prioritizarea încrederii în IA

Dependența societății de aplicațiile de inteligență artificială (IA) și de învățare automată (ML) continuă să crească, redefinind modul în care se consumă informația. De la chatbot-urile alimentate de IA la sintezele de informații produse de modelele de limbaj mare (LLM), societatea are acces la mai multă informație și la insight-uri mai profunde decât oricând. Cu toate acestea, pe măsură ce companiile tehnologice se grăbesc să implementeze IA pe întreaga lor lanț de valoare, o întrebare critică planează. Ne putem încrede cu adevărat în rezultatele soluțiilor de IA?

Ne putem încrede cu adevărat în ieșirile IA fără cuantificarea incertitudinii

Pentru o intrare dată, un model ar putea genera multe alte ieșiri la fel de plauzibile. Acest lucru poate fi cauzat de datele de antrenare insuficiente, variațiile în datele de antrenare sau alte cauze. Atunci când se implementează modele, organizațiile pot utiliza cuantificarea incertitudinii pentru a oferi utilizatorilor finali o înțelegere mai clară a nivelului de încredere pe care ar trebui să îl aibă în ieșirea unui model de IA/ML. Cuantificarea incertitudinii este procesul de estimare a celorlalte ieșiri care ar fi putut fi.
Închipuiți-vă un model care prezice temperatura maximă de mâine. Modelul ar putea genera ieșirea 21ºC, dar cuantificarea incertitudinii aplicată acestei ieșiri ar putea indica că modelul ar fi putut la fel de bine să genereze ieșirile 12 ºC, 15 ºC sau 16 ºC; știind acest lucru, cât de mult ne putem încrede acum în simpla previziune de 20 ºC? În ciuda potențialului său de a inspira încredere sau de a sfătui prudența, multe organizații aleg să sară peste cuantificarea incertitudinii din cauza lucrului suplimentar pe care trebuie să îl facă pentru a o implementa, precum și din cauza cerințelor sale asupra resurselor de calcul și a vitezei de inferență.
Sistemele cu omul în buclă, cum ar fi sistemele de diagnostic și prognostic medical, implică oameni în procesul de luare a deciziilor. Prin a avea încredere oarbă în datele soluțiilor de IA/ML din sănătate, profesioniștii din sănătate riscă să diagnosticheze greșit un pacient, ceea ce poate duce la rezultate slabe de sănătate sau și mai rău. Cuantificarea incertitudinii poate permite profesioniștilor din sănătate să vadă, cantitativ, când pot avea mai multă încredere în ieșirile IA și când ar trebui să trateze anumite previziuni cu prudență. La fel, într-un sistem complet automatizat, cum ar fi o mașină cu conducere autonomă, ieșirea unui model pentru estimarea distanței unui obstacol ar putea duce la un accident care ar fi putut fi evitat în prezența cuantificării incertitudinii asupra estimării distanței.

Provocarea utilizării metodelor Monte Carlo pentru a inspira încredere în modelele de IA/ML

Metodele Monte Carlo, dezvoltate în timpul Proiectului Manhattan, sunt o modalitate robustă de a efectua cuantificarea incertitudinii. Ele implică rularea algoritmilor de mai multe ori cu intrări ușor diferite până când iterațiile suplimentare nu oferă multă informație suplimentară în ieșiri; atunci când procesul ajunge la un astfel de stat, se spune că a convergent. Un dezavantaj al metodelor Monte Carlo este că sunt, de obicei, lente și consumatoare de resurse de calcul, necesitând multe repetiții ale calculului lor constitutiv pentru a obține o ieșire convergentă și au o variabilitate inerentă în aceste ieșiri. Deoarece metodele Monte Carlo utilizează ieșirile generatoarelor de numere aleatoare ca una dintre componentele lor cheie, chiar și atunci când rulați un Monte Carlo cu multe repetiții interne, rezultatele pe care le obțineți vor fi modificate atunci când repetați procesul cu parametri identici.

Calea spre încrederea în modelele de IA/ML

În contrast cu serverele tradiționale și acceleratoarele specifice IA, o nouă generație de platforme de calcul sunt în curs de dezvoltare pentru a procesa direct distribuțiile de probabilitate empirică în același mod în care platformele de calcul tradiționale procesează numerele întregi și valorile cu virgulă mobilă. Prin implementarea modelelor de IA pe aceste platforme, organizațiile pot automatiza implementarea cuantificării incertitudinii pe modelele lor pre-antrenate și pot, de asemenea, să accelereze alte tipuri de sarcini de calcul care au utilizat în mod tradițional metodele Monte Carlo, cum ar fi calculele VaR în finanțe. În special, pentru scenariul VaR, această nouă generație de platforme permite organizațiilor să lucreze cu distribuții empirice construite direct din datele reale de piață, în loc să aproximeze aceste distribuții cu mostre generate de generatoare de numere aleatoare, pentru analize mai precise și rezultate mai rapide.
În ultimii ani, s-au înregistrat progrese semnificative în domeniul calculului, care au redus considerabil barierelor pentru cuantificarea incertitudinii. Un articol de cercetare recent publicat de colegii mei și de mine, în cadrul Atelierului de învățare automată cu noi paradigme de calcul la NeurIPS 2024, subliniază modul în care o platformă de calcul de ultimă generație pe care am dezvoltat-o a permis analizei de cuantificare a incertitudinii să ruleze cu peste 100 de ori mai rapid comparativ cu rularea analizei tradiționale bazate pe Monte-Carlo pe un server de înaltă performanță Intel-Xeon. Progresele precum acestea permit organizațiilor care implementează soluții de IA să implementeze cuantificarea incertitudinii cu ușurință și să ruleze astfel de analize de cuantificare a incertitudinii cu costuri reduse.

Viitorul încrederii în IA/ML depinde de calculul avansat de ultimă generație

Pe măsură ce organizațiile integrează mai multe soluții de IA în societate, încrederea în IA/ML va deveni o prioritate de top. Întreprinderile nu își pot permite să sară peste implementarea facilităților în depunerile lor de modele de IA pentru a permite consumatorilor să știe când să trateze ieșirile anumitor modele de IA cu scepticism. Cererea pentru o astfel de explicabilitate și cuantificare a incertitudinii este clară, aproximativ trei din patru persoane indicând că ar fi mai dispuse să aibă încredere într-un sistem de IA dacă ar exista mecanisme de asigurare corespunzătoare.
Noile tehnologii de calcul fac ca implementarea și implementarea cuantificării incertitudinii să fie din ce în ce mai ușoară. În timp ce industria și organismele de reglementare se confruntă cu alte provocări asociate cu implementarea IA în societate, există cel puțin o oportunitate de a inspira încrederea pe care oamenii o necesită, prin faptul că cuantificarea incertitudinii devine norma în implementarea IA.