Cercetătorii dezvoltă algoritmi meniți să prevină un comportament defectuos în IA

Împreună cu toate progresele și avantajele pe care inteligența artificială le-a arătat până acum, au existat și rapoarte despre efecte nedorite, cum ar fi prejudecățile rasiale și de gen în IA. Așadar, așa cum sciencealert.com pune întrebarea „cum pot oamenii de știință să se asigure că sistemele de gândire avansate pot fi corecte, sau chiar sigure?”

Răspunsul poate fi găsit în raportul cercetătorilor de la Stanford și Universitatea din Massachusetts Amherst, intitulat Prevenirea unui comportament nedorit al mașinilor inteligente. Așa cum eurekaalert.org notează în articolul său despre acest raport, IA începe să gestioneze sarcini sensibile, astfel că „factorii de decizie politică insistă ca oamenii de știință să ofere garanții că sistemele automate au fost proiectate pentru a minimiza, dacă nu chiar a evita, rezultate nedorite, cum ar fi riscurile excesive sau prejudecățile rasiale și de gen.”

Raportul prezentat de acest grup de cercetători „prezintă o nouă tehnică care traduce un obiectiv vag, cum ar fi evitarea prejudecăților de gen, în criterii matematice precise care ar permite unui algoritm de învățare automată să instruiască o aplicație IA pentru a evita acest comportament.”

Scopul a fost, așa cum Emma Brunskill, asistent profesor de științe computaționale la Stanford și autor senior al articolului, subliniază „vrem să promovăm IA care respectă valorile utilizatorilor săi umani și justifică încrederea pe care o acordăm sistemelor autonome.”

Ideea a fost să se definească rezultate sau comportamente „nesigure” sau „incorecte” în termeni matematici. Acest lucru, conform cercetătorilor, ar face posibilă „crearea de algoritmi care pot învăța din date cum să evite aceste rezultate nedorite cu încredere ridicată.”

Al doilea scop a fost să „dezvolte o serie de tehnici care să facă ușor pentru utilizatori să specifice ce tipuri de comportament nedorit doresc să limiteze și să permită designerilor de învățare automată să prevadă cu încredere că un sistem instruit folosind date trecute poate fi folosit cu încredere în situații din lumea reală.”

ScienceAlert spune că echipa a numit acest nou sistem  ‘algoritmi Seldonieni’, după personajul central al seriei de romane științifico-fantastice Foundation de Isaac Asimov. Philip Thomas, asistent profesor de științe computaționale la Universitatea din Massachusetts Amherst și autor principal al articolului, notează, “Dacă folosesc un algoritm Seldonian pentru tratamentul diabetului, pot specifica că un comportament nedorit înseamnă niveluri periculoase de zahăr în sânge sau hipoglicemie.”

“Pot spune mașinii, ‘În timp ce încerci să îmbunătățești controlorul în pompă, nu face modificări care ar crește frecvența hipoglicemiei.’ Majoritatea algoritmilor nu oferă o modalitate de a impune acest tip de constrângere asupra comportamentului; nu a fost inclus în proiectele inițiale.”

Thomas adaugă că „acest cadru Seldonian va face mai ușor pentru designerii de învățare automată să integreze instrucțiuni de evitare a comportamentului în toate tipurile de algoritmi, într-un mod care să le permită să evalueze probabilitatea ca sistemele instruite să funcționeze corect în lumea reală.”

În ceea ce o privește pe Emma Brunskill, ea notează, de asemenea, că „a gândi cum putem crea algoritmi care să respecte valorile precum siguranța și corectitudinea este esențial, pe măsură ce societatea se bazează tot mai mult pe IA.”