Startups care creează instrumente pentru a monitoriza IA și a promova utilizarea etică a IA

Pe parcursul ultimului an, pare că se acordă din ce în ce mai multă atenție asigurării faptului că IA este utilizată în mod etic. Google și Microsoft au avertizat recent investitorii că utilizarea incorectă a algoritmilor IA sau a algoritmilor IA proiectați defectuos prezintă riscuri etice și legale. Între timp, statul California a decis recent să adopte o lege care interzice utilizarea tehnologiei de recunoaștere facială de către agențiile de aplicare a legii din California.

Recent, startup-uri precum Arthur au încercat să proiecteze instrumente care să ajute inginerii IA să cuantifice și să califice modul în care funcționează modelele lor de învățare automată. Conform raportului Wired, Arthur încearcă să ofere dezvoltatorilor de IA un set de instrumente care să le facă mai ușor să descopere probleme atunci când proiectează aplicații financiare, cum ar fi dezvăluirea prejudecăților în deciziile de investiții sau de creditare.

Eforturile lui Arthur sunt îndreptate spre soluționarea problemei “cutiei negre” a IA. Problema cutiei negre în IA descrie modul în care, spre deosebire de codul tradițional, care poate fi ușor interpretat de cei care știu să-l citească, sistemele de învățare automată asociază caracteristici cu comportamente fără a dezvălui motivele pentru care aceste comportamente sunt selectate / modul în care caracteristicile au fost interpretate. Cu alte cuvinte, într-un sistem de cutie neagră, implementarea exactă a algoritmului este opacă.

Sistemele de învățare automată funcționează prin extragerea de modele din datele de intrare și prin raționament despre aceste modele. Acest lucru se realizează prin faptul că un computer își scrie propriul cod prin manipularea unor funcții matematice. Pentru a soluționa această problemă, cercetătorii și inginerii au nevoie de instrumente care să facă observarea și analiza comportamentului software-ului de învățare automată mai ușoară. Startup-urile precum Arthur recunosc dificultatea soluționării acestei probleme și nu pretind că au soluțiile optime, dar speră să facă progrese în acest domeniu și să facă deschiderea cutiei negre un pic mai ușoară. Se speră că, dacă sistemele IA pot fi analizate mai ușor, va fi mai ușor să se corecteze probleme precum prejudecățile.

Companiile mari, precum Facebook, au deja unele instrumente pentru a analiza funcționarea internă a sistemelor de învățare automată. De exemplu, Facebook are un instrument numit Fairness Flow, care este destinat să asigure că reclamele care recomandă locuri de muncă oamenilor țintesc oameni din diferite medii. Cu toate acestea, este probabil ca echipele mari de IA să nu dorească să investească timp în crearea unor astfel de instrumente, și prin urmare există o oportunitate de afaceri pentru companiile care doresc să creeze instrumente de monitorizare pentru utilizarea de către companiile de IA.

Arthur se concentrează pe crearea de instrumente care să permită companiilor să întrețină și să monitorizeze sistemele de IA după ce sistemul a fost deja implementat. Instrumentele lui Arthur sunt destinate să permită companiilor să vadă cum se schimbă performanța sistemului lor în timp, ceea ce ar putea, teoretic, să permită companiilor să detecteze manifestări potențiale ale prejudecăților. Dacă un software de recomandare a creditelor unei companii începe să excludă anumite grupuri de clienți, poate fi setat un semnal care să indice că sistemul necesită revizuire pentru a se asigura că nu discriminează clienții pe baza unor atribute sensibile, cum ar fi rasa sau sexul.

Cu toate acestea, Arthur nu este singura companie care creează instrumente care să permită companiilor de IA să revizuiască performanța algoritmilor lor. Multe startup-uri investesc în crearea de instrumente pentru a lupta împotriva prejudecăților și a asigura faptul că algoritmii IA sunt utilizați în mod etic. Weights & Biases este o altă startup care creează instrumente pentru a ajuta inginerii de învățare automată să analizeze posibilele probleme cu rețeaua lor. Toyota a utilizat instrumentele create de Weights & Biases pentru a monitoriza dispozitivele de învățare automată în timp ce se antrenează. Între timp, startup-ul Fiddler lucrează la crearea unui set diferit de instrumente de monitorizare a IA. IBM a creat chiar și propriul serviciu de monitorizare numit OpenScale.

Liz O’Sullivan, una dintre co-creatorii lui Arthur, a explicat că interesul pentru crearea de instrumente care să ajute la soluționarea problemei Cutiei Negre este determinat de o conștientizare tot mai mare a puterii IA.

“Oamenii încep să realizeze cât de puternice pot fi aceste sisteme și că trebuie să profite de beneficiile lor într-un mod responsabil”, a spus O’Sullivan.