Startups care creează unelte pentru a monitoriza IA și a promova utilizarea etică a IA

De-a lungul ultimului an, pare că se acordă din ce în ce mai multă atenție asigurării faptului că IA este utilizată în mod etic. Google (GOOGL ) și Microsoft (MSFT ) au avertizat recent investitorii că utilizarea incorectă a algoritmilor IA sau a algoritmilor IA proiectați defectuos prezintă riscuri etice și legale. Între timp, statul California a decis să adopte o lege care interzice utilizarea tehnologiei de recunoaștere facială de către agențiile de aplicare a legii din California.

Recent, startup-uri precum Arthur au încercat să proiecteze unelte care să ajute inginerii IA să cuantifice și să califice modul în care funcționează modelele lor de învățare automată. Conform unui raport din Wired, Arthur încearcă să ofere dezvoltatorilor de IA un set de unelte care să le facă mai ușor să descopere probleme atunci când proiectează aplicații financiare, cum ar fi dezvăluirea prejudecăților în deciziile de investiții sau de creditare.

Eforturile lui Arthur sunt îndreptate spre rezolvarea “problemei cutiei negre” a IA. Problema cutiei negre în IA descrie modul în care, spre deosebire de codul tradițional, care poate fi ușor interpretat de cei care știu să îl citească, sistemele de învățare automată asociază caracteristici cu comportamente fără a dezvălui motivele pentru care aceste comportamente sunt selectate sau modul în care caracteristicile au fost interpretate. Cu alte cuvinte, într-un sistem cu cutie neagră, implementarea exactă a algoritmului este opacă.

Sistemele de învățare automată funcționează prin extragerea de modele din datele de intrare și prin raționament asupra acestor modele. Acest lucru se realizează prin faptul că un computer își scrie propriul cod prin manipularea anumitor funcții matematice. Pentru a aborda această problemă, cercetătorii și inginerii au nevoie de unelte care să facă observarea și analiza comportamentului software-ului de învățare automată mai ușoară. Startup-urile precum Arthur recunosc dificultatea rezolvării acestei probleme și nu pretind că au soluțiile optime, dar speră să facă progrese în acest domeniu și să facă mai ușoară deschiderea cutiei negre. Se speră că, dacă sistemele IA pot fi analizate mai ușor, va fi mai ușor să se corecteze probleme precum prejudecățile.

Companii mari precum Facebook (META ) au deja unele unelte pentru a analiza funcționarea internă a sistemelor de învățare automată. De exemplu, Facebook are un instrument numit Fairness Flow, care are scopul de a asigura că reclamele care recomandă locuri de muncă sunt direcționate către persoane din diferite medii. Cu toate acestea, este probabil că echipele mari de IA nu vor dori să investească timp în crearea unor astfel de unelte, și prin urmare există o oportunitate de afaceri pentru companiile care doresc să creeze unelte de monitorizare pentru utilizarea de către companiile de IA.

Arthur se concentrează pe crearea de unelte care să permită companiilor să mențină și să monitorizeze sistemele de IA după ce acestea au fost deja implementate. Uneltele lui Arthur sunt destinate să permită companiilor să vadă cum se schimbă performanța sistemului lor în timp, ceea ce ar putea, în teorie, să le permită să detecteze manifestări potențiale ale prejudecăților. Dacă un software de recomandare a creditelor începe să excludă anumite grupuri de clienți, poate fi setat un semnal care să indice faptul că sistemul necesită o revizuire pentru a se asigura că nu discriminează clienții pe baza unor atribute sensibile, cum ar fi rasa sau sexul.

Cu toate acestea, Arthur nu este singura companie care creează unelte care să permită companiilor de IA să revizuiască performanța algoritmilor lor. Multe startup-uri investesc în crearea de unelte pentru a lupta împotriva prejudecăților și a asigura faptul că algoritmii IA sunt utilizați în mod etic. Weights & Biases este o altă startup care creează unelte pentru a ajuta inginerii de învățare automată să analizeze posibilele probleme cu rețeaua lor. Toyota a utilizat uneltele create de Weights & Biases pentru a monitoriza dispozitivele de învățare automată în timp ce se antrenează. Între timp, startup-ul Fiddler lucrează la crearea unui set diferit de unelte de monitorizare a IA. IBM a creat chiar și un serviciu de monitorizare numit OpenScale.

Liz O’Sullivan, una dintre co-creatorii lui Arthur, a explicat că interesul pentru crearea de unelte care să ajute la rezolvarea problemei cutiei negre este determinat de o conștientizare crescândă a puterii IA.

„Oamenii încep să realizeze cât de puternice pot fi aceste sisteme și că trebuie să profite de beneficiile lor într-un mod responsabil”, a spus O’Sullivan.