Nora Petrova, Inginer de Învățare Automată și Consultant de Inteligență Artificială la Prolific – Seria de Interviuri

Nora Petrova, este Inginer de Învățare Automată și Consultant de Inteligență Artificială la Prolific. Prolific a fost fondat în 2014 și deja numără organizații precum Google, Universitatea Stanford, Universitatea Oxford, King’s College London și Comisia Europeană printre clienții săi, utilizând rețeaua sa de participanți pentru a testa produse noi, a antrena sisteme de inteligență artificială în domenii precum urmărirea privirii și a determina dacă aplicațiile cu interfață umană funcționează așa cum și-au propus creatorii.

Puteți împărtăși câteva informații despre background-ul dvs. la Prolific și cariera până în prezent? Ce v-a interesat în inteligența artificială?

Rolul meu la Prolific se împarte între a fi consilier în ceea ce privește cazurile de utilizare a inteligenței artificiale și oportunitățile, și a fi un inginer de învățare automată mai implicat. Am început cariera mea în ingineria software și am trecut treptat la învățarea automată. Am petrecut cea mai mare parte a ultimilor 5 ani concentrându-mă pe cazuri de utilizare și probleme de NLP.

Ceea ce m-a interesat inițial în inteligența artificială a fost capacitatea de a învăța din date și legătura cu modul în care oamenii învață și cum sunt structurate creierelor noastre. Cred că învățarea automată și neuroștiința pot completa una alta și ne pot ajuta să înțelegem mai bine cum să construim sisteme de inteligență artificială capabile să navigheze în lume, să arate creativitate și să aducă valoare societății.

Care sunt unele dintre cele mai mari probleme de polarizare a inteligenței artificiale de care sunteți conștient?

Polarizarea este inerentă în datele pe care le introducem în modelele de inteligență artificială și eliminarea acesteia complet este foarte dificilă. Cu toate acestea, este imperativ să fim conștienți de polarizările care există în date și să găsim modalități de a reduce polarizările dăunătoare înainte de a încredința modelelor sarcini importante în societate. Cele mai mari probleme cu care ne confruntăm sunt modelele care perpetuează stereotipuri dăunătoare, prejudecăți sistemice și nedreptăți în societate. Trebuie să fim conștienți de modul în care aceste modele de inteligență artificială vor fi utilizate și de influența pe care o vor avea asupra utilizatorilor lor și să ne asigurăm că sunt sigure înainte de a le aproba pentru utilizări sensibile.

Unele domenii proeminente în care modelele de inteligență artificială au demonstrat polarizări dăunătoare includ discriminarea grupurilor subreprezentate în admiterea la școli și universități și stereotipurile de gen care afectează negativ recrutarea femeilor. Nu numai atât, dar un algoritm de justiție penală a fost găsit să fi etichetat apărătorii afro-americani ca „risc ridicat” la o rată de aproape două ori mai mare decât cea la care a etichetat apărătorii albi în SUA, în timp ce tehnologia de recunoaștere facială suferă încă de rate de eroare ridicate pentru minorități din cauza lipsei de date de antrenare reprezentative.

Exemplele de mai sus acoperă o mică subsecțiune a polarizărilor demonstrate de modelele de inteligență artificială și putem prevedea probleme mai mari care vor apărea în viitor dacă nu ne concentrăm pe reducerea polarizării acum. Este important să ținem cont de faptul că modelele de inteligență artificială învață din date care conțin aceste polarizări din cauza deciziilor umane influențate de polarizări necontrolate și inconștiente. În multe cazuri, a recurge la un decident uman nu poate elimina polarizarea. Reducerea cu adevărat a polarizărilor va implica înțelegerea modului în care acestea sunt prezente în datele pe care le utilizăm pentru a antrena modelele, izolarea factorilor care contribuie la predicții polarizate și decizia colectivă a ceea ce dorim să ne bazăm pe decizii importante. Dezvoltarea unui set de standarde, astfel încât să putem evalua modelele pentru siguranță înainte de a le utiliza pentru cazuri sensibile, va fi un pas important înainte.

Halucinațiile în inteligența artificială sunt o problemă uriașă cu orice tip de inteligență artificială generativă. Puteți discuta cum umanul în buclă (HITL) antrenează pentru a reduce aceste probleme?

Halucinațiile în modelele de inteligență artificială sunt problematice în anumite cazuri de utilizare a inteligenței artificiale generative, dar este important să notăm că nu sunt o problemă în sine. În anumite utilizări creative ale inteligenței artificiale generative, halucinațiile sunt binevenite și contribuie la o reacție mai creativă și mai interesantă.

Ele pot fi problematice în cazuri de utilizare în care se pune un accent puternic pe informații factuale. De exemplu, în sănătate, unde luarea deciziilor robuste este cheia, oferirea profesioniștilor din sănătate a unor informații factuale fiabile este imperativă.

HITL se referă la sistemele care permit oamenilor să ofere feedback direct unui model pentru predicții care se situează sub un anumit nivel de încredere. În contextul halucinațiilor, HITL poate fi utilizat pentru a ajuta modelele să învețe nivelul de certitudine pe care ar trebui să-l aibă pentru diferite cazuri de utilizare înainte de a oferi un răspuns. Aceste praguri vor varia în funcție de cazul de utilizare și învățarea modelelor cu privire la diferențele de rigurozitate necesare pentru a răspunde la întrebări din diferite cazuri de utilizare va fi un pas cheie pentru a reduce halucinațiile problematice. De exemplu, într-un caz de utilizare juridic, oamenii pot demonstra modelelor de inteligență artificială că verificarea faptelor este un pas necesar atunci când se răspunde la întrebări bazate pe documente juridice complexe cu multe clauze și condiții.

Cum ajută lucrătorii de inteligență artificială, cum ar fi cei care anotează date, la reducerea potențialelor probleme de polarizare?

Lucrătorii de inteligență artificială pot ajuta în primul rând la identificarea polarizărilor prezente în date. Odată ce polarizarea a fost identificată, devine mai ușor să găsim strategii de reducere a acesteia. Anotatorii de date pot ajuta, de asemenea, la găsirea de modalități de a reduce polarizarea. De exemplu, pentru sarcinile de NLP, pot ajuta prin oferirea de alternative pentru fragmente problematice de text, astfel încât polarizarea prezentă în limbaj să fie redusă. În plus, diversitatea în rândul lucrătorilor de inteligență artificială poate ajuta la reducerea problemelor de polarizare în etichetarea datelor.

Cum vă asigurați că lucrătorii de inteligență artificială nu introduc involuntar polarizări umane în sistemul de inteligență artificială?

Este, într-adevăr, o problemă complexă care necesită o atenție atentă. Eliminarea polarizărilor umane este aproape imposibilă, și lucrătorii de inteligență artificială pot introduce involuntar polarizări în modelele de inteligență artificială, astfel încât este cheia dezvoltării unor procese care să îndrume lucrătorii către cele mai bune practici.

Unele pași care pot fi făcuți pentru a minimiza polarizările umane includ:

• Antrenarea cuprinzătoare a lucrătorilor de inteligență artificială cu privire la polarizările inconștiente și oferirea de unelte pentru a identifica și gestiona polarizările lor în timpul etichetării.
• Lista de verificare care îi amintește lucrătorilor de inteligență artificială să verifice răspunsurile lor înainte de a le trimite.
• Realizarea unei evaluări care verifică nivelul de înțelegere pe care îl au lucrătorii de inteligență artificială, unde li se arată exemple de răspunsuri din diferite tipuri de polarizări și li se cere să aleagă răspunsul cel mai puțin polarizat.

Regulatorii din întreaga lume intenționează să reglementeze ieșirile de inteligență artificială, ce credeți că regulatorii nu înțeleg și ce au drept?

Este important să începem prin a spune că aceasta este o problemă foarte dificilă la care nimeni nu a găsit încă soluția. Societatea și inteligența artificială se vor evolua și vor influența una alte în moduri foarte greu de anticipat. O parte a strategiei eficiente pentru găsirea unor practici de reglementare robuste și utile este să acordăm atenție ceea ce se întâmplă în inteligența artificială, cum răspund oamenii la aceasta și ce efecte are asupra diferitelor industrii.

Cred că o piedică semnificativă pentru reglementarea eficientă a inteligenței artificiale este lipsa de înțelegere a ceea ce pot și nu pot face modelele de inteligență artificială și a modului în care funcționează. Acest lucru, la rândul său, face mai dificilă anticiparea consecințelor pe care aceste modele le vor avea asupra diferitelor sectoare și secțiuni ale societății. O altă zonă care lipsește este leadershipul în gândire cu privire la modul în care să aliniem modelele de inteligență artificială cu valorile umane și ce înseamnă siguranța în termeni mai concreți.

Regulatorii au căutat colaborarea cu experți în domeniul inteligenței artificiale, au fost atenți să nu sufocoze inovația cu reguli prea stricte în jurul inteligenței artificiale și au început să ia în considerare consecințele inteligenței artificiale asupra pierderii locurilor de muncă, care sunt toate domenii foarte importante de focus. Este important să mergem cu atenție, pe măsură ce gândurile noastre despre reglementarea inteligenței artificiale se clarifică în timp și să implicăm cât mai multe persoane pentru a aborda această problemă într-un mod democratic.

Cum pot soluțiile Prolific să ajute întreprinderile la reducerea polarizării inteligenței artificiale și a altor probleme pe care le-am discutat?

Colectarea datelor pentru proiectele de inteligență artificială nu a fost întotdeauna un proces considerat sau deliberativ. Am văzut anterior metode de extragere, externalizare și alte metode care au curs. Cu toate acestea, modul în care antrenăm inteligența artificială este crucial, și modelele de inteligență artificială de ultimă generație vor trebui să fie construite pe date intenționat colectate, de la oameni reali și de la cei cu care avem contact direct. Aici este unde Prolific face o impresie.

Alte domenii, cum ar fi sondajele, cercetarea de piață sau cercetarea științifică, au învățat acest lucru de mult timp. Publicul pe care îl eşantionați are un impact mare asupra rezultatelor pe care le obțineți. Inteligența artificială începe să se alinieze, și ajungem la un punct de răscruce acum.

Acum este momentul să începem să ne îngrijim de utilizarea unor eşantioane mai bune și să lucrăm cu grupuri mai reprezentative pentru antrenarea și rafinarea inteligenței artificiale. Ambele sunt critice pentru dezvoltarea unor modele sigure, lipsite de polarizare și aliniate.

Prolific poate ajuta la furnizarea unor instrumente potrivite pentru ca întreprinderile să efectueze experimente de inteligență artificială într-un mod sigur și să colecteze date de la participanți, unde polarizarea este verificată și mitigată pe parcurs. Putem oferi îndrumări cu privire la cele mai bune practici în ceea ce privește colectarea și selecția datelor, compensarea și tratamentul echitabil al participanților.

Care sunt opiniile dvs. cu privire la transparența inteligenței artificiale, ar trebui utilizatorii să poată vedea ce date a fost antrenat un algoritm de inteligență artificială?

Cred că există avantaje și dezavantaje ale transparenței și un echilibru bun nu a fost încă găsit. Companiile rețin informații cu privire la datele pe care le-au utilizat pentru a antrena modelele lor de inteligență artificială din cauza fricii de litigii. Alții au lucrat pentru a face modelele lor de inteligență artificială disponibile public și au lansat toate informațiile cu privire la datele pe care le-au utilizat. Transparența totală deschide oportunități pentru exploatarea vulnerabilităților acestor modele. Secreția totală nu ajută la construirea încrederii și la implicarea societății în construirea unei inteligențe artificiale sigure. Un echilibru bun ar oferi suficientă transparență pentru a ne face să avem încredere că modelele de inteligență artificială au fost antrenate pe date de calitate bună și relevante pe care am consimțit să le utilizăm. Trebuie să acordăm atenție modului în care inteligența artificială afectează diferite industrii și să deschidem dialoguri cu părțile interesate și să ne asigurăm că dezvoltăm practici care funcționează pentru toată lumea.

Cred, de asemenea, că este important să luăm în considerare ce ar găsi utilizatorii satisfăcător în ceea ce privește explicabilitatea. Dacă doresc să înțeleagă de ce un model produce un anumit răspuns, oferirea datelor brute pe care modelul a fost antrenat nu va ajuta probabil la răspunsul la întrebarea lor. Astfel, construirea unor instrumente bune de explicabilitate și interpretare este importantă.

Cercetarea alinierii inteligenței artificiale vizează direcționarea sistemelor de inteligență artificială către obiectivele, preferințele sau principiile etice ale oamenilor. Puteți discuta cum sunt antrenați lucrătorii de inteligență artificială și cum este utilizat acest lucru pentru a asigura că inteligența artificială este aliniată cât mai bine posibil?

Acesta este un domeniu activ de cercetare, și nu există încă un consens cu privire la ce strategii ar trebui să utilizăm pentru a alinia modelele de inteligență artificială cu valorile umane sau chiar care set de valori ar trebui să ne străduim să aliniem.

Lucrătorii de inteligență artificială sunt, de obicei, rugați să reprezinte autentic preferințele lor și să răspundă la întrebări cu privire la preferințele lor în mod sincer, respectând, de asemenea, principiile de siguranță, lipsă de polarizare, ne-dăunare și utilitate.

În ceea ce privește alinierea către obiective, principii etice sau valori, există multiple abordări care par promițătoare. Un exemplu notabil este lucrarea Institutului de Aliniere a Semnificației pe Reglarea Democratică. Există un post excelent care introduce ideea aici.

Mulțumim pentru acest interviu minunat și pentru împărtășirea opiniilor dvs. despre polarizarea inteligenței artificiale; cititorii care doresc să afle mai multe ar trebui să viziteze Prolific.