Complacența automatizării: Cum să puneți oamenii înapoi în buclă

Într-un eveniment dramatic, Robotaxi, vehicule autonome care iau curse fără operator uman, au fost recent lansate în San Francisco. După o ședință publică controversată de 7 ore, decizia a fost adoptată de Comisia de Utilități Publice din California. În ciuda protestelor, există un sentiment de inevitabilitate în aer. California a relaxat treptat restricțiile de la începutul anului 2022. Noile reguli permit celor două companii cu permise – Waymo și Cruise, deținute de Alphabet și GM – să trimită aceste taxiuri oriunde în orașul de 7 mile pătrate, cu excepția autostrăzilor, și să perceapă tarife călătorilor. Ideea de taxiuri autonome tinde să provoace două emoții contradictorii: entuziasm („taxiuri la un cost mult mai mic!”) și teamă („o să mă lovească pe mine sau pe copiii mei?”). Prin urmare, regulatorii solicită adesea ca mașinile să fie testate cu pasageri care pot interveni și controla comenzile înainte de a apărea un accident. Din nefericire, faptul de a avea oameni în alertă, gata să anuleze sistemele în timp real, nu poate fi cel mai bun mod de a asigura siguranța. În fapt, din cele 18 decese din Statele Unite asociate cu accidente de mașini autonome (până în februarie al acestui an), toate aveau o formă de control uman, fie în mașină, fie la distanță. Acest lucru include unul dintre cele mai faimoase, care a avut loc târziu într-o noapte pe o stradă suburbană largă în Tempe, Arizona, în 2018. Un vehicul de test Uber automat a ucis o femeie de 49 de ani pe nume Elaine Herzberg, care alerga cu bicicleta pentru a traversa strada. Operatorul uman din scaunul pasagerului se uita în jos, iar mașina nu i-a alertat până cu mai puțin de o secundă înainte de impact. Ei au apucat volanul prea târziu. Accidentul a determinat Uber să suspende testarea mașinilor autonome. În cele din urmă, a vândut divizia de vehicule autonome, care făcea parte din strategia sa de afaceri. Operatorul a ajuns în închisoare din cauza complacenței automate, un fenomen descoperit pentru prima dată în zilele de început ale pregătirii piloților. Supraincrederea este o dinamică frecventă cu sistemele de inteligență artificială. Cu cât sistemul este mai autonom, cu atât operatorii umani tind să aibă încredere în el și să nu acorde atenție deplină. Ne plictisim urmărind aceste tehnologii. Când un accident este pe cale să se întâmple, nu ne așteptăm la el și nu reacționăm la timp. Oamenii sunt naturals la ceea ce expertul în risc, Ron Dembo, numește „gândirea riscului” – o modalitate de a gândi pe care nici măcar cele mai sofisticate sisteme de învățare automată nu o pot emula încă. Acesta este capacitatea de a recunoaște, atunci când răspunsul nu este evident, că ar trebui să încetinim sau să oprim. Gândirea riscului este critică pentru sistemele automate, iar acest lucru creează un dilemă. Oamenii vor să fie în buclă, dar punerea noastră în control atunci când ne bazăm atât de mult pe sistemele automate poate face lucrurile și mai rele. Cum, atunci, pot dezvoltatorii de sisteme automate să rezolve acest dilemă, astfel încât experimentele precum cea care are loc în San Francisco să se încheie pozitiv? Răspunsul este o diligență suplimentară, nu doar înainte de momentul impactului, ci și în stadiile incipiente de proiectare și dezvoltare. Toate sistemele de inteligență artificială implică riscuri atunci când sunt lăsate necontrolate. Mașinile autonome nu vor fi lipsite de risc, chiar dacă se dovedesc a fi mai sigure, în medie, decât mașinile conduse de oameni. Accidentul Uber arată ce se întâmplă atunci când nu gândim riscurile cu intenționalitate. Pentru a face acest lucru, avem nevoie de o fricțiune creativă: aducerea în joc a multiplelor perspective umane cu mult înainte ca aceste sisteme să fie lansate. Cu alte cuvinte, gândirea implicațiilor sistemelor de inteligență artificială, și nu doar a aplicațiilor, necesită perspectiva comunităților care vor fi direct afectate de tehnologie. Waymo și Cruise și-au apărat ambele înregistrările de siguranță ale vehiculelor, pe baza probabilității statistice. Cu toate acestea, această decizie transformă San Francisco într-un experiment viu. Când rezultatele vor fi numărate, va fi extrem de important să capturăm datele corecte, să împărtășim succesele și eșecurile și să lăsăm comunitățile afectate să se pronunțe, alături de specialiști, politicieni și oameni de afaceri. Cu alte cuvinte, păstrați toți oamenii în buclă. Altfel, riscăm complacența automatizării – disponibilitatea de a delega luarea deciziilor către sistemele de inteligență artificială – la o scară foarte mare. Juliette Powell și Art Kleiner sunt co-autori ai noii cărți Dilema IA: 7 principii pentru tehnologia responsabilă.