Complacența automatizării: Cum să păstrăm oamenii în buclă

Într-un eveniment dramatic, Robotaxi, vehicule autonome care preiau pasageri fără operator uman, au fost recent lansate în San Francisco. După o audiere publică controversată de 7 ore, decizia a fost adoptată de Comisia de Utilități Publice din California. În ciuda protestelor, există un sentiment de inevitabilitate în aer. California a relaxat treptat restricțiile din începutul anului 2022. Noile reguli permit celor două companii cu permise – Waymo și Cruise – să trimită aceste taxiuri în orice parte a orașului, cu excepția autostrăzilor, și să perceapă tarife pentru pasageri.

Idea de taxiuri autonome tinde să provoace două emoții contradictorii: entuziasm („taxiuri la un cost mult mai mic!”) și teamă („o să mă lovească pe mine sau pe copiii mei?”). Prin urmare, regulatorii solicită adesea ca mașinile să fie testate cu pasageri care pot interveni și controla sistemele înainte de a apărea un accident. Din nefericire, faptul de a avea oameni în alertă, gata să anuleze sistemele în timp real, nu poate fi cea mai bună modalitate de a asigura siguranța.

În fapt, din cele 18 decese din Statele Unite asociate cu accidente de mașini autonome (până în februarie al acestui an), toate aveau o formă de control uman, fie în mașină, fie la distanță. Acesta include unul dintre cele mai faimoase, care a avut loc târziu în noapte, pe o stradă suburbană largă din Tempe, Arizona, în 2018. Un vehicul de test automatizat al companiei Uber a ucis o femeie de 49 de ani, pe nume Elaine Herzberg, care alerga cu bicicleta pentru a traversa strada. Operatorul uman din scaunul pasagerului se uita în jos, iar mașina nu i-a avertizat până la mai puțin de o secundă înainte de impact. El a apucat volanul prea târziu. Accidentul a determinat Uber să suspende testarea mașinilor autonome. În cele din urmă, a vândut divizia de vehicule autonome, care făcuse parte integrantă din strategia sa de afaceri.

Operatorul a ajuns în închisoare din cauza complacenței automate, un fenomen descoperit pentru prima dată în zilele de început ale instruirii piloților. Supraincrederea este o dinamică frecventă cu sistemele de inteligență artificială. Cu cât sistemul este mai autonom, cu atât operatorii umani tind să aibă mai multă încredere în el și să nu acorde atenție deplină. Ne plictisim urmărind aceste tehnologii. Când un accident este pe cale să se întâmple, nu ne așteptăm la el și nu reacționăm la timp.

Oamenii sunt naturals la ceea ce expertul în risc, Ron Dembo, numește „gândirea riscului” – o modalitate de a gândi care nu poate fi încă emulată de învățarea automată. Acesta este capacitatea de a recunoaște, atunci când răspunsul nu este evident, că ar trebui să ne oprim sau să încetinim. Gândirea riscului este esențială pentru sistemele automate, ceea ce creează un dilemă. Oamenii vor să fie în buclă, dar plasarea noastră sub control atunci când ne bazăm atât de mult pe sistemele automate poate face lucrurile și mai rele.

Cum, atunci, pot dezvoltatorii de sisteme automate să rezolve această dilemă, astfel încât experimentele precum cel din San Francisco să se încheie pozitiv? Răspunsul este o diligență suplimentară, nu doar înainte de momentul impactului, ci și în stadiile incipiente de proiectare și dezvoltare. Toate sistemele de inteligență artificială implică riscuri atunci când sunt lăsate necontrolate. Mașinile autonome nu vor fi lipsite de risc, chiar dacă se dovedesc a fi mai sigure, în medie, decât mașinile conduse de oameni.

Accidentul Uber arată ce se întâmplă atunci când nu gândim cu intenționalitate. Pentru a face acest lucru, avem nevoie de o fricționare creativă: aducerea mai multor perspective umane în joc cu mult înainte ca aceste sisteme să fie lansate. Cu alte cuvinte, gândirea prin implicațiile sistemelor de inteligență artificială, și nu doar prin aplicațiile lor, necesită perspectiva comunităților care vor fi direct afectate de tehnologie.

Waymo și Cruise au apărat ambele înregistrările de siguranță ale vehiculelor lor, pe baza probabilității statistice. Cu toate acestea, această decizie transformă San Francisco într-un experiment viu. Când rezultatele vor fi numărate, va fi extrem de important să capturăm datele corecte, să împărtășim succesele și eșecurile și să lăsăm comunitățile afectate să participe, alături de specialiști, politicieni și oameni de afaceri. Cu alte cuvinte, să păstrăm toți oamenii în buclă. Altfel, riscăm complacența automatizării – disponibilitatea de a delega luarea deciziilor către sistemele de inteligență artificială – la o scară foarte mare.

Juliette Powell și Art Kleiner sunt co-autori ai noii cărți Dilema Inteligenței Artificiale: 7 Principii pentru Tehnologia Responsabilă.