Ce înseamnă de fapt “omul în buclă”?

La începutul secolului al XX-lea, filosoful britanic Gilbert Ryle a inventat termenul “fantoma în mașină”. Scriind în Conceptul de minte, Ryle a folosit metafora pentru a se opune dualismului minte-corp, care susține că mintea și corpul există ca substanțe separate. Pentru Ryle, această diviziune a fost o greșeală, deoarece cogniția și acțiunea fizică erau inseparabile, parte a unui sistem unic, și nu două părți care interacționează.

Cu apariția inteligenței artificiale, o metaforă similară apare atunci când se vorbește despre utilizatorii de instrumente de inteligență artificială pentru a crește productivitatea: frecvent utilizatul “omul în buclă”. Dacă oamenii și sistemele inteligente sunt acum mai unite ca niciodată, construim o fuziune fără cusur sau creăm o iluzie convenabilă de control?

Start-up-urile se bazează puternic pe acest concept pentru a vorbi despre instrumentele lor. În timp ce promite inovație și liniște, realitatea este adesea mai complexă. Responsabilitatea poate deveni ușor difuză și trasabilitatea mai greu de urmărit.

Pe măsură ce sistemele de inteligență artificială pătrund mai adânc în domenii sensibile – de la educație la război – mizele nu mai sunt abstracte. Ce înseamnă de fapt “omul în buclă” și este acesta doar un eufemism pentru momentul în care acestea dispar complet?

1. Omul în buclă ca scut pentru responsabilitate

Folosit cu îngrijorare, termenul “omul în buclă” poate fi o modalitate ușoară de a transfera responsabilitatea fără a se implica cu adevărat. Așa cum observă mulți, o semnătură umană la sfârșitul unui proces nu garantează integritatea etică, mai ales dacă sistemul subiacent este prost proiectat sau insuficient înțeles.

Maysa Hawwash, fondator și CEO al Scale X, a scris despre alunecarea de la responsabilitate și este directă despre modul în care conceptul este adesea utilizat. “De fapt, nu este foarte diferit de alte modalități de transferare a sarcinii.” Hawwash a spus către Startup Beat, folosind exemplul modului în care managerii de resurse umane folosesc adesea o politică de semnătură pentru a îndepărta compania de răspundere. “Dacă aveți această politică și oamenii o citesc și semnează, atunci, ca companie, tehnic nu sunteți răspunzători, nu?”

Ce apare este un model familiar în sistemele corporatiste în care responsabilitatea este deplasată, mai degrabă decât eliminată. Hawwash consideră acest lucru ca fiind o cale leneșă, care evită gândirea critică sau înțelegerea domeniilor în care poate afecta oameni sau comunități. “Așa că transferați sarcina, și apoi nu contează dacă oamenii înțeleg politica, nu contează dacă politica are sens.”

În această abordare, “omul în buclă” riscă să devină mai puțin despre intervenția semnificativă și mai mult despre acoperirea procedurală. Pericolul aici nu este doar semantic. Când supravegherea este redusă la o semnătură, rolul uman devine simbolic, mai degrabă decât substanțial.

Hawwash a referit la o recentă atrocitate militară – școala din Minab, Iran – unde oamenii au aprobat un atac, dar prezența unui decident uman nu a însemnat neapărat claritate etică sau deliberare adecvată. “Când sunteți în război sau efectuați o intervenție chirurgicală complexă, nu aveți luxul de a folosi omul în buclă ca scut.”

2. Proiectarea pentru responsabilitate, nu doar supraveghere

Alternativa nu este de a abandona sistemele “omul în buclă”, ci de a le lua în serios ca angajamente de proiectare. Acest lucru înseamnă a merge dincolo de supravegherea simbolică către structuri de responsabilitate deliberate.

“Există această cursă pentru a aduce mai multă inteligență artificială pe piață. Nu există prea multă gândire din perspectiva proiectării, cum ar fi impactul în aval asupra comunităților, asupra oamenilor sau asupra utilizatorilor finali”, a spus Hawwash.

Viteza a devenit variabila competitivă dominantă. În această cursă, responsabilitatea este adesea amânată, mai degrabă decât încorporată. Rezultatul este un model reactiv de etică, în care remedierea problemelor are loc după implementare, mai degrabă decât anticiparea lor în timpul dezvoltării.

Accesibilitatea poate accelera adoptarea, dar conduce și la consecințe mai amplificate. Sistemele nu mai sunt confinate la utilizatorii tehnici, deoarece pot modela decizii pentru oameni cu niveluri diferite de înțelegere și context. Într-un astfel de mediu, responsabilitatea nu poate fi externalizată către utilizatorul final.

3. Omul în buclă ca acuratețe și responsabilitate

Abhay Gupta, co-fondator al Frizzle, oferă o perspectivă mai operațională – una bazată pe construirea unui sistem în care supravegherea umană este atât practică, cât și necesară.

Compania sa a apărut dintr-o problemă specifică: profesorii suprasolicitați. “În oraș auzi despre bancheri și consultanți care lucrează 70 de ore pe săptămână, dar nu auzi despre profesori care lucrează atât de mult. Așa că, din curiozitate, am intervievat sute de profesori și, în general, notarea a fost cea mai mare pierdere de timp.”

Automatizarea notării poate părea simplă, dar complexitatea matematicii scrise de mână introduce limitări reale pentru inteligența artificială. “Există problema acurateței. Inteligența artificială nu este perfectă, așa că am construit un sistem omul în buclă. Dacă inteligența artificială nu este sigură – ca în cazul scrierii de mână murdare – semnalează pentru profesor să revizuiască și să aprobe sau să respingă.”

Aici, rolul uman nu este doar ornamental. Sistemul identifică în mod explicit incertitudinea sa și direcționează aceste cazuri către un om. “Pentru noi, este vorba despre acuratețe. Va exista întotdeauna un caz limită – poate 1-3% – în care inteligența artificială se luptă, așa că un om trebuie să intervină.”

Această abordare redefinesc “omul în buclă” ca mecanism de control al calității. Dar Gupta merge mai departe: “La nivelul său, inteligența artificială nu este 100% precisă – poate halucina sau produce ieșiri greșite. Omul în buclă acționează ca controlul final al calității înainte ca rezultatele să ajungă la utilizatorul final. Este, de asemenea, despre responsabilitate. Cineva trebuie să fie răspunzător pentru ieșire, și, în acest moment, aceea persoană trebuie să fie un om.”

În mod important, rolul uman păstrează și ceva mai puțin cuantificabil: aspectul relațional al predării. “Este, de asemenea, despre păstrarea aspectului uman al predării. Profesorii au stiluri diferite, așa că le permitem să personalizeze modul în care feedback-ul este livrat”

Redefinirea omului în buclă

Expresia “omul în buclă” poartă o simplitate liniștitoare. Sugerează că, indiferent cât de avansate devin sistemele noastre, un om rămâne în control și nu suntem doar “fantome în mașină”. Dar, pe măsură ce start-up-urile utilizează din ce în ce mai mult inteligența artificială în medii cu mize ridicate, această liniște necesită o examinare atentă.

Problema mai profundă este proiectarea. Dacă riscurile unui sistem sunt prost înțelese sau minimizate intenționat, introducerea unui om la sfârșit nu face prea mult pentru a corecta defectele de bază. În mod crucial, aceasta înseamnă, de asemenea, definirea rolului omului nu ca o soluție de rezervă, ci ca o parte integrantă a funcționării sistemului. Un om în buclă nu ar trebui să aprobe doar rezultatul. Start-up-urile ar trebui să își dorească să-și împuternicească personalul să modeleze, să conteste și, atunci când este necesar, să anuleze cu autoritate.