Co to tak naprawdę oznacza “człowiek w pętli”?

Na początku XX wieku brytyjski filozof Gilbert Ryle wprowadził termin “duch w maszynie”. Pisząc w The Concept of Mind, Ryle użył metafory, aby sprzeciwić się dualizmowi umysł-ciało, który utrzymuje, że umysł i ciało istnieją jako odrębne substancje. Dla Ryle’a ten podział był błędem, ponieważ poznawanie i działanie fizyczne były nierozdzielne, częścią jednego systemu, a nie dwóch oddziałujących części.

Wraz z pojawieniem się sztucznej inteligencji (AI) podobna metafora pojawia się, gdy mówimy o użytkownikach narzędzi AI, aby zwiększyć produktywność: często używane “człowiek w pętli”. Jeśli ludzie i inteligentne systemy są teraz bardziej połączeni niż kiedykolwiek, czy budujemy bezszwętną fuzję, czy tworzymy wygodną iluzję kontroli?

Start-upy opierają się silnie na tym pojęciu, aby mówić o swoich narzędziach. Chociaż obiecuje zarówno innowację, jak i pocieszenie, rzeczywistość jest często bardziej skomplikowana. Odpowiedzialność może łatwo stać się rozproszona, a rozliczalność trudniejsza do śledzenia.

Gdy systemy AI przenikają głębiej do wrażliwych dziedzin – od edukacji do wojny – stawka jest już nieabstrakcyjna. Co tak naprawdę oznacza “człowiek w pętli” i czy jest to tylko eufemizm dla momentu, gdy znikają one całkowicie?

1. Człowiek w pętli jako tarcza dla odpowiedzialności

Używany bez rozmysłu, termin “człowiek w pętli” może być łatwym sposobem, aby przesunąć odpowiedzialność bez prawdziwego zaangażowania w nią. Jak wielu zauważa, podpis człowieka na końcu procesu nie gwarantuje integralności etycznej, zwłaszcza jeśli podstawowy system jest słabo zaprojektowany lub niewystarczająco zrozumiany.

Maysa Hawwash, założycielka i CEO Scale X, napisała o tym, jak odpowiedzialność jest przerzucana i jest bezpośrednia w tym, jak pojęcie jest często wdrożone. “To tak naprawdę nieodległe od innych sposobów przerzucania ciężaru.” Hawwash powiedziała Startup Beat, używając przykładu, w jaki sposób menedżerowie HR często używają polityki zatwierdzania, aby przerzucić odpowiedzialność firmy. “Jeśli masz tę politykę i ludzie ją czytają i zatwierdzają, to jako firma technicznie nie jesteś odpowiedzialny, prawda?” powiedziała.

To, co się pojawia, to znany wzorzec w systemach korporacyjnych, gdzie odpowiedzialność jest przerzucana, a nie eliminowana. Hawwash widzi to jako leniwy sposób, który unika myślenia krytycznego lub zrozumienia obszarów, gdzie może to wpłynąć na ludzi lub społeczności. “Tak więc przerzucasz ciężar, a potem nie ma znaczenia, czy ludzie rozumieją politykę, nie ma znaczenia, czy polityka ma sens.”

W tym ujęciu “człowiek w pętli” ryzykuje stanie się mniej o znaczącej interwencji, a bardziej o procedurze pokrycia. Niebezpieczeństwo tutaj nie jest tylko semantyczne. Gdy nadzór jest redukowany do podpisu, rola człowieka staje się symboliczna, a nie istotna.

Hawwash odniosła się do niedawnego wojskowego okropieństwa – szkoły w Minab, Iran – gdzie ludzie zatwierdzili atak, ale obecność decydenta-ludzkiego niekoniecznie oznaczała etyczną klarowność lub odpowiednią debatę. “Gdy jesteś w wojnie lub prowadzisz skomplikowaną operację, nie masz luksusu czasu, aby użyć ‘człowieka w pętli’ jako tarczy.”

2. Projektowanie z odpowiedzialnością, a nie tylko nadzorem

Alternatywą nie jest porzucenie systemów “człowiek w pętli”, ale traktowanie ich poważnie jako zobowiązania projektowego. Oznacza to przechodzenie poza symboliczny nadzór w kierunku celowych struktur odpowiedzialności.

“Istnieje wielka gonitwa, aby dostać więcej AI na rynek. Nie ma zbyt wielu myślenia z perspektywy projektowej, jakie jest dalsze wpływ na społeczności, na ludzi lub na użytkowników końcowych”, powiedziała Hawwash.

Szybkość stała się dominującą zmienną konkurencyjną. W tej gonitwie odpowiedzialność jest często odraczana, a nie wbudowana. Wynikiem jest reaktywny model etyki, gdzie naprawianie problemów występuje po wdrożeniu, a nie podczas rozwoju.

Dostępność może przyspieszyć przyjęcie, ale prowadzi również do bardziej nasilonych konsekwencji. Systemy nie są już ograniczone do użytkowników technicznych, ponieważ mogą kształtować decyzje dla ludzi o różnym poziomie zrozumienia i kontekstu. W takim środowisku odpowiedzialność nie może być zlecona użytkownikowi końcowemu.

3. Człowiek w pętli jako dokładność i rozliczalność

Abhay Gupta, współzałożyciel Frizzle, oferuje bardziej operacyjną perspektywę – jedną opartą na budowaniu systemu, w którym nadzór człowieka jest zarówno praktyczny, jak i konieczny.

Jego firma powstała z konkretnego problemu: przeciążonych nauczycieli. “W mieście słyszy się o bankierach i konsultantach pracujących 70 godzin tygodniowo, ale nie słyszy się o nauczycielach pracujących tyle. Więc z ciekawości przeprowadziliśmy wywiady z setkami nauczycieli i na całej linii ocenianie było ich największym pochłaniaczem czasu.”

Zautomatyzowanie oceniania może się wydawać proste, ale złożoność ręcznie pisanych matematyki wprowadza realne ograniczenia dla AI. “Istnieje problem dokładności. AI nie jest doskonałe, więc zbudowaliśmy system ‘człowiek w pętli’. Jeśli AI nie jest pewne – jak w przypadku niechlujnego pisma – flaguje to do nauczyciela do przeglądu i zatwierdzenia lub odrzucenia.”

Tutaj rola człowieka nie jest tylko ozdobna. System wyraźnie identyfikuje swoją własną niepewność i kieruje te przypadki do człowieka. “Dla nas chodzi o dokładność. Zawsze będą przypadki brzegowe – może 1-3% – gdzie AI ma trudności, więc człowiek musi wkroczyć.”

To podejście przedefiniuje “człowieka w pętli” jako mechanizm kontroli jakości. Ale Gupta idzie dalej: “W swojej istocie AI nie jest 100% dokładne – może halucynować lub produkować błędne dane wyjściowe. ‘Człowiek w pętli’ działa jako ostateczna kontrola jakości przed wynikami dotarcia do użytkownika końcowego. To również o odpowiedzialności. Ktoś musi być odpowiedzialny za dane wyjściowe, a obecnie to nadal musi być człowiek.”

Co więcej, rola człowieka zachowuje coś mniej ilościowego: relacyjny aspekt nauczania. “To również o zachowaniu ludzkiej strony nauczania. Nauczyciele mają różne style, więc pozwalamy im dostosowywać, w jaki sposób informacje zwrotne są dostarczane”

Przedefiniowanie “człowieka w pętli”

Fraza “człowiek w pętli” niesie ze sobą pocieszającą prostotę. Sugestywnie wskazuje, że niezależnie od tego, jak zaawansowane stają się nasze systemy, człowiek pozostaje w kontrolce, a my nie jesteśmy po prostu “duchami w maszynie”. Ale gdy start-upy coraz częściej wdrażają AI w środowiskach o wysokich stawkach, to pocieszenie wymaga ścisłej kontroli.

Głębszym problemem jest projekt. Jeśli ryzyko systemu jest słabo zrozumiane lub celowo minimalizowane, wstawienie człowieka na końcu nie robi wiele, aby skorygować podstawowe błędy. Co więcej, oznacza to również definiowanie roli człowieka nie jako zabezpieczenia, ale jako integralnej części działania systemu. “Człowiek w pętli” nie powinien po prostu zatwierdzać wyniku. Start-upy powinny dążyć do umocnienia swoich pracowników, aby kształtować je, wyzywać je i, gdy jest to konieczne, anulować je z autorytetem.