Otomasyon Tembelliği: İnsanları Döngüye Nasıl Geri Getirebiliriz

San Francisco’da dramatic bir gelişmeyle, insan operatörü olmadan yolcu alan Robotaksi’ler, yani self-driving araçlar,recently serbest bırakıldı. 7 saatlik kamu dinleme oturumunun ardından, karar California Kamu Hizmetleri Komisyonu tarafından alındı. Protestolara rağmen, havada bir kaçınılmazlık hissi var. California, 2022 başından bu yana kademeli olarak kısıtlamaları gevşetiyor. Yeni kurallar, izinli iki şirkete – Alphabet’in Waymo’su ve GM’nin Cruise’u – bu taksileri şehrin 7 mil karesi içinde, otoyollar hariç, her yere göndermelerine ve yolculardan ücret almalarına izin veriyor.

Self-driving taksiler fikri genellikle iki çatışan duyguyu ortaya çıkarır: Heyecan (“daha düşük maliyetle taksiler!”) ve korku (“beni veya çocuklarımı vuracaklar mı?”). Bu nedenle, düzenleyiciler genellikle araçların, bir kazanın meydana gelmesinden önce, müdahale edebilecek ve kontrolleri yönetebilecek yolcularla test edilmesini gerektirir. Maalesef, sistemleri gerçek zamanlı olarak geçersiz kılmaya hazır olan insanları uyarmak, güvenlik garantisi sağlamak için en iyi yol olmayabilir.

Gerçekte, self-driving araç kazaları ile ilgili ABD’deki 18 ölüm (bu yılın Şubat ayı itibarıyla), tümünde bir şekilde insan kontrolü vardı, ya araç içinde ya da uzaktan. En ünlü olanı, 2018’de Arizona, Tempe’de geniş bir banliyö yolunda gece geç saatlerde meydana geldi. Otomatik bir Uber test aracı, yoldan karşıdan karşıya geçmeye çalışan 49 yaşındaki Elaine Herzberg adlı bir kadını öldürdü. Araçtaki insan operatörü aşağıya bakıyordu ve araç onu çarpma öncesi moinsandan az önce uyarmıştı. Direksiyona geç geçtiler. Kazanın ardından Uber, self-driving araçların testlerini askıya aldı ve sonunda otomatik araçlar bölümünü sattı, bu da iş stratejisinin önemli bir parçasıydı.

Operatör, otomasyon tembelliği nedeniyle hapse girdi, bu olgu ilk olarak pilotaj eğitiminin erken günlerinde keşfedildi. Aşırı güven, AI sistemleri ile sık görülen bir dinamiktir. Sistem ne kadar otonomsa, insan operatörler onu o kadar güvenir ve dikkatlerini tam olarak vermezler. Bu teknolojileri izlerken sıkılırız. Bir kaza gerçekten meydana gelmek üzereyken, onu beklemez ve zamanında tepki veremeyiz.

İnsanlar, risk uzmanı Ron Dembo’nun “risk düşünmesi” dediği şeyde doğaldırlar – makine öğreniminin henüz taklit edemeyeceği bir düşünme şekli. Bu, cevabın açık olmadığı durumlarda yavaşlamak veya durmak gerektiğini tanımak yeteneğidir. Risk düşünmesi, otomatik sistemler için kritiktir ve bu bir ikilem yaratır. İnsanların döngüde olmasını istiyoruz, ancak otomasyon sistemlerine güvendiğimiz için kontrolde olduğumuzda, durumları daha da kötüleştirebiliriz.

Otomatik sistem geliştiricileri, San Francisco’da gerçekleşen deneysel çalışmanın olumlu sonuçlanmasını sağlamak için bu ikilemi nasıl çözebilir? Cevap, yalnızca çarpma anından önce değil, tasarım ve geliştirme aşamalarında da ek bir özenliliktir. Tüm AI sistemleri, kontrol edilmedikleri takdirde riskler içerir. Self-driving araçlar, insan sürücülü araçlardan daha güvenli olsa da, riskten tamamen arınmış olmayacaktır.

Uber kazası, kasıtlı olarak risk düşünmediğimizde neler olabileceğini gösterir. Bunu yapmak için, creative fictiona ihtiyacımız var: bu sistemler yayınlanmadan çok önce, birden fazla insan perspektifini devreye sokmak. Diğer bir deyişle, AI sistemlerinin uygulamaları yerine etkileri hakkında düşünmek, bu teknolojiyi doğrudan etkileyecek toplulukların perspektifini gerektirir.

Waymo ve Cruise, araçlarının güvenlik kayıtlarını, istatistiki olasılık temelinde savundular. Buna rağmen, bu karar San Francisco’yu yaşayan bir deneyime dönüştürüyor. Sonuçlar toplandığında, doğru verileri toplamak, başarıları ve başarısızlıkları paylaşmak ve etkilenen toplulukların, uzmanların, politikacıların ve iş insanlarının görüşlerini değerlendirmek çok önemli olacak. Diğer bir deyişle, tüm insanları döngüde tutmak. Aksi takdirde, otomasyon tembelliğine – AI sistemlerine karar verme yetkisini devretme isteğine – çok büyük bir ölçekte yol açabilirız.

Juliette Powell ve Art Kleiner, yeni kitabın AI İkilemi: Sorumlu Teknoloji için 7 İlke.