AI Gerçek İş İçin Hazır Değil: Modellerin Karmaşık Görevlerde Başarısız Olmasının Nedeni

AI balonundaki yatırımcılar, beyaz yakalı profesyonellerden en zor problemlerini teslim etmelerini isterken, çalışanlara sadece biraz daha fazla verilerini paylaşmaları durumunda öğleden sonralarını geri alacaklarını vaat ediyor. Karmaşık analizler, karar verme süreçleri ve yıllar süren iş akışları bir model tarafından emilir ve insanları daha iyi bir şey için özgürleştirecekmiş gibi sunulur. Bu, şu anda kurumsal Amerika’da hâkim olan anlatıdır ve bir tuzaktır. 

Yetenek Efsanesi: Modellerin Karmaşık Görevlerde Başarısız Olmasının Nedeni

UC Berkeley’den yeni bir çalışma lider AI ajanlarını sağlık, finans, hukuk gibi 55 sektör boyunca gerçek dünya profesyonel görevlerinde test etti. Genel performans %25’in altında kaldı. Araştırmacılar ardından her alandaki en zor görevi – kıdemli bir profesyoneli genç bir profesyonelden ayıran işi – izole etti ve her bir model başarısız oldu. Puanlar sadece düşük değildi; sıfırdı. 

Böyle bir sonucun kendi başına anlatıyı değiştireceğini düşünebilirdiniz, ancak öyle olmadı. Sektörler arasında, AI yatırımcıları profesyonelleri mevcut AI modellerinin olduklarından daha ileri seviyede olduğuna ikna etmek için çok fazla risk alıyor. Ancak en ilginç soru, AI’nın bugün bir işin en zor bölümlerini yapıp yapamayışı değil; çünkü biz ve AI satan herkes bu sorunun cevabını zaten biliyoruz. 

Dolayısıyla bu başka bir soruya yol açıyor. Kendi akıl yürütmeleri tam olarak oluşmadan bu veri alışverişine inanan genç bir profesyonelin yargısı ne olur? 

Minnesota Bulguları: AI’nın Yetkinliği Ortada Düzleştirmesi

University of Minnesota Hukuk Fakültesi’nden yeni bir ampirik çalışma gerçek bir yanıt sunuyor, hukuku test vakası olarak kullanıyor. Araştırmacılar yaklaşık yüz üst düzey hukuk öğrencisini gerçekçi görevler dizisiyle yönlendirdi: ham kaynak materyalden hukuku sentezlemek, öğrendiklerini test etmek için kapalı kitap sorularını yanıtlamak, bu hukuku bir olay örüntüsüne uygulamak ve ardından kendi çalışmalarını revize etmek. Bir grup AI’ye yalnızca ilk ve son adımlarda erişim sağladı. Diğer grup ise sonuna kadar AI kullanmadı.

AI kullanarak ilk taslağını oluşturan öğrenciler daha güçlü bir iş ortaya koydu ve bunu daha hızlı yaptı; bu tamamen şaşırtıcı değil. Ancak dikkat çekeni sonrasındaki gelişmeler oldu. Araştırmacılar, erken AI kullanımının, araç alındığında ortaya çıkacak bir kavrama boşluğu bırakacağını bekledi. Ancak bu gerçekleşmedi. Hukuku sentezlemek için AI kullanan öğrenciler, soğuk testte, AI kullanmadan çalışanlardan daha iyi anladılar. Bağımsız akıl yürütme erozyona uğramadı. Korundu ve bazı durumlarda gelişti.

Dönüm noktası son aşamada ortaya çıktı; her öğrenci çalışmasını revize etmek için AI’ye sahipti. Daha zayıf bir notla başlayan öğrenciler bu erişimi gerçek anlamda iyileştirmek için kullandı. Daha güçlü bir notla başlayan öğrenciler ise kötüleşti. Yetenekli bir araçla ve nasıl kullanılacağına dair ek bir yapı olmadan yalnız bırakıldığında, beceri birikmedi; ortada düzleşti.

Bu iki çalışma birlikte çarpıcı bir gerçeği ortaya koyuyor: AI, profesyonel yargının yerini alamaz ve Berkeley verileri bu tartışmayı kalıcı olarak sonlandırmalı. Ancak AI, temas halinde akıl yürütmeyi aşındıran bir korozif güç de değildir. Etkisi tamamen sürecin hangi aşamasında ortaya çıktığına bağlıdır.

Yerine Koyma Üzerine Sıralama: Yargıyı Çekirdekte Tutmak

Bu, hukuk pratiğinin dışına da uygulanabilir. Her bilgi mesleği şu anda bu deneyin kendi versiyonunu yürütüyor: doktorun bir modelin ayırıcı tanı taslağı hazırlamasına izin verip vermeyeceğine karar vermesi, analistin bir modelin ilk taslağını oluşturmasına izin verip vermeyeceği, ve asistanın bir argümanı kendileri üzerinden geçmeden önce bir modelin yapılandırmasına izin verip vermeyeceği. Minnesota sonuçları, cevabın AI’nın tüm biçimlerine evet ya da hayır demek olmadığını gösteriyor. Sıralama meselesidir. AI, sıkıcı işleri ve sürtünme yaratan iş bölümlerinin ön aşamasında yer almalı, ancak yargıda bulunmamalıdır. Müşterinin gerçekten ödediği görevin merkezinde yer almamalıdır ve şu anda denese bile oraya ulaşamaz.

Buna rağmen farklı vaatlerde bulunan şirketler, verilerin var olmadığını gösterdiği bir AI versiyonunu satıyor. Ürünlerini ve müşteri ilişkilerini araştırmanın gerçekte çizdiği çizgi etrafında inşa edenler, beş yıl içinde hâlâ profesyonellerin güveneceği şirketler olacak. Diğerleri ise bu zamanı çok pahalı bir yanlış anlamayı açıklamaya harcayacak.