Makine İnsan Etkileşimi: Kuruluş AI’sini Geri Tutunan “Son Mil” Sorunu

Çok yakın bir geçmişe kadar, yönetim kurulu toplantılarında AI hakkında yapılan konuşmalar, modellerin kendileri etrafında dönüyordu. Çıktıları doğru mu? Eğitim verisi ne kadar temizdi? Nasıl önyargıları azaltabiliriz? Hallüsinasyonlar kontrol altında mı? Bu sorular hala önemli, ancak çıktı artık tek önemli olan şey değil. Yönetim kurulları ve hissedarlar artık daha zor ölçülebilen bir şeye ilgi duyuyorlar – AI sistemlerinin gerçekten insanların günlük etkileşimlerinde etkili bir şekilde çalışıp çalışmadığı.

Bu kısmen neden IBM yakın zamanda hissedar teklifine maruz kaldı ve AI önyargılarını ve yönetimini daha şeffaf bir şekilde açıklamasını talep etti. Teklif özellikle önyargı azaltma üzerinde odaklandı, ancak daha geniş bir anlam çıkardı – AI karar alma süreçlerine daha derinden entegre hale geldikçe, temel yetenek seviyesinden ziyade operasyonel hesap verebilirlik ve ölçülebilir iş sonuçlarına göre değerlendiriliyor.

Kuruluşlarla yaptığım konuşmalarda gördüğüm şey, insanların artık modellerin kendilerinin yeterli olup olmadığı konusunda tartışmadığı. Çoğu organizasyon zaten bu sistemlerin çıktı üretebileceğini, iş akışlarını otomatikleştirebileceğini ve olağanüstü hızda içgörüler sunabileceğini biliyor. Daha zor soru, bunların iş içinde sonuçları tutarlı bir şekilde iyileştirip iyileştirmediği. Çalışanlar gerçekten bu sistemleri anlamlı bir şekilde kullanıyor mu? Aldıkları önerilere güveniyor mu? Kararlar daha net, daha hızlı veya daha tutarlı hale geliyor mu? Ya da organizasyonlar sadece daha fazla içerik, analiz ve gürültü üretiyor, ancak insanların nasıl çalıştığını değiştirmiyor mu? AI yeteneği ile insan benimseme arasındaki bu uçurum, kuruluşun “son mili” olarak düşünüyorum. Burası, ROI, güven, hesap verebilirlik ve operasyonel tutarlılığın birleştiği yer ve birçok dağıtım burada tıkanmaya başlıyor.

Yetenek değil, insan bağlamı tıkanıklık yaratıyor

IBM hissedar teklifi itself, endüstrinin tanıdık ve büyüyen bir endişesi olan önyargı üzerine odaklandı. Çözüm, IBM’nin AI modelleri boyunca önyargıları tanımlama ve azaltma yöntemleri hakkında ek raporlama yapmasını istedi. IBM, bu bilginin zaten model kartları, yönetim belgeleri, şeffaflık raporları ve Stanford’un Foundation Model Transparency Index gibi kaynaklar aracılığıyla kamuoyuna açık olduğunu savundu. Çoğu gözlemci, IBM’nin sorumlu AI uygulamalarını operasyonelleştirmek için diğer satıcılardan daha fazla şey yaptığını kabul etti, ancak yönetim ve önyargıların hala çözülmemiş endüstri genelindeki zorluklar olduğunu da kabul etti.

Bana ilginç gelen, IBM’nin cevabının doğru veya yanlış olup olmadığı değil. Tüm durumun, kuruluşun AI konuşmalarının nereye gittiğini göstermesi. Yönetim kurulları büyük ölçüde AI değerlendirmesinin yeni bir aşamasına girdi – karar kalitesi, operasyonel etki, çalışan güveni ve iş içinde uzun vadeli benimseme.

Burada bir nörobilim perspektifi, beni mevcut kuruluşun AI konuşmasından farklı bir sonuca götürüyor. İnsanlar rasyonel girdi-çıktı makineleri değil. Kararlara sınırlı dikkat, değişen güven, bilişsel aşırı yüklenme ve sürekli değişen niyetle yaklaşırız. Etkileşimler yavaş hissedildiğinde, önceden hazırlanmış cevaplar gerçekten kastettiğimiz şeyi kaçırdığında veya insanlar sistemi kullanmak için savaşmak zorunda kaldıklarında, katılım çok erken bir aşamada çöker. Hallüsinasyon riski, tutarlılık ve önyargı sadece sorunu artırır, orijinal olarak üretkenliği ve karar alma süreçlerini iyileştirmek amacıyla tasarlanan iş akışları içinde sürtüşme yaratır. Bu “son mil”, çoğu organizasyonun hala küçümsediği şeydir: AI değeri, bir model bir cevap ürettiğinde değil, doğru zamanda doğru cevabı verdiğinde ve insanlar üretilen şeyi yeterli güvenle kullanabildiğinde yaratılır.

Gerçek “insan döngüsü” – kullanıcının- neden göz ardı ediliyor?

Son zamanlarda “insan döngüsü” ve AI çıktısına onay veren bir insan bulunmasının öneminden çok şey duyduk. Ancak en önemli insan – kullanıcı – doğru bir şekilde anlaşılmıyor mu? İnsan-insan etkileşimi karmaşık ve çok yönlüdür, ancak doğrudan iletişim neden bu kadar iyi çalışır? Birisi tereddüt ettiğinde, güvenini kaybettiğinde, frustrasyon veya karışıklık yaşadığında veya niyeti değiştiğinde, bu durum etkileşim boyunca devam eder ve konuşma buna göre değişir. Çoğu AI sistemi hala bu sinyalleri tanımakta zorlanıyor, çünkü esasen “raylara” bağlılar ve sadece kullanıcıdan gelen son istemeye cevap veriyor.

Benim görüşüme göre, bu, güncel kuruluşun AI dağıtımlarının tanımlayıcı bir sınırlaması haline geliyor. Bilgi üretme konusunda istisnai bir şekilde iyi olan sistemler inşa ettik, ancak bu bilginin gerçekten daha iyi kararlar almasına yardımcı olup olmadığını tanımakta sınırlı kalıyoruz.

Bir organizasyon, binlerce çalışanı için kuruluşun AI araçlarını dağıtabilir ve yine de bu sistemlerin gerçekten nasıl kullanıldığı konusunda anlamlı bir uyum sağlayamayabilir. NIST AI Risk Management Framework, ISO/IEC 42001 ve AB AI Yasası gibi çerçeveler, organizasyonları daha büyük bir yönetim olgunluğuna ve operasyonel hesap verebilirliğe doğru itiyor. Ancak kağıt üzerinde yönetim, AI ile çalışan katılımı kalıcı olmadığı sürece sadece bu kadar gidebilir. Farklı ekipler AI’yi tamamen farklı şekillerde güvendiğinde ve kullandığında, ROI’u tutarlı bir şekilde ölçmek neredeyse imkansız hale gelir ve bu, hiçbir istemeye bağlı olarak düzeltilmesi mümkün olmayan bir sorundur.

AI aşırı yüklenmesinin maliyeti

Şimdi, AI’nin iş akışları içinde tamamen yaygın hale geldiği bir döneme giriyoruz. Üretkenlik suitlerine entegre edilmiş kaptan pilotlar, her aramadan sonra gelen AI oluşturulmuş toplantı özetleri, gerçek zamanlı olarak öngörüler sunan paneller, çalışanlara sürekli öneriler sunan öneri motorları ve otomatik analizler, çoğu ekibin gerçekçi bir şekilde işleyebileceğinden daha hızlı ortaya çıkıyor. Kağıt üzerinde, bu ilerleme gibi görünüyor – işletmeler şimdiye kadar görülmemiş miktarda bilgi üretiyor. Ancak bilişsel bilim, on yıllardır bunu net bir şekilde ortaya koyuyor: daha fazla bilgi, otomatik olarak daha iyi kararlar üretmez.

İnsanlar sadece belirli miktarda bilgiyi emebiliyor, sonra aşırı yüklenme başlıyor. Çok fazla öneri, tereddüt yaratıyor. Çok fazla uyarı, arka plan gürültüsüne dönüşüyor. Çok fazla AI oluşturulmuş seçenek, çalışanların güvenden çok tereddütte kalmasına neden oluyor. İlginç olan, AI sistemlerinin bilgi üretme konusunda çok iyi hale gelmesi, ancak bu bilginin nasıl alındığını, yorumlandığını ve bağlamda nasıl yanıt verildiğini anlamakta hala göreceli olarak zayıf kalması. Yönetim kurulları, bir sistemin üretebileceği özet, öneri veya oluşturulmuş analiz sayısıyla ilgilenmiyor. Kararların iş genelinde daha net ve güvenilir hale gelip gelmediğiyle ilgileniyorlar.

AI hesap verebilirlik aşamasına girdi

IBM hissedar teklifi, önyargı endişelerinden kaynaklanabilir, ancak bence bu, kuruluşun AI’sinin daha geniş bir anlamını yansıtıyor. AI’nin yeniliği geçmiştir ve AI yatırımından sağlam bir geri dönüş bekleyen kuruluşlar, artık yalnızca model yeteneklerine bakamaz. Teknoloji itself kanıtladı, ancak şimdi hesap verebilirlik gerektiriyor. Çalışanlar bu sistemleri tutarlı bir şekilde kullanıyor mu? Kararlar iyileşiyor mu? Güven ve katılım zaman içinde artıyor mu, yoksa渐 dần erozyon mu yaşıyor? AI günlük iş akışlarına daha da entegre hale geldikçe, gelecek nesil sistemlerin insan davranışını, dikkati, güveni ve niyeti daha fazla anlamak zorunda kalabilir, böylece işletmeler sürdürülebilir benimseme ve ölçülebilir ROI elde edebilir. O zamana kadar, “son mil” muhtemelen kuruluşun AI benimsemesinin en büyük zorluklarından biri olarak kalacak.