AI’niz Hallüsinasyon Yaşıyorsa, AI’yi Suçlamayın

AI “hallüsinasyonları” – inandırıcı ancak yanlış cevaplar – recent New York Times makalesi gibi AI Is Getting More Powerful, But Its Hallucinations Are Getting Worse medyada çok dikkat çekiyor. Hallüsinasyonlar, bir tüketici sohbet botuyla çalışırken gerçek bir tehlike oluşturur. AI’nin iş uygulamalarında, bu daha ciddi bir endişe kaynağı. Neyse ki, bir iş teknoloji lideri olarak, bunun üzerinde daha fazla kontrolüm var. Ajentin anlamlı bir cevap üretmesi için doğru verilere sahip olduğundan emin olabilirim.

Çünkü bu, gerçek sorun. İş dünyasında, AI hallüsinasyonları için bahane yok. AI’yi suçlamayı bırakın. AI’yi doğru şekilde kullanmadığınız için kendinizi suçlayın.

Generatif AI araçları hallüsinasyonlara yol açtığında, mereka mevcut olan verilere dayanarak en iyi cevabı vermek için tasarlandıkları şeyi yapıyorlar. Yanlış cevaplar üretip, gerçeklikle bağdaşmayan cevaplar ürettiklerinde, bu, ilgili verilere sahip olmadıkları, bulamadıkları veya soruyu anlamadıkları anlamına gelir. Evet, yeni modeller gibi OpenAI’nin o3 ve o4-mini daha fazla hallüsinasyonlara yol açıyor, onlara sorulan soruya iyi bir cevap bulamadıklarında daha “yaratıcı” davranıyorlar. Evet, daha güçlü araçlar daha fazla hallüsinasyonlara yol açabilir, ancak onları başarı için hazırlarsanız daha güçlü ve değerli sonuçlar da üretebilirler.

AI’nizin hallüsinasyonlara yol açmasını istemiyorsanız, onu veri açlığından ölmesine izin vermeyin. AI’ye, çözmek istediğiniz problema en iyi ve en ilgili veriyi verin, böylece yanlış yola sapmaya eğilimi olmayacak.

Bununla birlikte, herhangi bir AI aracı ile çalışırken, eleştirel düşünme becerilerinizi korumayı öneriyorum. AI ajanları tarafından sunulan sonuçlar üretken ve hoş olabilir, ancak amaç, beyninizi kapatıp tüm düşüncelerinizi yazılımın yapmasını sağlamak değildir. Sorular sormaya devam edin. Bir AI ajanı size bir cevap verdiğinde, cevabı anlamlı olup olmadığını ve verilere dayanıp dayanılmadığını kontrol etmek için soru sorunuz. Eğer öyleyse, bu, zamanınızı harcamaya değer olan bir işarettir.

Sordukça daha iyi içgörüler elde edersiniz.

Neden hallüsinasyonlar oluşur

Bu, bir sır değil. AI, size yalan söylemeye çalışmıyor. Her büyük dil modeli (LLM) AI, temelde olasılığa dayanarak bir sonraki kelimeyi veya sayıyı öngörüyor.

Yüksek düzeyde, burada发生 olan şey, LLM’lerin cümleleri ve paragrafları bir kelime bir kelime birleştirmesi ve bir sonraki kelimenin cümlede oluşması gereken kelimeyi, eğitim verilerine dayalı olarak öngörmesidir. LLM’lerin ataları (Clippy dışında), metin mesajları ve bilgisayar kodları için otomatik tamamlama istemleri, insan dilini otomatik çeviri araçları ve diğer olasılıksal dil sistemleriydi. Artan brute force hesaplama gücü ve internet ölçeğinde veri eğitimleri ile bu sistemler, sohbet üzerinden tam bir konuşma yürütebilecek kadar “zeki” hale geldi, world, ChatGPT’nin tanıtımı ile öğrendi.

AI karşıtı olanlar, bunun gerçek “zeka” değil, sadece insan zekasının içine aktarıldığı yazılım olduğunu belirtmeyi sever. Verileri bir yazılı raporda özetlemesini isteyin, diğer yazarların benzer verileri nasıl özetlediğini taklit eder.

Bana göre bu, veriler doğru ve analiz faydalı olduğu sürece akademik bir tartışma.

AI’nin verilere sahip olmadığında ne olur? Boşlukları doldurur. Bazen komik olur. Bazen total bir karışıklık olur.

AI ajanları oluştururken, bu risk 10 katına çıkar. Ajanlar, eyleme geçirilebilir içgörüler sağlamalıdır, ancak yolda daha fazla karar verirler. Çok adımlı görevleri gerçekleştirirler, adım 1’in sonucu adım 2, 3, 4, 5, … 10 … 20’yi bilgilendirir. Adım 1’in sonuçları yanlış ise, hata, adım 20’de çok daha kötü bir çıktı oluşturur. Özellikle, ajanlar kararlar alabilir ve adımları atlayabilir.

Doğru yapıldığında, ajanlar onları dağıtan iş için daha fazla şey başarır. Ancak AI ürün yöneticileri olarak, daha büyük ödülle birlikte gelen daha büyük riski tanımamız gerekir.

Ekibimiz de bunu yaptı. Riski gördük ve ona yaklaştık. Sadece bir robot inşa etmedik, doğru verilere dayanmasını sağladık. İşte yaptığımızı düşündüğüm doğru şeyler:

• Ajansı doğru sorular sorması ve doğru verilere sahip olduğunu doğrulaması için inşa edin. Ajantaın ilk veri girişi sürecinin aslında daha deterministik, menos “yaratıcı” olması gerektiğini zajistırın. Ajantaın doğru verilere sahip olmadığında ve bir sonraki adıma geçmeden önce bunu söylemesini istiyorsunuz.
• Ajanta için bir playbook oluşturun – her seferinde yeni bir plan icat etmesini engelleyin, yarı yapılandırılmış bir yaklaşım oluşturun. Yapı ve bağlam, veri toplama ve analiz aşamasında非常重要. Ajantaın önce gerçekleri doğru olarak almasını, daha sonra da özetlemeye geçmesini sağlayabilirsiniz.
• Verileri çıkarmak için yüksek kaliteli bir araç oluşturun. Bu, sadece bir API çağrısı olmamalıdır. Doğru miktarda ve çeşitlilikte verilerin toplanacağı kodu yazmak için zaman ayırın (insanlar hala bunu yapıyor) ve süreci kalite kontrolleri ile güçlendirin.
• Ajantaın işini göstermesini sağlayın. Ajantaın kaynaklarını belirtmesi ve kullanıcının verilerin orijinal kaynağından doğrulayabileceği ve daha fazla araştırma yapabileceği bağlantıları eklemesi gerekir. Hiçbir hileye izin verilmez!
• Guardrails: Ne olabilir diye düşünün ve mutlak olarak izin verilemeyecek hatalara karşı korumalar oluşturun. Bizim durumumuzda, ajantaın analiz edeceği pazar verilerine sahip olmadığı durumda (Similarweb verilerimiz, rastgele bir web kaynağından alınan veriler değil) bir şeyler uydurmasını engellemek için temel bir guardrail oluşturduk. Ajantaın cevap verememesinden daha iyi bir cevap vermekten daha iyidir.

Bu ilkeleri yeni ajanlarımızın üçünün de yayınlanmasına entegre ettik, daha fazlası da takip edecek. Örneğin, satış ekipleri için AI Toplantı Hazırlık Ajantımız, sadece hedef şirketin adını sormakla kalmaz, aynı zamanda toplantının amacını ve kiminle olduğunu da sorar, böylece daha iyi bir cevap verebilir. Tahmin etmek zorunda kalmaz, çünkü şirket verilerini, dijital verilerini ve yönetici profillerini kullanarak önerilerini bilgilendirir.

Ajanlarımız mükemmel mi? Hayır. Hiç kimse henüz mükemmel AI yaratmıyor, dünyanın en büyük şirketleri bile değil. Ancak sorunu karşılamak, onu görmezden gelmekten çok daha iyi.

Daha az hallüsinasyon mu istiyorsunuz? AI’nize yüksek kaliteli veri verin.

Eğer hallüsinasyonlara yol açıyorsa, belki de AI’yi düzeltmeniz gerekmiyor. Belki de bu güçlü yeni özelliklerden yararlanmak için zaman ve çaba harcamadan yararlanmaya çalıştığınız yaklaşımınızı değiştirmelisiniz.