En İyi AI Modeller Uzun Belgelerde Kayboluyor

Münih Ludwig Maximilian Üniversitesi, Makine Öğrenimi Münih Merkezi ve Adobe (ADBE ) Araştırma’dan araştırmacıların yaptığı bir yeni çalışma, AI dil modellerinde bir zayıflık ortaya çıkardı: uzun belgeleri anlamakta zorlanıyorlar. Araştırma ekibinin bulguları, en gelişmiş AI modellerinin bile basit kelime eşleştirmelerine güvenemeyeceği durumlarda bilgiyi bağlamaktaki zorluklarını gösteriyor.

AI’nin Okuma Becerilerindeki Gizli Problem

Uzun bir araştırma makalesinde belirli bir detayı bulmaya çalıştığınızı düşünün. Belki de onu tarayarak, farklı bölümler arasında zihinsel bağlantılar kurarak gerekli bilgileri bir araya getirmeye çalışırsınız. Çoğu AI modeli, aslında tamamen farklı bir şekilde çalışıyor. Bunun yerine, genellikle exact kelime eşleştirmelerini bulmaya başvuruyorlar, bilgisayarınızdaki Ctrl+F gibi.

Araştırma ekibi, çeşitli AI modellerini test etmek için NOLIMA (No Literal Matching) adlı yeni bir benchmark geliştirdi. Sonuçlar, AI modellerinin 2.000 kelimeden uzun metinlerle başa çıkarken performanslarının dramatik olarak düştüğünü gösterdi. 32.000 kelimelere ulaştıklarında – yaklaşık bir kısa kitabın uzunluğu – çoğu model, normal kapasitelerinin yarısında performans gösterdi. Bu, GPT-4o, Gemini 1.5 Pro ve Llama 3.3 70B gibi önemli modellerin test edilmesini de içeriyordu.

Bir tıp araştırmacısının hasta kayıtlarını analiz etmek için AI kullanması veya bir hukuk ekibinin davayla ilgili belgeleri gözden geçirmesi düşünülürse, AI’nin önemli bağlantılar kaçırması durumunda sonuçlar önemli olabilir.

Kelime Eşleştirmesinin Yeterli Olmaması Nedeni

Mevcut AI modelleri, metni işlemek için dikkat mekanizması olarak bilinen bir şey kullanıyor. Bu sistem, AI’nin metnin farklı kısımlarına odaklanmasına yardımcı olarak kelimeler ve fikirlerin arasındaki ilişkileri anlamasına yardımcı oluyor. Kısa metinlerle çalışırken bu yeterli oluyor. Ancak araştırma, bu mekanizmanın metin uzunluğu arttıkça, özellikle de exact kelime eşleştirmelerine güvenemeyeceğinde, bunaldığını gösteriyor.

NOLIMA testi, AI modellerinin kelime eşleştirmelerine güvenmek yerine bağlamı anlamalarını gerektiren sorular sormayla bu sınırlamayı ortaya çıkardı. Sonuçlar çok açıklayıcıydı. Modeller kısa metinlerle iyi performans gösterirken, metin uzunluğu arttıkça bu bağlantılar kurma yetenekleri önemli ölçüde düştü. Hatta akıl yürütme görevleri için özel olarak tasarlanmış modeller bile, daha uzun belgelerle başa çıkarken %50’nin altında bir doğruluk oranıyla performans gösterdi.

Kelime eşleştirmesinin dayanağı olmadan, AI modelleri:

• Farklı terminoloji kullanan ilgili kavramları bağlamakta zorlanıyorlar
• Çok adımlı akıl yürütme yollarını takip etmekte zorlanıyorlar
• Anahtar bağlamdan sonra ortaya çıkan ilgili bilgileri bulmakta zorlanıyorlar
• Alakasız bölümlerdeki yanıltıcı kelime eşleştirmelerini görmezden gelmekte zorlanıyorlar

Rakamlar Hikayeyi Anlatıyor

Araştırma bulguları, AI modellerinin daha uzun metinlerle nasıl başa çıktığını net bir şekilde gösteriyor. GPT-4o en güçlü performansı gösterdi, yaklaşık 8.000 token (yaklaşık 6.000 kelime) uzunluğuna kadar etkili kaldı. Ancak bu üstün performans gösteren model bile daha uzun metinlerle karşılaştığında önemli bir düşüş gösterdi. Diğer modeller, Gemini 1.5 Pro ve Llama 3.3 70B dahil, 2.000 ila 8.000 token arasında keskin performans düşüşleri yaşadı.

Performans düşüşü, görevlerin birden fazla akıl yürütme adımını gerektirdiğinde daha da belirgin hale geldi. Örneğin, bir modelin bir karakterin belirli bir şehirdeki bir yerin yakınında yaşadığını ve o yerin belirli bir şehirde olduğunu anlaması gerektiği bir durumda, başarı oranı önemli ölçüde düştü. Araştırma, bu tür çok adımlı akıl yürütmenin özellikle 16.000 tokenin üzerindeki metinlerde zor olduğunu, hatta akıl yürütme için tasarlanan teknikler kullanılsa bile, Chain-of-Thought prompting gibi.

Bu bulguların özellikle dikkat çekici olmasının nedeni, AI modellerinin uzun bağlamları işleme yetenekleri hakkındaki iddiaları sorgulamasıdır. NOLIMA benchmark’u, mevcut AI metin işleme yaklaşımlarımızın önemli bir revizyon gerektirebileceğini gösteriyor, özellikle de modellerin daha uzun pasajlar boyunca bilgiyi nasıl işlediğini düşünerek.

Kaynak: Modarressi et al.

AI Ağacı Ormana Görmeyi Ne Zaman Kaçırır

Bu sınırlamalar, AI’yi gerçek dünya uygulamalarında nasıl kullandığımız açısından ciddi sonuçlar doğuruyor. Bir hukuk AI sisteminin dava yasalarına bakmasını düşünün. Arama sorgusundan farklı terminoloji kullandığı için ilgili先例leri kaçırabilir. Sistem, arama terimleriyle kelime anlamında daha fazla paylaştığı menos ilgili davaları odaklanabilir.

Arama ve belge analizi üzerindeki etki özellikle endişe verici. Mevcut AI tabanlı arama sistemleri souvent Retrieval-Augmented Generation (RAG) adlı bir tekniği kullanıyor. Bu sistemler, doğru bilgi içeren bir belgeyi başarıyla alırlarsa, AI bu bilginin ilgili olduğunu tanımakta zorlanabilir jika sorgu ile farklı bir terminoloji kullanılıyorsa. Bunun yerine, AI less ilgili belgeleri, arama terimleriyle yüzeyde benzerlik gösterenlere yönelebilir.

AI kullanıcıları için bu bulgular beberapa önemli dikkate değer:

İlk olarak, daha kısa sorgular ve belgeler daha güvenilir sonuçlar doğurabilir. Uzun metinlerle çalışırken, bunları daha küçük, odaklanmış segmentlere ayırarak AI performansını維持 edebilirsiniz.

İkinci olarak, AI’nin uzun bir belgenin farklı kısımlarında bağlantılar kurmasını istediğiniz zaman özellikle dikkatli olun. Araştırma, AI modellerinin farklı bölümlerden bilgiyi birleştirmekte, özellikle de bağlantı açık bir kelime paylaşımı ile değilse, en çok zorlandığını gösteriyor.

Son olarak, bu sınırlamalar insan denetiminin devam eden önemini vurguluyor. AI, metin işleme ve analiz için güçlü bir araç olabilir, ancak karmaşık belgelerin önemli bağlantılarını tanımlamanın tek yolu olarak görülmemelidir. İnsanların uzun metinler boyunca bağlamı koruma ve kavramsal bağlantılar kurma yetenekleri, current AI yeteneklerinden üstündür.

Bulgular, AI teknolojisinin hızlı ilerlemesine rağmen, bu sistemlerin bilgiyi insandan çok farklı bir şekilde işlediğini hatırlatıyor. Bu sınırlamaları anlamak, AI araçlarını etkili bir şekilde kullanmak ve insan yargısının ne zaman gerekli olduğunu bilmek için çok önemlidir.

Ne Gelecek

AI modellerinin uzun metinleri işleme yeteneklerindeki sınırlamaları anlamak, AI gelişiminin geleceği hakkında önemli soruları gündeme getiriyor. NOLIMA benchmark’u arkasındaki araştırma, AI metin işleme yaklaşımlarımızın özellikle daha uzun pasajlar boyunca bilgiyi nasıl işlediğini düşünerek önemli bir revizyon gerektirebileceğini gösteriyor.

Mevcut çözümler kısmi bir başarı gösterdi. Akıl yürütme adımlarını teşvik eden Chain-of-Thought prompting, performansı biraz cải thiện ediyor. Örneğin, bu tekniği kullandığında, Llama 3.3 70B daha uzun bağlamları işleme yeteneğini gösterdi. Ancak bu yaklaşım, 16.000 tokenin üzerindeki metinlerle başa çıkarken hala yetersiz kalıyor, daha temel çözümlere ihtiyaç duyulduğunu gösteriyor.

AI modellerinin metni işleme şeklini oluşturan dikkat mekanizması yeniden düşünülmeli. Bu, kalabalık bir odadaki bir konuşmayı takip etmeye benzer – konuşma ne kadar uzunsa, önce bahsedilen önemli noktaları takip etmek o kadar zorlaşır. Mevcut AI modelleri, çok daha büyük bir ölçekte benzer bir zorlukla karşılaşıyor.

Geleceğe bakıldığında, araştırmacılar birkaç vaadeden yöne odaklanıyor. Bir yaklaşım, AI’nin uzun metinlerde bilgiyi organize etme ve önceliklendirme yollarını geliştirmeyi içeriyor, basit kelime eşleştirmesinden öte, daha derin kavramsal bağlantılar kurmaya çalışarak. Bu, insanların bilgi haritaları oluşturmasına benzer, fikirleri sadece paylaşılan kelimelere değil, anlama göre bağlayarak.

Geliştirme alanlarından biri de AI modellerinin “latent hops” dediği şeyi – farklı bilgi parçalarını bağlamak için gereken mantıksal adımları – nasıl işlediğini iyileştirmeyi içeriyor. Mevcut modeller bu bağlantılar kurmakta zorlanıyor, özellikle uzun metinlerde, ancak yeni mimariler bu boşluğu köprüleyebilir.

AI araçlarını bugün kullananlar için bu bulgular beberapa pratik yaklaşımı öneriyor:

AI ile çalışırken, daha uzun belgeleri anlamlı segmentlere ayırarak AI performansını korumanız yardımcı olabilir. Bu, önemli bağlamları koruyan mantıksal bölümler oluşturmanıza yardımcı olur. Örneğin, bir araştırma makalesini analiz ediyorsanız, yöntemler ve sonuçlar bölümlerini birlikte tutabilirsiniz, çünkü bunlar genellikle ilgili bilgileri içerir.

AI’ye daha uzun metinleri analiz ettirdiğinizde, bağlantı kurmasını istediğiniz noktaları spesifik olarak belirtmeniz yardımcı olabilir. Geniş sorular sormak yerine, AI’yi ilgilendiğiniz spesifik ilişkiler doğrultusunda yönlendirmeniz, mevcut sınırlamaları telafi edebilir.

Belki de en önemlisi, AI’nin uzun metinlerle ilgili yetenekleri hakkında gerçekçi beklentilere sahip olmak. Bu araçlar birçok görev için çok faydalı olabilir, ancak karmaşık belgelerin analizinde insan analiziyle tamamen yerini tutması beklenmemelidir. İnsanların uzun metinler boyunca bağlamı koruma ve kavramsal bağlantılar kurma yetenekleri, current AI yeteneklerinden üstündür.

Bu alanda AI gelişiminin geleceği hem zorlu hem de heyecan verici. Bu sınırlamaları daha iyi anladıkça, gerçekten uzun metinleri anlayan AI sistemlerine doğru çalışabiliriz. O zamana kadar, AI’yi etkili bir şekilde kullanmak, mevcut sınırlarıyla birlikte yeteneklerini takdir etmek anlamına geliyor.