GPU Duvarı Çatlıyor: Post-Transformer Mimarilerindeki Görünmeyen Devrim

Son beş yıl boyunca, yapay zeka endüstrisi temelde bir kelimeyle eşanlamlı hale geldi: Transformer. 2017’de yayınlanan “Dikkat Her Şeydir” makalesinin yayınlanmasından bu yana, bu mimari alanın tamamını ele geçirdi. GPT‘den Claude‘a kadar, neredeyse her başlık yapan model aynı temel mekanizmaya dayanmaktadır: özyineleme dikkati. Daha iyi AI için yolun simplemente ölçek meselesi olduğuna dair geniş bir inanç oluştu. Uygulamada bu, daha büyük Transformer’ları daha fazla veri ile daha büyük GPU kümeleri üzerinde eğitme anlamına gelmektedir.

Bu inanç birçok đột pháya yol açtı, ancak şimdi sınırlarına ulaşıyor. Bir “GPU Duvarı”na çarpıyoruz, bu sadece ham hesaplama gücü değil, aynı zamanda bellek bant genişliği ve ekonomik sürdürülebilirlik konusunda da bir bariyer. Dünya, trilyon parametreli modeller yarışına odaklanırken, araştırma laboratuvarlarında radikal bir değişim meydana geliyor. “Post-Transformer Mimarileri” adı verilen yeni bir dalganın, mevcut paradigmanın sınırlarını kırmaya yönelik bir girişimi ortaya çıkıyor. Bu değişim, AI’yi daha verimli, erişilebilir ve sınırsız bağlamlarda akıl yürütme yeteneğine sahip kılma vaadinde bulunuyor.

Silikon Tavanı: Transformer’ların Neden Duvara Çarptığını Anlamak

Değişime neden ihtiyacımız olduğunu anlamak için, önce mevcut rejimin tıkanıklığını anlamamız gerekiyor. Transformer’lar inanılmaz derecede güçlüdür, ancak belirli yönlerden de son derece verimsizdir. Their yeteneğinin temelinde “dikkat mekanizması” yatmaktadır, bu da modele bir dizi içindeki her bir tokenı incelemesine ve her bir tokenın diğer her tokenla ilişkisini hesaplamasına olanak tanır. Bu, onlara bağlamı gerçekten iyi anlamalarını sağlar.

Ancak, bu yetenek, ikilik büyüme adlı ölümcül bir kusurla birlikte gelir. Belgedeki metin uzunluğunu iki katına çıkarırsanız, AI’nin okuması gereken metin, hesaplanması gereken iş sadece iki katına çıkmaz, dört katına çıkar. Sınırsız bağlam modelleri geliştirmeye çalışırken, yani AI’nin tüm kütüphaneleri veya kod tabanlarını okuyabilmesi için, hesaplamalar çok yüksek hale gelir.

Ancak daha acil sorun, özellikle “KV Önbelleği” (Anahtar-Değer Önbelleği) ile ilgilidir. Transformer, akıcı bir şekilde metin oluşturmak için, GPU’nun yüksek hızlı belleğinde (VRAM) daha önce söylediği her şeyi sürekli olarak açık tutmalıdır. Sohbet uzadıkça, bu önbellek şişer ve sadece üç paragraf önce neler olduğu hakkında hatırlamak için devasa miktarda bellek tüketir.

Bu, “GPU Duvarı”nı oluşturur. Sadece yongalardan değil, onları beslemek için gereken bellek bant genişliğinden de mahrum kalıyoruz. Her geçen gün büyüyen motorlar inşa ettik, ancak bunları beslemek imkansız hale geldi. Endüstri, uzun süre, çözüm olarak basitçe daha fazla NVIDIA H100 (NVDA ) satın almaktı. Ancak bu kaba kuvvet, azalan getiri noktasına ulaşıyor. Quadratik olarak yakıt tüketen bir motora değil, yeni bir mimariye ihtiyacımız var.

Görünmeyen Devrim

Ana akım araştırmalar LLM’ler üzerinde odaklanırken, araştırmacılar grubu eski bir fikri yeniden ele aldı: Yinelenen Sinir Ağları (RNN’ler). Transformer’lar önce, RNN’ler dil için standarttı. Metni sıralı olarak, kelime kelime işler ve iç durumunu güncellerdi. Çok verimliydiler çünkü tüm geçmişe bakmak zorunda kalmazlardı, sadece “özünü” belleklerinde taşırlardı.

RNN’ler, uzun bağımlılıkları işleyemedikleri için başarısız oldular; cümle başlangıcını cümle sonuna ulaştıklarında “unuturlardı”. Ayrıca, paralelleştirilemedikleri için eğitimleri yavaştı. Bu, kelime A’dan önce kelime B’yi işleyemeyeceğiniz anlamına geliyordu. Transformer’lar bu sorunu, her şeyi aynı anda işleyerek (paralelleştirme) ve her şeyi bellekte tutarak (dikkat) çözdü.

Şimdi, her iki dünyanın en iyilerini birleştiren mimarilerin yükselişini görüyoruz. Bunlar geniş olarak Durum Uzayı Modelleri (SSM’ler) olarak bilinir. Transformer’ların eğitim hızını (paralelleştirilebilir) sunarlar, ancak RNN’lerin çıkarım verimliliğini (lineer ölçekleme) sağlarlar.

Bu yeni dalganın öne çıkan mimarilerden biri, Mamba‘dır. 2023’ün sonlarında yayınlanan ve 2024 boyunca geliştirilen Mamba, modellerin bilgiyi nasıl işlediğinde temel bir değişimi temsil etmektedir. Bir Transformer’ın aksine, Mamba, her gördüğü kelimenin orijinal kopyasını bellek tamponunda tutmak yerine, “seçici durum uzayı” kullanır.

Transformer ve Mamba arasındaki farkı, Transformer’ı, her kitabını okuduğu her kitabın açık olarak masasında tutan bir bilim insanı, Mamba’yı ise kitabı bir kez okuyup önemli içgörülerini çok verimli bir deftere sıkıştıran bir bilim insanı olarak hayal ederek anlayabiliriz. Mamba, bir sonraki kelimeyi üretirken, ham metne geri bakmak yerine, sıkıştırılmış durumuna bakar.

Bu ayrım, AI dağıtımının ekonomisini değiştirir. Mamba ve benzer mimarilerle, metin oluşturma maliyeti, dizinin uzunluğu arttıkça patlamaz. Teorik olarak, bu modellere milyonlarca kelime bağlamı besleyebilirsiniz ve bir sonraki tokeni üretme maliyeti, on kelime beslediğinizde aynı kalır.

Yinelenmenin Dönüşü

Mamba’nın arkasındaki teknik đột phá, “seçicilik”tir. Önceki RNN’leri modernleştirmeye yönelik girişimler, fazla katı oldukları için başarısız oldular. Bilgileri eşit olarak sıkıştırıyorlardı, önemli olup olmadıklarına veya gürültü olup olmadıklarına bakılmaksızın. Mamba, modelin veri akışı sırasında neyi hatırlayacağını ve neyi unutacağını dinamik olarak quyếtleme mekanizması tanır.

Model, bir kod bloğundaki bir değişken tanımı gibi önemli bir bilgi parçacığı aldığında, “kapağı açar” ve bunu güçlü bir şekilde durumuna yazar. Doldurma kelimeleri veya alakasız gürültü ile karşılaştığında, kapağı kapatır ve sınırlı bellek kapasitesini önemli olan şeylere ayırır.

Bu seçicilik, eski RNN’lerin karşılaştığı “unutma” sorununu etkili bir şekilde çözer. Çoğu testte, Mamba tabanlı modeller, aynı boyuttaki Transformer’ların performansını eşler, ancak çıkarım sırasında beş kata kadar daha hızlı çalışırlar. Daha da önemli olarak, bellek izleri çok daha küçüktür. Bu, yüksek performanslı LLM’lerin, önceden düşünülenden daha az güçlü olan cihazlarda, bulutu offload etmeden, yerel olarak çalışabilmesi için kapıları açar.

Ayrıca, Hyena adlı alt-ikincil bir mimarinin yükselişini görüyoruz. Hyena, Transformer’ın ağır “dikkat” katmanlarını, donanımda çok daha ucuz olan matematiksel işlemlerle değiştirmeyi hedefleyen bir mimaridir. Bu modeller, şimdi büyük liderlik panellerinde Transformer’lara meydan okumaya başladılar.

Melezlerin Yükselişi

Devrim, belki de Transformer’ın tam bir yerine geçmesi değil, ama evrimi melez formlara doğru olabilir. AI21 Labs’tan Jamba gibi modellerin ortaya çıkmasını görüyoruz. Jamba, Transformer katmanlarıyla Mamba katmanlarını birleştirir.

Bu melez yaklaşım, Transformer’ın sınırlarını pratik bir şekilde ele almaya yönelik bir yol sunar. Transformer’lar, özellikle bağlamdan kesin detayları kopyalama konusunda hala istisnai derecede güçlüdür. Mamba katmanlarını (veri işlemenin büyük kısmını ve uzun süreli belleği işler) birkaç Transformer dikkat katmanı (keskin, anlık akıl yürütme işler) ile birleştirdiğinizde, her iki dünyanın en iyilerini bir araya getiren bir model elde edersiniz.

Melez bir model, gerçekten kullanılabilir bir şekilde devasa bir bağlam penceresi oluşturur. Şu anda, birçok “uzun bağlam” Transformer’ı 100.000 tokeni işleyebildiğini iddia eder, ancak performansları bağlam dolduruldukça hızla bozulur. Bu, “ortada kaybolma” olarak bilinir. Melez mimari, uzun mesafeler boyunca tutarlılıklarını çok daha iyi korur, çünkü SSM katmanları özellikle zaman içinde durumu sıkıştırmak ve taşımak için tasarlanmıştır.

Bu gelişmeler, endüstrinin odak noktasını “Eğitim Hesaplaması”ndan (ne kadar büyük bir küme inşa etmeliyim?) “Çıkarım Ekonomisi”ne (bu modeli milyarlarca kullanıcıya nasıl ucuz bir şekilde sunabilirim?) kaydırıyor. Bir melez model, bir Transformer’ın %10’u kadar maliyetle bir kullanıcıya hizmet edebilirse, AI uygulamaları için iş modeli bir gecede değişir.

AI Dağıtımının Geleceği

Bu post-Transformer devriminin etkileri, sadece veri merkezleriyle sınırlı değildir. GPU Duvarı, histórik olarak, sadece milyarlarca dolarlık donanıma sahip en büyük teknoloji devlerinin, state-of-the-art modelleri inşa edip çalıştırabilmesini sağlayan bir kapı görevi gördü. Mamba ve RWKV gibi verimli mimariler, bu gücü demokratikleştirmektedir. Bir tüketici sınıfı kartında, terabaytlarca VRAM’a ihtiyaç duymadan GPT-4 düzeyinde bir model çalıştırabiliyorsanız, AI’nin merkezi kontrolü gevşemeye başlar. Yerel, özel AI ajanlarının, buluta hiçbir paket göndermeden, sadece bilgisayarınızda çalışan ve özel verilerinizi işleyen bir şekilde geri dönmesini görebiliriz.

Ayrıca, bu verimlilik, “Ajans AI” sistemlerini, saatlerce veya günlerce kompleks görevleri tamamlamak için çalıştırma anahtarıdır. Mevcut Transformer’lar, uzun süreler boyunca sürekli olarak çalışmak için çok pahalı ve yavaştırlar. Doğrusal zamanlı bir mimari, sürekli olarak düşünüp işleyebilir, böylece kullanıcıyı iflas ettirmeden veya donanımı aşırı ısitmmeden.

Sonuç

Transformer, AI başlıklarını domine etti, ancak sahne arkasında sessiz bir devrim gerçekleşiyor. GPU Duvarı, araştırmacıları, modellerin nasıl bellek ve hesaplama işlediğini yeniden düşünmeye zorluyor. Mamba ve melez modeller gibi post-Transformer mimarileri, verimlilik değil, ölçeklemenin bir sonraki dönemi tanımlayacağını kanıtlıyor. Bu yenilikler, devasa bağlam pencerelerini pratik hale getirir, çıkarımı ucuzlatır ve gelişmiş AI’yi veri merkezlerinin ötesine taşır. AI’nin geleceği, daha büyük modellerde değil, daha akıllı, hatırlayan, akıl yürüten ve verimli ölçeklenebilen modellerdedir.