NLP’nin Transformer Modelleri ile Yükselişi | T5, BERT ve GPT’nin Kapsamlı Analizi

Doğal Dil İşleme (NLP), son yıllarda transformer mimarisi sayesinde en etkili atılımları yaşamıştır. Bu atılımlar, makinelerin insan dilini anlamasını ve üretmesini geliştirmenin yanı sıra, arama motorlarından konuşma AI’larına kadar birçok uygulamanın yapısını yeniden tanımlamıştır.

Transformer mimarisinin önemini tam olarak takdir edebilmek için, bu devrimci mimarinin temelini oluşturan önceki tekniklere ve yapı taşlarına geri dönmeliyiz.

Transformer Öncesi Erken NLP Teknikleri

Word Embeddings: One-Hot’tan Word2Vec’e

Geleneksel NLP yaklaşımlarında, kelimelerin temsil edilmesi genellikle literal ve herhangi bir anlamsal veya sentaktik anlayış içermeyen bir şekilde gerçekleştirilirdi. One-hot encoding, bu sınırlamanın önemli bir örneğidir.

One-hot encoding, kategorik değişkenlerin ikili vektör temsiline dönüştürülmesi sürecidir; burada yalnızca bir bit “sıcak” (1’e ayarlanır), diğerleri ise “soğuk” (0’a ayarlanır). NLP bağlamında, sözcüklerin her biri, her bir vektör sözcük listesi boyutunda ve her sözcük, listesindeki indexine karşılık gelen vektörde 1, diğerlerinde 0 ile temsil edilir.

One-Hot Encoding Örneği

Diyelim ki sadece beş kelimeden oluşan küçük bir sözcük dağarcığımız var: [“king”, “queen”, “man”, “woman”, “child”]. Her kelimenin one-hot encoding vektörleri şöyle görünür:

• “king” -> [1, 0, 0, 0, 0]
• “queen” -> [0, 1, 0, 0, 0]
• “man” -> [0, 0, 1, 0, 0]
• “woman” -> [0, 0, 0, 1, 0]
• “child” -> [0, 0, 0, 0, 1]

Matematiksel Temsil

Eğer $V$ olarak sözcük dağarcığımızın boyutunu ve wi​ olarak i. sözcüğün one-hot vektör temsilini belirtirsek, wi​ matematiksel temsilini şöyle gösterebiliriz:

wi​=[0,0,…,1,…,0,0] $\text{i-th pozisyon 1 ve diğer pozisyonlar 0 olacak şekilde}$

One-hot encoding’in önemli bir dezavantajı, her kelimeyi izole bir varlık olarak ele alması ve diğer kelimelerle herhangi bir ilişkiyi yakalamamasıdır. Bu, anlamsal veya sentaktik bilgi içermeyen seyrek ve yüksek boyutlu vektörler oluşturur.

Word2Vec’in, özellikle de Google’ (GOOGL ) daki Tomas Mikolov liderliğindeki bir ekip tarafından 2013’te geliştirilen Word2Vec’in ortaya çıkışı, NLP için bir dönüm noktası oldu. Word2Vec, kelimeleri yoğun vektör uzayında temsil etti ve büyük metin koleksiyonlarındaki bağlamlarına dayalı sentaktik ve anlamsal kelime ilişkilerini yakaladı.

One-hot encoding’in aksine, Word2Vec, genellikle yüzlerce boyuta sahip olan yoğun vektörler üretir. Benzer bağlamlarda ortaya çıkan kelimeler, “king” ve “queen” gibi, vektör uzayında birbirlerine daha yakın vektör temsililerine sahip olurlar.

İllüstrasyon amacıyla, Word2Vec modelini eğitmiş ve kelimeleri varsayımsal 3 boyutlu bir uzayda temsil edelim. Gömme (genellikle 3 boyutlu değildir, ancak basitlik için azaltılmıştır) şöyle görünür:

• “king” -> [0.2, 0.1, 0.9]
• “queen” -> [0.21, 0.13, 0.85]
• “man” -> [0.4, 0.3, 0.2]
• “woman” -> [0.41, 0.33, 0.27]
• “child” -> [0.5, 0.5, 0.1]

Bu sayılar kurgusal olsa da, benzer kelimelerin benzer vektörlere sahip olacağını gösterir.

Matematiksel Temsil

Eğer bir kelimenin Word2Vec gömme vektörünü vw​ olarak belirtirsek ve gömme uzayımızın $d$ boyutu varsa, vw​ şöyle temsil edilebilir:

vw​=[v1​,v2​,…,vd​] $\text{her bir vi bir kelime özniteliği için bir kesirli sayı olarak gömme uzayında temsil eder.}$

Anlamsal İlişkiler

Word2Vec, karmaşık ilişkileri bile yakalayabilir; örneğin, analojiler. Word2Vec gömme uzayında yakalanan ünlü bir ilişki şöyledir:

$\text{vector(“king”) – vector(“man”) + vector(“woman”)}\approx \text{vector(“queen”)}$

Bu, Word2Vec’in kelime vektörlerini, paylaştıkları bağlamlara göre eğitim sırasında ayarlayabilmesinden kaynaklanır.

Word2Vec, kelimelerin dağıtılmış temsilini üretmek için iki ana mimari kullanır: Continuous Bag-of-Words (CBOW) ve Skip-Gram. CBOW, bir hedef kelimeyi çevreleyen bağlamsal kelimelerden öngörürken, Skip-Gram bunun tersini yapar, bir hedef kelimeyi kullanarak bağlamsal kelimeleri öngörür. Bu, makinelerin kelime kullanımını ve anlamını daha nüanslı bir şekilde anlamalarına olanak tanıdı.

Dizi Modelleme: RNN’ler ve LSTM’ler

Alan ilerledikçe, dizi metinlerini anlamaya odaklanma, makine çevirisi, metin özetleme ve duygu analizi gibi görevler için çok önemliydi. Tekrarlayan Sinir Ağları (RNN’ler), bu uygulamalar için köşe taşı oldular, çünkü dizi verilerini işleme yetenekleri ve bir tür hafıza koruma becerileri vardı.

RNN’ler sınırlamalardan uzak değildi. Uzun vadeli bağımlılıklarla, kaybolan gradyan problemi nedeniyle mücadele ettiler; burada bilgi uzun diziler boyunca kaybolur ve uzak olaylar arasındaki korelasyonu öğrenmek zorlaşır.

Uzun Kısa Vadeli Hafıza (LSTM) ağları, 1997’de Sepp Hochreiter ve Jürgen Schmidhuber tarafından tanıtıldı, bu sorunu daha sofistike bir mimari ile ele aldı. LSTM’ler, bilgi akışını kontrol eden kapılar sahiptir: girdi kapısı, unutma kapısı ve çıktı kapısı. Bu kapılar, hangi bilginin depolandığını, güncellendiğini veya atıldığını belirler, böylece ağ uzun vadeli bağımlılıkları koruyabilir ve geniş bir NLP görevi yelpazesi üzerinde performansını önemli ölçüde geliştirir.

Transformer Mimarisi

NLP alanındaki manzara, 2017’de Vaswani et al. tarafından “Attention is All You Need” adlı çığır açan makalede sunulan transformer modelinin tanıtılmasıyla dramatik bir şekilde değişti. Transformer mimarisi, RNN’ler ve LSTM’lerin sıralı işleme sürecinden uzaklaşır ve yerine, self-attention olarak adlandırılan bir mekanizmayı kullanır.

Transformer’in temel fikri, tüm girdi verilerini bir kerede işleyebilmesidir, bu da çok daha fazla paralelleştirme ve sonuç olarak önemli eğitim hızı artışları sağlar. Self-attention mekanizması, modelin metni işlerken farklı kısımlarına odaklanmasını sağlar, bu da kelimelerin konumuna bakılmaksızın kelimeler ve cümleler arasındaki ilişkileri ve bağlamı anlamak için çok önemlidir.

Transformer’de Kodlayıcı ve Dekoder:

Orijinal Transformer modelinde, Vaswani et al. tarafından “Attention is All You Need” adlı makalede tanımlanan mimari, iki ana bölüme ayrılmıştır: kodlayıcı ve dekoder. Her iki bölüm de aynı genel yapıya sahip katmanlardan oluşur, ancak farklı amaçlar için hizmet eder.

Kodlayıcı:

• Rolü: Kodlayıcı, girdi verilerini işler ve ilişkileri yakalayan bir temsil oluşturur. Bu transformer bölümü, yeni içerik oluşturmaz; yalnızca dekoderin kullanabileceği bir duruma girdi verilerini dönüştürür.
• İşlevi: Her kodlayıcı katman, self-attention mekanizmaları ve feed-forward sinir ağları içerir. Self-attention mekanizması, kodlayıcıdaki her konumu, önceki katmandaki tüm konumlarına dikkat etmesini sağlar—böylece her kelimenin etrafındaki bağlamı öğrenebilir.
• Bağlamsal Gömme: Kodlayıcı’nın çıkışı, yüksek boyutlu bir uzayda girdi dizisini temsil eden bir dizi vektördür. Bu vektörler genellikle bağlamsal gömme olarak adlandırılır, çünkü yalnızca bireysel kelimeleri değil, aynı zamanda cümle içindeki bağlamlarını da kodlar.

Dekoder:

• Rolü: Dekoder’in rolü, algoritmanın çıktı verilerini, kodlayıcıdan aldığı girdi ve ürettiklerine dayanarak sıralı bir şekilde oluşturmaktır. Metin oluşturma gibi görevler için tasarlanmıştır, burada oluşturma sırası önemlidir.
• İşlevi: Dekoder katmanları da self-attention mekanizmalarını içerir, ancak sonraki konumların dikkat etmesini önlemek için maskelenir. Bu, bir konumun yalnızca önceki bilinen çıktılara bağlı olabileceğini garanti eder. Ayrıca, dekoder katmanları, girdi bağlamını oluşturma sürecine entegre etmek için kodlayıcı çıktısına dikkat eden ikinci bir dikkat mekanizması içerir.
• Sıralı Oluşturma: Bu, dekoderin bir dizi oluşturma yeteneğini ifade eder, bir kerede bir öğe oluşturur ve daha önce ürettiğini temel alır. Örneğin, metin oluştururken, dekoder, kodlayıcı tarafından sağlanan bağlam ve ürettiği kelime dizisi temelinde bir sonraki kelimeyi öngörür.

Kodlayıcı ve dekoder içindeki bu alt katmanlar, modelin karmaşık NLP görevlerini ele alabilmesi için çok önemlidir. Çok başlı dikkat mekanizması, özellikle, modelin dizi içindeki farklı kısımlarına seçici olarak odaklanmasına olanak tanır, bu da bağlamın zengin bir şekilde anlaşılmasını sağlar.

Transformer Tabanlı Popüler Modeller

İlk transformer modelinin başarısının ardından, çeşitli görevler için optimize edilmiş ve yenilikler içeren yeni modellerin patlaması yaşandı;

BERT (Bidirectional Encoder Representations from Transformers): Google tarafından 2018’de tanıtılan BERT, dil temsilini nasıl entegre edildiğini devrimleştirdi. Büyük bir metin korpusunda maskeleme dili modeli ve sonraki cümle öngörüsü ile ön eğitim yaparak, BERT zengin bidirectional bağlamları yakalar ve geniş bir NLP görevi yelpazesi üzerinde state-of-the-art sonuçlar elde eder.

BERT

T5 (Text-to-Text Transfer Transformer): Google tarafından 2020’de tanıtılan T5, tüm NLP görevlerini metin-odaklı bir format olarak yeniden çerçeveler ve birleştirir. Bu yaklaşım, modeli çeşitli görevlere, çeviri, özetleme ve soru-cevap dahil, uygulamayı basitleştirir.

T5 Mimarisi

GPT (Generative Pre-trained Transformer): OpenAI tarafından geliştirilen GPT model serisi, GPT-1’den başlayarak 2023’te GPT-4’e ulaştı. Bu modeller, büyük metin verisi koleksiyonları üzerinde ön eğitim görür ve çeşitli görevler için fine-tune edilir. Bağlamsal olarak ilgili ve tutarlı metin üretme yetenekleri, hem akademik hem de ticari AI uygulamalarında büyük bir etkiye sahiptir.

GPT Mimarisi

Aşağıda, T5, BERT ve GPT modellerinin çeşitli boyutlar açısından daha derinlemesine bir karşılaştırması yer almaktadır:

1. Tokenization ve Sözcük Dağı

• BERT: WordPiece tokenization’u kullanır ve yaklaşık 30.000 tokenlik bir sözcük dağına sahiptir.
• GPT: Byte Pair Encoding (BPE) kullanır ve büyük bir sözcük dağına sahiptir (örneğin, GPT-3’ün sözcük dağı 175.000’dir).
• T5: SentencePiece tokenization’u kullanır ve metni ham olarak ele alır, önceden segmentlenmiş kelimelere gerek duymaz.

2. Ön Eğitim Hedefleri

• BERT: Maskeleme dili modeli (MLM) ve sonraki cümle öngörüsü (NSP).
• GPT: Neden-sonuç dili modellemesi (CLM), her bir tokenin dizideki bir sonraki tokeni öngördüğü bir yaklaşım.
• T5: Gürültü azaltma hedefi kullanır, burada metnin rastgele parçaları bir gözcü tokeniyle değiştirilir ve model orijinal metni yeniden oluşturmayı öğrenir.

3. Giriş Temsili

• BERT: Token, segment ve konum gömme vektörlerini birleştirerek girişi temsil eder.
• GPT: Token ve konum gömme vektörlerini birleştirir (cümle çifti görevleri için segment gömme vektörlerine gerek yoktur).
• T5: Yalnızca token gömme vektörleri ile ilave göreceli konum kodlamaları, dikkat işlemleri sırasında kullanılır.

4. Dikkat Mekanizması

• BERT: Mutlak konum kodlamaları kullanır ve her tokenin, soldaki ve sağdaki tüm tokenlere dikkat etmesine izin verir (bidirectional dikkat).
• GPT: Mutlak konum kodlamaları kullanır ancak dikkat, yalnızca önceki tokenlere yöneltilir (unidirectional dikkat).
• T5: Pozisyonel önyargılar yerine göreceli konum kodlamalarını uygular.

5. Model Mimarisi

• BERT: Yalnızca kodlayıcı mimarisiyle, çok katmanlı transformer bloklarından oluşur.
• GPT: Yalnızca dekoder mimarisiyle, yine çok katmanlı ancak üretken görevler için tasarlanmıştır.
• T5: Hem kodlayıcı hem de dekoderden oluşur; her ikisi de transformer katmanlarından oluşur.

6. Fine-Tuning Yaklaşımı

• BERT: Ön eğitimli modelin son gizli durumlarını, gerektiğinde ek çıktı katmanlarıyla birlikte, aşağı akış görevleri için uyarlar.
• GPT: Transformer üzerine bir lineer katman ekler ve neden-sonuç dili modelleme hedefini kullanarak aşağı akış görevi için fine-tune eder.
• T5: Tüm görevleri metin-odaklı bir forma dönüştürür; model, girdi dizisinden hedef dizisini üretmek için fine-tune edilir.

7. Eğitim Verileri ve Ölçek

• BERT: Kitap Korpusu ve İngilizce Wikipedia’da eğitilir.
• GPT: GPT-2 ve GPT-3, internetten çıkarılan çeşitli veri setlerinde eğitilir; GPT-3, Common Crawl olarak bilinen daha büyük bir korpus üzerinde eğitilir.
• T5: “Colossal Clean Crawled Corpus” olarak adlandırılan, Common Crawl’in büyük ve temiz bir sürümünde eğitilir.

8. Bağlam ve Bidirektiflik İşleme

• BERT: Hem ileri hem de geri yönde bağlamı anlamak için tasarlanmıştır.
• GPT: Yalnızca ileri yönde bağlamı anlamak için eğitilir (soldan sağa).
• T5: Kodlayıcıda bidirektif, dekoderda ise unidirektif bağlamı modelleyebilir; dizi-dizi görevleri için uygundur.

9. Aşağı Akış Görevlerine Uyarlanabilirlik

• BERT: Her aşağı akış görevi için görev-specifik başlıklar ve fine-tuning gerektirir.
• GPT: Üretken doğası, minimal yapısal değişikliklerle çeşitli görevleri gerçekleştirmesini sağlar.
• T5: Tüm görevleri “metin-odaklı” bir problem olarak ele alır, bu da onu yeni görevlere doğal olarak uyarlanabilir kılar.

10. Yorumlanabilirlik ve Açıklanabilirlik

• BERT: Bidirektif doğası, zengin bağlamsal gömme sağlar ancak daha zor yorumlanır.
• GPT: Unidirektif bağlam, daha basit bir takip sunar ancak bidirektif bağlamın derinliğini kaçırır.
• T5: Kodlayıcı-dekoder çerçevesi, işleme adımlarının net bir ayrımını sağlar ancak üretken doğası nedeniyle analiz etmesi karmaşıktır.

NLP Üzerindeki Transformerlerin Etkisi

Transformerler, dizi verilerini paralel olarak işleme yetenekleri sayesinde NLP alanını devrimleştirdi, bu da büyük sinir ağlarının eğitim hızını dramatik olarak artırdı. Self-attention mekanizmasını tanıttılar, bu da modellerin, dizideki her bir parçasının önemini, mesafeden bağımsız olarak, değerlendirmelerine olanak tanıdı. Bu, çeviriden soru-cevap ve metin özetlemeye kadar geniş bir NLP görevi yelpazesi üzerinde önceden görülmemiş iyileştirmelere yol açtı.

Araştırma, transformer tabanlı modellerin neler başarmaya capable olduklarını sınırlarını zorlamaya devam etmektedir. GPT-4 ve çağdaşları, yalnızca daha büyük ölçekte değil, aynı zamanda gelişmiş mimari ve eğitim yöntemleri sayesinde daha verimli ve yeteneklidir. Az örnek öğrenme gibi teknikler, modellerin minimal örneklerle görevleri gerçekleştirmelerini sağlar ve daha etkili transfer öğrenme yöntemleri, güncel araştırmaların ön saflarında yer alır.

Transformer tabanlı dil modelleri, eğitim verdikleri verilerde bulunan önyargıları öğrenir. Araştırmacılar ve uygulayıcılar, bu önyargıları tanımlamak, anlamak ve hafifletmek için aktif olarak çalışmaktadır. Teknikler, önyargıları ve tarafsızlığı hedefleyen eğitim veri setlerinin küratörlüğünden, eğitim sonrası ayarlamalara kadar uzanır.