Flash Dikkat: Dönüştürücü Verimliliği Devrimleştirme

</pre>
import torch

<p>def standard_dikkat(Q, K, V):
# Q, K, V şekli: (batch_size, seq_len, d_model)
d_k = K.size(-1)
scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k))
dikkat_agirliklari = torch.softmax(scores, dim=-1)
return torch.matmul(dikkat_agirliklari, V)</p>

Bu uygulama, basittir, ancak yukarıda belirtilen verimsizliklerden muzdariptir. scores tensörü, (batch_size, seq_len, seq_len) şekline sahiptir ve uzun diziler için çok büyük olabilir.

Flash Dikkatın Girişi

Flash Dikkat, 2022’de Tri Dao ve arkadaşları tarafından tanıtılan bir yaklaşımdır. Hesaplama verimliliğini ve bellek kullanımını dramatik olarak azaltır. Flash Dikkatın ardındaki temel fikirlerdir:

1. Döşeme: Büyük dikkat matrisini, hızlı SRAM’de sığabilecek küçük parçalara ayırın.
2. Yeniden Hesaplama: Tüm dikkat matrisini depolamak yerine, geriye doğru geçiş sırasında必要 olan kısımlarını yeniden hesaplayın.
3. G/Ç Bilinçli Uygulama: Algoritmayı, farklı GPU bellek hiyerarşisi seviyeleri arasındaki veri hareketini en aza indirerek optimize edin.

Flash Dikkat Algoritması

Flash Dikkat, dikkat mekanizmasının hesaplanmasını yeniden düşünür. Tüm dikkat matrisini bir defada hesaplamak yerine, modern GPU’ların bellek hiyerarşisini kullanarak bloklar halinde işler.

Algoritmanın yüksek düzeyde bir özeti şudur:

1. Giriş: Matrisler Q, K, V, HBM (Yüksek Bant Genişliği Belleği) ve SRAM’da M boyutunda.
2. Blok boyutları, mevcut SRAM’a göre hesaplanır.
3. Çıkış matrisi O ve yardımcı vektörler l ve m için başlatma.
4. Algoritma, girişi SRAM’da sığabilecek bloklara ayırır.
5. İki iç içe döngü, bu blokları işler:
   • Dış döngü, K ve V bloklarını yükler
   • İç döngü, Q bloklarını yükler ve hesaplamaları gerçekleştirir
6. SRAM’da gerçekleştirilen hesaplamalar, matris çarpımı, softmax ve çıktı hesaplamasını içerir.
7. Sonuçlar, her bloğun işlenmesinden sonra HBM’ye yazılır.

Bu bloklar halinde hesaplama, Flash Dikkatın, dikkat matrisini tam olarak hesaplayarken, çok daha küçük bir bellek izine sahip olmasını sağlar.

Flash Dikkatın Matematiksel Arkaplanı

Flash Dikkatın çalışmasını sağlayan matematiksel hile, softmax’ın bloklar halinde hesaplanmasına olanak tanır. Makale, iki önemli formülü tanıtır:

1. Softmax Ayrışması:
   softmax(x) = exp(x - m) / Σexp(x - m)

   burada m, x’deki maksimum değerdir.

2. Softmax Birleştirme:
   softmax(x ∪ y) = softmax(softmax(x) * e^(m_x - m), softmax(y) * e^(m_y - m))

   burada m = max(m_x, m_y)

Bu formüller, Flash Dikkatın, her bloğun kısmi softmax sonuçlarını hesaplayabilmesini ve bunları doğru bir şekilde birleştirebilmesini sağlar.

Uygulama Ayrıntıları

Flash Dikkatın basitleştirilmiş bir uygulamasını inceleyerek, temel kavramlarını göstereceğiz:

import torch

<p>def flash_dikkat(Q, K, V, block_size=256):
batch_size, seq_len, d_model = Q.shape</p>

<p># Çıkış ve çalışan istatistiklerini başlat
O = torch.zeros_like(Q)
L = torch.zeros((batch_size, seq_len, 1))
M = torch.full((batch_size, seq_len, 1), float(&#039;-inf&#039;))</p>

<p>for i in range(0, seq_len, block_size):
Q_block = Q[:, i:i+block_size, :]</p>

<p>for j in range(0, seq_len, block_size):
K_block = K[:, j:j+block_size, :]
V_block = V[:, j:j+block_size, :]</p>

<p># Bu bloğun dikkat puanlarını hesapla
S_block = torch.matmul(Q_block, K_block.transpose(-2, -1)) / (d_model ** 0.5)</p>

<p># Çalışan maksimumu güncelle
M_new = torch.maximum(M[:, i:i+block_size], S_block.max(dim=-1, keepdim=True).values)</p>

<p># Üstel değerleri hesapla
exp_S = torch.exp(S_block - M_new)
exp_M_diff = torch.exp(M[:, i:i+block_size] - M_new)</p>

<p># Çalışan toplamı güncelle
L_new = exp_M_diff * L[:, i:i+block_size] + exp_S.sum(dim=-1, keepdim=True)</p>

<p># Bu bloğun çıktısını hesapla
O[:, i:i+block_size] = (
exp_M_diff * O[:, i:i+block_size] +
torch.matmul(exp_S, V_block)
) / L_new</p>

<p># Çalışan istatistiklerini güncelle
L[:, i:i+block_size] = L_new
M[:, i:i+block_size] = M_new</p>

return O

Bu uygulama, basitleştirilmiştir, ancak Flash Dikkatın özünü yakalar. Girişi bloklar halinde işler, softmax’ı tüm bloklar boyunca doğru bir şekilde hesaplamak için çalışan istatistiklerini (M ve L) korur.

Flash Dikkatın Etkisi

Flash Dikkatın tanıtılması, makine öğrenimi alanına, özellikle büyük dil modelleri ve uzun bağlam uygulamaları için önemli bir etkiye sahiptir. Bazı ana faydaları şunlardır:

1. Bellek Kullanımını Azaltma: Flash Dikkat, bellek karmaşıklığını O(N^2)’den O(N)’ye indirir, burada N dizi uzunluğudur. Bu, aynı donanım ile çok daha uzun dizilerin işlenmesine olanak tanır.
2. Hızlılık Arttırma: Veri hareketini en aza indirerek ve GPU hesaplama kapasitesini daha iyi kullanarak, Flash Dikkat önemli hız artışı sağlar. Yazarlar, standart uygulamalara kıyasla GPT-2 için eğitimde %300’e varan hız artışı rapor eder.
3. Doğru Hesaplama: Diğer bazı dikkat optimizasyon tekniklerinin aksine, Flash Dikkat doğru dikkat hesaplar, yaklaşık değildir.
4. Ölçeklenebilirlik: Azalan bellek izi, milyonlarca token uzunluğundaki dizilere ölçeklenmesine olanak tanır.

Gerçek Dünya Etkisi

Flash Dikkatın etkisi, akademik araştırmaların ötesine geçer. Popüler makine öğrenimi kütüphaneleri ve modellerinde hızla benimsenmiştir:

• Hugging Face Transformers: Popüler Transformers kütüphanesi, Flash Dikkat uygulamasını içerir, böylece kullanıcılar kolayca faydalanabilir.
• GPT-4 ve Ötesi: İleri dil modellerinin, uzun bağlamları işleyebilmek için Flash Dikkat benzeri teknikleri kullanabileceği spekülasyonları vardır.
• Uzun Bağlam Modelleri: Flash Dikkat, kitap veya uzun videolar gibi çok uzun bağlamları işleyebilen bir model neslinin geliştirilmesini mümkün kılmıştır.

FlashDikkat: Son Gelişmeler

Standart dikkat vs Flash Dikkat

FlashDikkat-2

Orijinal Flash Dikkatın başarısı üzerine, aynı ekip 2023’te FlashDikkat-2’yi tanıttı. Bu güncellenmiş sürüm, birkaç geliştirme içerir:

1. Daha Fazla Optimizasyon: FlashDikkat-2, A100 GPU’larında teorik zirve FLOPS’un %70’ine ulaşarak, daha iyi GPU kullanımını sağlar.
2. İyileştirilmiş Geriye Doğru Geçiş: Geriye doğru geçiş, ileri geçişin neredeyse aynı hızına ulaşır, bu da eğitimde önemli hız artışı sağlar.
3. Farklı Dikkat Çeşitlerine Destek: FlashDikkat-2, gruplu sorgu dikkat ve çoklu sorgu dikkat gibi çeşitli dikkat varyantlarını destekler.

FlashDikkat-3

2024’te yayınlanan FlashDikkat-3, bu araştırma çizgisindeki en son gelişmedir. several yeni teknikleri tanır:

1. Asenkron Hesaplama: Yeni GPU talimatlarının asenkron doğasını kullanarak, farklı hesaplamaları çakıştırın.
2. FP8 Desteği: Daha hızlı işlem için düşük hassiyetli FP8 hesabını kullanın.
3. Uyumsuz İşleme: Düşük hassiyetli formatlarda kuantizasyon hatasını azaltmak için bir teknik.

FlashDikkat-3’ün asenkron hesabını nasıl kullanabileceği hakkında basitleştirilmiş bir örnek:

import torch
from torch.cuda.amp import autocast

<p>def flash_dikkat_3(Q, K, V, block_size=256):
with autocast(dtype=torch.float8): # FP8 hesabını kullanarak
# ... (önceki uygulamaya benzer)</p>

<p># Asenkron hesaplamaya bir örnek
with torch.cuda.stream(torch.cuda.Stream()):
# GEMM'i asenkron olarak hesapla
S_block = torch.matmul(Q_block, K_block.transpose(-2, -1)) / (d_model ** 0.5)</p>

<p># Varsayılan akışta:
# Softmax hesabına hazırlanın</p>

<p># Akışları senkronize edin
torch.cuda.synchronize()</p>

<p># Softmax ve çıktı hesabına devam edin
# ...</p>

return O

Bu kod parçası, FlashDikkat-3’ün asenkron hesabını ve FP8 hassiyetini nasıl kullanabileceğini gösterir. Bu, gerçek uygulamadan çok daha basit bir örnektir.

Projelerinizde Flash Dikkat Uygulama

Flash Dikkatı kendi projelerinizde kullanmak istiyorsanız, birkaç seçeneğiniz vardır:

1. Mevcut Kütüphaneleri Kullanma: Popüler kütüphaneler gibi Hugging Face Transformers, Flash Dikkat uygulamalarını içerir. Sadece en son sürüme güncelleyin ve ilgili bayrakları etkinleştirin.
2. Özel Uygulama: Daha fazla kontrol veya özel durumlar için, Flash Dikkatını kendiniz uygulayabilirsiniz. Xformers kütüphanesi iyi bir referans uygulaması sağlar.
3. Donanım-Spesifik Optimizasyonlar: Belirli donanımlar (örneğin, NVIDIA H100 GPU’ları) ile çalışıyorsanız, maksimum performans için donanım-spessifik özelliklerden yararlanabilirsiniz.

Hugging Face Transformers kütüphanesiyle Flash Dikkat kullanma örneği:

from transformers import AutoModel, AutoConfig

<p># Flash Dikkat'ı etkinleştir
config = AutoConfig.from_pretrained(&quot;bert-base-uncased&quot;)
config.use_flash_attention = True</p>

<p># Flash Dikkat ile modeli yükleyin
model = AutoModel.from_pretrained(&quot;bert-base-uncased&quot;, config=config)</p>

<p># Modeli normal şekilde kullanın
# ...

Zorluklar ve Gelecek Yönergeler

Flash Dikkat, dikkat mekanizmalarının verimliliğini önemli ölçüde iyileştirmiş olsa da, hala zorluklar ve gelecek için araştırma alanları vardır:

1. Donanım Spesifikliği: Mevcut uygulamalar genellikle belirli GPU mimarilerine optimize edilmiştir. Bu optimizasyonları farklı donanımlara genellemek bir zorluktur.
2. Diğer Tekniklerle Entegrasyon: Flash Dikkatın, budama, kuantizasyon ve model sıkıştırma gibi diğer optimizasyon teknikleriyle birleştirilmesi aktif bir araştırma alanıdır.
3. Diğer Alanlara Genelleme: Flash Dikkatın başarıları, NLP’de görülmüştür, ancak bilgisayar vizyonu ve çoklu.modal modeller gibi diğer alanlara genelleme devam etmektedir.
4. Teorik Anlama: Flash Dikkatın neden bu kadar iyi çalıştığını derinlemesine anlamak, daha güçlü optimizasyonlara yol açabilir.

Sonuç

GPU bellek hiyerarşilerini akıllıca kullanarak ve matematiksel hileler uygulayarak, Flash Dikkat, hem hızda hem de bellek kullanımında önemli iyileştirmeler sağlar, ancak doğruluğu feda etmez.

Bu makalede gördüğümüz gibi, Flash Dikkatın etkisi, basit bir optimizasyon tekniğinin ötesine geçer. Daha güçlü ve verimli modellerin geliştirilmesini mümkün kılmıştır.