Gemma: Google, İleri AI Özelliklerini Açık Kaynaklı Olarak Sunuyor

Yapay zeka (AI) alanı, son yıllarda büyük ilerleme kaydetmiştir ve bu ilerleme büyük ölçüde derin öğrenme ve doğal dil işleme (NLP) alanındaki gelişmeler tarafından sürülmüştür. Bu gelişmelerin ön saflarında, büyük dil modelleri (LLM’ler) bulunmaktadır – büyük miktarda metin verisi üzerinde eğitilen ve insan gibi metin üretebilen ve konuşma görevlerinde bulunabilen AI sistemleri.

Google’ (GOOGL ) un PaLM, Anthropic’in Claude ve DeepMind’in Gopher gibi LLM’ler, kodlamadan ortak akıl yürütme yeteneğine kadar dikkat çekici yetenekler sergilemiştir. Ancak, bu modellerin çoğu açık olarak yayınlanmamıştır, bu da onların araştırma, geliştirme ve faydalı uygulamalar için erişimini sınırlamıştır.

Bu durum, Gemma’nın açık kaynaklı olarak yayınlanmasıyla değişti – DeepMind’in güçlü özel Gemini modellerine dayanan bir LLM ailesi. Bu blog yazısında, Gemma’nın mimarisini, eğitim sürecini, performansını ve sorumlu yayınını analiz edeceğiz.

Gemma’nın Genel Bakışı

Şubat 2023’te, DeepMind açık kaynaklı olarak iki boyutlu Gemma modellerini yayınladı – bir cihazda çalışmak için optimize edilmiş 2 milyar parametreli bir sürüm ve GPU/TPU kullanımı için tasarlanmış 7 milyar parametreli bir sürüm.

Gemma, DeepMind’in önde gelen Gemini modellerine benzer bir transformer tabanlı mimari ve eğitim metodolojisini kullanmaktadır. 6 trilyon token metin verisinden oluşmaktadır ve bu veriler web belgeleri, matematik ve kod içermektedir.

DeepMind, Gemma’nın ham ön eğitimli kontrol noktalarını ve denetimli öğrenme ve insan geri bildirimi ile geliştirilmiş yeteneklere sahip sürümlerini yayınladı.

Gemma ile Başlamak

Gemma’nın açık yayınlanması, geliştiriciler, araştırmacılar ve meraklılar için advanced AI yeteneklerine erişimi sağlar. İşte başlamanın hızlı bir rehberi:

Platform Bağımsız Dağıtım

Gemma’nın bir gücü, esnekliğidir – CPU, GPU veya TPU üzerinde çalıştırabilirsiniz. CPU için TensorFlow Lite veya HuggingFace Transformers kullanabilirsiniz. GPU/TPU için hızlandırılmış performans için TensorFlow kullanabilirsiniz. Google Cloud’un Vertex AI gibi bulut hizmetleri de ölçeklenebilirlik sağlar.

Ön Eğitimli Modelleri Erişim

Gemma, farklı ön eğitimli varyantlara sahiptir – 2B ve 7B modelleri güçlü üretebilen yeteneklere sahiptir. Özel fine-tuning için 2B-FT ve 7B-FT modelleri ideal başlangıç noktalarıdır.

İlginç Uygulamalar Oluşturun

Gemma ile çeşitli uygulamalar oluşturabilirsiniz – öykü oluşturma, dil çevirisi, soru-cevap ve yaratıcı içerik üretimi gibi. Anahtar, Gemma’nın güçlü yönlerini kendi verilerinizi kullanarak fine-tuning yaparak kullanmaktır.

Mimari

Gemma, bir decoder-only transformer mimarisini kullanır ve multi-sorgu dikkat mekanizmaları ve döner pozisyonel gömme gibi gelişmeleri içerir:

• Transformerler: 2017’de tanıtılan, yalnızca dikkat mekanizmaları temel alınan transformer mimarisi, NLP’de evrenselleşmiştir. Gemma, transformerlerin uzun menzilli bağımlılıkları modelleme yeteneğini miras almıştır.
• Decoder-only: Gemma, yalnızca bir transformer decoder yığını kullanır, BART veya T5 gibi encoder-decoder modellerin aksine. Bu, metin oluşturma görevleri için güçlü üretebilen yetenek sağlar.
• Multi-sorgu dikkat: Gemma, daha büyük modelinde multi-sorgu dikkat kullanır, her dikkat başlığının paralel olarak birden fazla sorguyu işleme yeteneği sağlar.
• Döner pozisyonel gömme: Gemma, pozisyonel bilgileri temsil etmek için döner gömme kullanır, bu da model boyutunu azaltırken pozisyon bilgisini korur.

Multi-sorgu dikkat ve döner pozisyonel gömme gibi tekniklerin kullanılması, Gemma modellerinin performans, çıkarım hızı ve model boyutu arasında optimal bir dengeye ulaşmasını sağlar.

Veri ve Eğitim Süreci

Gemma, 6 trilyon token metin verisi üzerinde eğitilmiştir,主要 olarak İngilizce metinler içermektedir. Bu veriler, web belgeleri, matematik ve kod içermektedir. DeepMind, veri filtreleme için önemli çaba sarf etti ve toksik, yasadışı veya önyargılı metinleri sınıflandırıcılar ve yöntemler kullanarak entferdi.

Eğitim, Google’un TPUv5 altyapısı kullanılarak gerçekleştirildi ve Gemma-7B’nin eğitimi için 4096 TPU kullanıldı. Veri paralelliği ve model paralelliği teknikleri, büyük modellerin eğitimini ermögledi.

Aşamalı eğitim kullanıldı ve veri dağılımı, yüksek kaliteli ve ilgili metinlere odaklanmak için sürekli olarak ayarlandı. Son fine-tuning aşamaları, insan tarafından oluşturulan ve sentetik talimatları takip etme örnekleri kullanarak yetenekleri geliştirmek için kullanıldı.

Model Performansı

DeepMind, Gemma modellerini, soru-cevap, akıl yürütme, matematik, kodlama, ortak akıl ve diyalog gibi yetenekleri içeren 25’ten fazla testte değerlendirdi.

Gemma, benzer boyutlardaki açık kaynaklı modellere kıyasla většina testlerde üstün sonuçlar elde etti. Bazı öne çıkanlar:

• Matematik: Gemma, matematiksel akıl yürütme testlerinde, Codex ve Anthropic’in Claude gibi modellerden 10 puan daha iyi sonuçlar elde etti.
• Kodlama: Gemma, MBPP gibi programlama testlerinde Codex’in performansını eşitledi veya geçti,尽管 kodlama için özel olarak eğitilmemişti.
• Diyalog: Gemma, insan tercih testlerinde Anthropic’in Mistral-7B modeline karşı %51,7’lik bir galibiyet oranına sahip oldu.
• Akıl yürütme: Gemma, çıkarım gerektiren görevlerde, ARC ve Winogrande gibi testlerde diğer 7B modellerinden 5-10 puan daha iyi sonuçlar elde etti.

Gemma’nın çeşitli disiplinlerdeki esnekliği, güçlü genel zeka yeteneklerini göstermektedir. İnsan düzeyindeki performansa ulaşmak için masih bazı boşluklar vardır, ancak Gemma, açık kaynaklı NLP’de bir adım ileriye götürmektedir.

Güvenlik ve Sorumluluk

Büyük modellerin açık kaynaklı olarak yayınlanması, kasıtlı kötüye kullanım ve içkin model önyargıları gibi zorluklar getirir. DeepMind, riskleri azaltmak için adımlar attı:

• Veri filtreleme: Potansiyel olarak toksik, yasadışı veya önyargılı metinler, sınıflandırıcılar ve yöntemler kullanılarak entferildi.
• Değerlendirmeler: Gemma, güvenlik, adillik ve sağlamlık değerlendirmesi için 30’dan fazla testte değerlendirildi ve diğer modellerle eşdeğer veya daha iyi sonuçlar elde etti.
• Fine-tuning: Model fine-tuning, güvenlik yeteneklerini geliştirmeye odaklandı, chẳng hạn olarak bilgi filtreleme ve uygun çekince/refusal davranışları.
• Kullanım koşulları: Kullanım koşulları, Gemma modellerinin saldırgan, yasadışı veya ahlaka aykırı uygulamalarını yasaklar. Ancak, bu koşulların uygulanması zor olabilir.
• Model kartları: Model yetenekleri, sınırlamaları ve önyargıları hakkında bilgi sağlayan kartlar yayınlandı.

Açık kaynaklı olarak yayınlanmasıyla ilgili riskler olmasına rağmen, DeepMind, Gemma’nın yayınlanmasının toplum için net faydalar sağladığına karar verdi. Ancak, potansiyel zararların sürekli olarak izlenmesi kritik olacaktır.

AI İnovasyonunun Geleceğini Etkileme

Gemma’nın açık kaynaklı olarak yayınlanması, AI topluluğu için ilerlemeye açık bir kapı olabilir:

• Erişilebilirlik: Gemma, kuruluşlar için en son NLP teknolojisini kullanma engellerini azaltır, çünkü artık kendi LLM’lerini eğitmek için yüksek hesaplama ve veri maliyetlerine ihtiyaç duymazlar.
• Yeni uygulamalar: Ön eğitimli ve fine-tune edilmiş kontrol noktalarının açık kaynaklı olarak yayınlanması, eğitim, bilim ve erişilebilirlik gibi alanlarda faydalı uygulamaların geliştirilmesini kolaylaştırır.
• Özelleştirme: Geliştiriciler, Gemma’yı endüstri veya alan spesifik uygulamalar için continued eğitim yoluyla özelleştirebilir.
• Araştırma: Açık kaynaklı modeller gibi Gemma, mevcut NLP sistemlerinin şeffaflığını ve denetlenmesini sağlar ve gelecekteki araştırma yönlerini aydınlatır.
• İnovasyon: Güçlü temel modellerin mevcudiyeti, önyargı azaltma, gerçeklik ve AI güvenliği gibi alanlarda ilerlemeyi hızlandırır.

Gemma’nın yeteneklerini herkesin kullanımına sunarak, DeepMind, AI’nin toplum için sorumlu geliştirilmesini teşvik etmeyi amaçlar.

Yol Haritası

Her AI ilerlemesiyle, insan zekasının tüm alanlarda rakip veya onu aşan modellere doğru ilerlemekteyiz. Gemma gibi sistemler, kendiliğinden öğrenen modellerin hızla geliştiğini ve giderek daha advanced bilişsel yeteneklere ulaştığını vurgulamaktadır.

Ancak, güvenilirlik, yorumlanabilirlik ve kontrol edilebilirlik gibi alanlarda masih çalışması gereken çok şey vardır – bu alanlarda insan zekası hala üstündür. Matematik gibi alanlar, bu sürekli boşlukları vurgulamaktadır, Gemma MMLU’da %64’lük bir skor elde ederken, insan performansı %89 olarak tahmin edilmektedir.

Bu boşlukları kapatırken, aynı zamanda giderek daha yetenekli AI sistemlerinin güvenliğini ve etiğini sağlamak, önümüzdeki yıllarda ana zorluk olacaktır. Açıklık ve ihtiyat arasındaki doğru dengeyi bulmak kritik olacaktır, çünkü DeepMind, AI’nin faydalarına erişimi demokratikleştirmeyi amaçlarken, ortaya çıkan riskleri yönetmeyi amaçlar.

AI güvenliği teşvik etmek için girişimler – Dario Amodei’nin ANC’si, DeepMind’in Etik ve Toplum ekibi ve Anthropic’in Anayasal AI’si – bu ihtiyacın artan farkındalığını göstermektedir. Anlamlı ilerleme, araştırmacılar, geliştiriciler, politika yapıcılar ve halk arasında açık, kanıta dayalı diyalog gerektirecektir.

Sorumlu bir şekilde yönetilirse, Gemma AI’nin zirvesi değil, sondern next nesil AI araştırmacıları için bir baz kampıdır – DeepMind’in adil ve faydalı genel AI’ye doğru attığı adımların izinden giden.

Sonuç

DeepMind’in Gemma modellerini açık kaynaklı olarak yayınlaması, açık kaynaklı AI için yeni bir dönemi simgeler – bu dönem, dar benchmark’lerden genel zeka yeteneklerine doğru ilerlemektedir. Güvenlik ve erişilebilirlik açısından geniş çapta test edilen Gemma, sorumlu açık kaynaklı AI için yeni bir standart oluşturur.

Rekabet ruhunun işbirliği değerleriyle dengelenmesi, AI ekosisteminin tümünü yükseltmektedir. Topluluk, şimdi kendi girişimlerini desteklemek veya sürüklemek için esnek bir LLM ailesine sahiptir.

Riskler masih mevcut olsa da, DeepMind’in teknik ve etik titizliği, Gemma’nın faydalarının potansiyel zararlarını aştığını göstermektedir. AI yetenekleri giderek daha advanced hale geldikçe, açıklık ve ihtiyat arasındaki dengeyi korumak kritik olacaktır.

Gemma, tüm insanlık için faydalı AI’ye bir adım daha yaklaştırmaktadır. Ancak, yol boyunca masih büyük zorluklar bulunmaktadır. AI araştırmacıları, geliştiricileri ve toplumun işbirliği yaparak ilerlemeye devam etmesi halinde, Gemma bir gün tarihsel bir baz kamp olarak görülebilir, zirve değil.