Cebinde Taşınan Güç: Microsoft’un Phi-3’ünü Tanıtıyoruz, Cep Telefonunuza Sığan Dil Modeli

Yapay zeka alanında hızla gelişen trendlerde, genellikle daha büyük ve daha karmaşık modellere doğru bir eğilim olsa da, Microsoft Phi-3 Mini ile farklı bir yaklaşım benimsiyor. Bu küçük dil modeli (SLM), şimdi üçüncü nesilde, daha büyük modellerin güçlü yeteneklerini cep telefonlarının katı kaynak kısıtlamalarına uygun bir çerçeveye yerleştiriyor. 3.8 milyar parametreyle, Phi-3 Mini dil işleme, akıl yürütme, kodlama ve matematik dahil çeşitli görevlerde büyük dil modellerinin (LLM) performansını eşleştirir ve mobil cihazlarda verimli çalışması için nicemleme yoluyla uyarlanır.

Büyük Dil Modellerinin Zorlukları

Microsoft’un Phi SLM’lerinin geliştirilmesi, tüketici cihazlarında genellikle mevcut olmayan daha fazla hesaplama gücünü gerektiren LLM’ler tarafından oluşturulan önemli zorluklara bir yanıttır. Bu yüksek talep, standart bilgisayarlarda ve mobil cihazlarda kullanımını karmaşık hale getirir, eğitim ve çalışma sırasında enerji tüketimi nedeniyle çevresel endişeler yaratır ve büyük ve karmaşık eğitim veri kümeleriyle önyargıları sürdürme riski taşır. Bu faktörler ayrıca gerçek zamanlı uygulamalarda modellerin yanıt verme hızını engelleyebilir ve güncellemeleri daha zor hale getirebilir.

Phi-3 Mini: Kişisel Cihazlardaki AI’ı Streamline Ederek Artan Gizlilik ve Verimlilik Sağlama

Phi-3 Mini stratejik olarak, telefonlar ve dizüstü bilgisayarlar gibi kişisel cihazlara doğrudan entegre edilen gelişmiş AI için maliyet etkin ve verimli bir alternatif sunmak üzere tasarlanmıştır. Bu tasarım, daha hızlı, daha doğrudan yanıtları sağlar ve teknolojiyle günlük senaryolarda kullanıcı etkileşimini geliştirir.

Phi-3 Mini, mobil cihazlarda gelişmiş AI işlevlerini doğrudan işleme olanağı sağlar, bu da bulut hizmetlerine bağımlılığı azaltır ve gerçek zamanlı veri işleme yeteneğini artırır. Bu yetenek, anlık veri işleme gerektiren uygulamalar için kritiktir, chẳng hạn như mobil sağlık hizmetleri, gerçek zamanlı dil çevirisi ve kişiselleştirilmiş eğitim, bu alanlardaki ilerlemeleri kolaylaştırır. Modelin maliyet etkinliği, yalnızca operasyonel maliyetleri azaltmakla kalmaz, aynı zamanda AI entegrasyonunun potansiyelini çeşitli endüstrilerde, giyilebilir teknoloji ve ev otomasyonu gibi yeni ortaya çıkan pazarlar da dahil olmak üzere genişletir. Phi-3 Mini, verileri yerel cihazlarda işler, bu da kullanıcı gizliliğini artırır. Bu, kişisel sağlık ve finansal hizmetler gibi alanlarda hassas bilgileri yönetmek için çok önemlidir. Ayrıca, modelin düşük enerji gereksinimleri, çevresel olarak sürdürülebilir AI operasyonlarına katkıda bulunur, küresel sürdürülebilirlik çabalarına uyum sağlar.

Tasarım Felsefesi ve Phi’nin Evrimi

Phi’nin tasarım felsefesi, çocukların öğrenme sürecini andıran bir eğitim yaklaşımından esinlenen curriculum öğrenimi kavramına dayanır. Temel fikir, AI eğitimini daha kolay örneklerle başlatmak ve öğrenme süreci ilerledikçe eğitim verilerinin karmaşıklığını artırmaktır. Microsoft, bu eğitim stratejisini, “Ders Kitapları Her Şeydir” adlı çalışmasında ayrıntılı olarak açıklanan bir veri kümesini ders kitaplarından oluşturarak uygulamıştır. Phi serisi, Haziran 2023’te Phi-1 ile başladı, bu model 1.3 milyar parametreyle küçük bir modeldi. Bu model, özellikle Python kodlama görevlerinde, daha büyük ve daha karmaşık modelleri geride bırakarak nhanh chóng etkinliğini kanıtladı. Bu başarının üzerine inşa ederek, Microsoft daha sonra Phi-1.5‘i geliştirdi, bu model aynı sayıda parametreyle ancak dil anlama ve ortak akıl yürütme gibi alanlarda yeteneklerini genişletti. Seri, Aralık 2023’te Phi-2nin piyasaya sürülmesiyle parladı. 2.7 milyar parametreyle, Phi-2 akıl yürütme ve dil anlama yeteneklerinde etkileyici beceriler sergiledi, önemli ölçüde daha büyük modellerle rekabet edebilen bir konumda yer aldı.

Phi-3 ile Diğer Küçük Dil Modellerinin Karşılaştırılması

Öncüllerinin üzerine inşa edilen Phi-3 Mini, Phi-2’nin ilerlemelerini genişletir ve çeşitli endüstriyel uygulamalarda Google’ın Gemma, Mistral’ın Mistral, Meta’nın Llama3-Instruct ve GPT 3.5 gibi diğer SLM’leri geride bırakır. Bu uygulamalar, dil anlama ve çıkarım, genel bilgi, ortak akıl yürütme, ilkokul matematik söz problemleri ve tıbbi soru cevaplandırma gibi konuları içerir ve bu modellere kıyasla üstün performans sergiler. Phi-3 Mini, ayrıca çeşitli görevler için, içerik oluşturma ve belirli konumlara özgü aktivite önerileri sağlama da dahil olmak üzere, bir iPhone 14 üzerinde çevrimdışı olarak test edilmiştir. Bu amaçla, Phi-3 Mini nicemleme adı verilen bir işlemle 1.8GB’ye sıkıştırılmıştır, bu işlem modelin sayısal verilerini 32-bit kayan nokta numaralarından daha kompakt formatlara (4-bit tam sayılar gibi) dönüştürür. Bu, yalnızca modelin bellek izini azaltmakla kalmaz, aynı zamanda işleme hızını ve enerji verimliliğini de geliştirir, bu da mobil cihazlar için çok önemlidir. Geliştiriciler, genellikle bu işlemi otomatikleştirmek ve iyileştirmek için TensorFlow Lite veya PyTorch Mobile gibi çerçeveleri kullanır.

Özellik Karşılaştırması: Phi-3 Mini ile Phi-2 Mini

Aşağıda, Phi-3’ün bazı özelliklerini selefi Phi-2 ile karşılaştırıyoruz.

• Model Mimarisi: Phi-2, bir sonraki kelimeyi tahmin etmek üzere tasarlanmış bir transformer tabanlı mimari kullanır. Phi-3 Mini de bir transformer decoder mimarisini benimser, ancak Llama-2 model yapısına daha yakın bir şekilde, 320.641’lik bir sözcük dağarcığı boyutuna sahip aynı tokenleyiciyi kullanır. Bu uyumluluk, Llama-2 için geliştirilen araçların Phi-3 Mini ile kolayca uyarlanabilmesini sağlar.
• Bağlam Uzunluğu: Phi-3 Mini, 8.000 tokenlik bir bağlam uzunluğunu destekler, bu da Phi-2’nin 2.048 tokenine kıyasla önemli ölçüde daha uzundur. Bu artış, Phi-3 Mini’nin daha ayrıntılı etkileşimleri yönetmesine ve daha uzun metin parçalarını işlemesine olanak tanır.
• Mobil Cihazlarda Yerel Çalışma: Phi-3 Mini, 4-bite sıkıştırılabilir ve yaklaşık 1.8GB bellek alanı kaplar, bu da Phi-2’ye benzer. Bir A16 Bionic çipine sahip bir iPhone 14 üzerinde test edildiğinde, benzer koşullar altında Phi-2’nin performansını eşitlediği görüldü ve saniyede 12’den fazla token işledi.
• Model Boyutu: 3.8 milyar parametreyle, Phi-3 Mini’nin boyutu Phi-2’den (2.7 milyar parametre) daha büyüktür, bu da artan yeteneklerini yansıtır.
• Eğitim Verileri: Phi-2’nin 1.4 trilyon tokenle eğitildiği mentre, Phi-3 Mini 3.3 trilyon tokenlik daha büyük bir veri kümesiyle eğitilmiştir, bu da dil kalıplarını daha iyi anlamasını sağlar.

Phi-3 Mini’nin Sınırlılıklarını Giderme

Phi-3 Mini, küçük dil modelleri alanındaki önemli ilerlemelere rağmen, sınırlılıkları yok değil. Phi-3 Mini’nin, büyük dil modellerine kıyasla daha küçük boyutu nedeniyle, geniş kapsamlı olgu bilgisi depolama kapasitesi sınırlıdır. Bu, bağımsız olarak, derin olgu bilgisi veya ayrıntılı uzman bilgisine ihtiyaç duyan sorguları işleme yeteneğini etkileyebilir. Ancak bu, modeli bir arama motoruyla entegre ederek giderilebilir. Bu şekilde, Phi-3 Mini, dil ve bağlam hakkında kapsamlı bir anlayışa sahip, ancak zaman zaman doğru ve güncel yanıtlar sağlamak için “araştırma” yapması gereken yetenekli bir sohbetçi gibi davranabilir.

Kullanılabilirlik

Phi-3 şu anda Microsoft Azure AI Studio, Hugging Face ve Ollama gibi çeşitli platformlarda mevcuttur. Azure AI’de model, bir dağıt-evalue-incele iş akışını içerir ve Ollama’da dizüstü bilgisayarlarda yerel olarak çalıştırılabilir. Model, ONNX Runtime için uyarlanmıştır ve Windows DirectML‘yi destekler, bu da çeşitli donanım türleri (GPU’lar, CPU’lar ve mobil cihazlar) üzerinde iyi çalışmasını sağlar. Ayrıca, Phi-3, NVIDIA NIM aracılığıyla bir microservice olarak sunulmaktadır, bu da kolay dağıtım için standart bir API sağlar ve NVIDIA GPU’ları için optimize edilmiştir. Microsoft, Phi-3 serisini yakın zamanda Phi-3-small (7B) ve Phi-3-medium (14B) modellerini ekleyerek genişletmeyi planlıyor, bu da kullanıcıların kalite ve maliyet arasında seçim yapmasına olanak tanır.

Sonuç

Microsoft’un Phi-3 Mini’si, mobil kullanım için büyük dil modellerinin gücünü uyarlayarak yapay zeka alanında önemli adımlar atıyor. Bu model, daha hızlı, gerçek zamanlı işleme ve geliştirilmiş gizlilik özellikleri ile cihazlarla kullanıcı etkileşimini geliştirir. Bulut tabanlı hizmetlere olan ihtiyacı azaltır, operasyonel maliyetleri düşürür ve sağlık hizmetleri ve ev otomasyonu gibi alanlardaki AI uygulamalarının kapsamını genişletir. Eğitimdeki önyargıları azaltmaya odaklanan ve rekabetçi performansı koruyan Phi-3 Mini, verimli ve sürdürülebilir mobil AI için önemli bir araç haline geliyor ve teknolojiyle günlük etkileşimimizi nazikçe dönüştürüyor.