Hugging Face LLM Araçlarına İlişkin Tam Başlangıç Rehberi POZİTİF POZİTİF

Hugging Face, akademisyenlerin, araştırmacıların ve meraklıların toplandığı bir AI araştırma laboratuvarı ve merkezidir. Kısa bir süre içinde, Hugging Face AI alanında önemli bir varlık kazanmıştır. Google, Amazon ve Nvidia gibi teknoloji devleri, AI startup’ı Hugging Face’e önemli yatırımlar yaparak, değerini 4,5 milyar dolar làmıştır.

Bu rehberde, transformers, LLM’ler ve Hugging Face kütüphanesinin açık kaynaklı AI topluluğunu desteklemedeki önemli rolü tanıtacağız. Ayrıca, Hugging Face’in temel özelliklerini, boru hatları, veri kümeleri, modeller ve daha fazlasını içeren Python örnekleriyle birlikte ele alacağız.

Doğal Dil İşleme’de Transformers

2017 yılında Cornell Üniversitesi, transformers’i tanıtan etkili bir makale yayınladı. Bunlar, doğal dil işlemede kullanılan derin öğrenme modelleridir. Bu keşif, ChatGPT gibi büyük dil modellerinin geliştirilmesini teşvik etti.

Büyük dil modelleri veya LLM’ler, transformers kullanarak insan benzeri metinleri anlamak ve oluşturmak için kullanılan AI sistemleridir. Ancak, bu modelleri oluşturmak pahalıdır ve genellikle milyonlarca dolar gerektirir, bu da erişilebilirliğini büyük şirketlerle sınırlar.

Hugging Face, 2016 yılında kuruldu ve NLP modellerini herkesin erişebileceği hale getirmeyi amaçlıyor. Ticari bir şirket olmasına rağmen, insanların ve organizasyonların transformer modellerini uygun maliyetle oluşturup kullanmalarına yardımcı olan bir dizi açık kaynaklı kaynağı sunar. Makine öğrenimi, bilgisayarların desenleri tanıyarak görevleri gerçekleştirmesini öğretmektir, derin öğrenme ise makine öğreniminin bir alt kümesidir ve bağımsız olarak öğrenen bir ağ oluşturur. Transformers, girişteki verilerin etkili ve esnek bir şekilde kullanılmasını sağlayan bir derin öğrenme mimarisidir, bu nedenle büyük dil modellerini oluşturmak için tercih edilir çünkü daha az eğitim zamanı gerektirir.

Hugging Face’in NLP ve LLM Projelerini Nasıl Kolaylaştırdığı

Hugging Face, LLM’lerle çalışmayı aşağıdaki şekilde kolaylaştırmıştır:

1. Seçebileceğiniz önceden eğitilmiş modellerin bir dizi sunar.
2. Modelleri özel ihtiyaçlarınıza göre ayarlamak için araçlar ve örnekler sağlar.
3. Çeşitli ortamlarda kolay dağıtım seçenekleri sunar.

Hugging Face aracılığıyla erişilebilen harika bir kaynak, Açık LLM Liderlik Tablosudur. Kapsamlı bir platform olarak çalışan Açık LLM Liderlik Tablosu, bir dizi Büyük Dil Modeli (LLM) ve sohbet botunun verimliliğini sistematik olarak izler, sıralar ve analiz eder, açık kaynaklı alanda yapılan ilerlemeleri ayrıntılı bir şekilde sağlar.

LLM Benchmarks, modelleri dört metriğe göre ölçer:

• AI2 Mantık Challange (25-atış) — ilkokul bilim müfredatına ilişkin bir dizi soru.
• HellaSwag (10-atış) — insanların basit bulduğu ancak son teknoloji modelleri için önemli bir zorluk olan bir ortak anlam testi.
• MMLU (5-atış) — metin modelinin 57 farklı alandaki uzmanlığını değerlendiren çok yönlü bir test, temel matematik, hukuk ve bilgisayar bilimi gibi konuları içerir.
• TruthfulQA (0-atış) — modelin sık karşılaşılan çevrimiçi yanlış bilgileri yineler eğilimini belirleyen bir araç.

Benchmark’lar, “25-atış”, “10-atış”, “5-atış” ve “0-atış” gibi terimlerle tanımlanır ve bir modelin performansını ve çeşitli alanlardaki akıl yürütme yeteneklerini değerlendirmek için değerlendirme sırasında verilen.prompt örneklerinin sayısını belirtir. “Az-atış” paradigmalarda modellere, yanıtlarını yönlendirmelerine yardımcı olmak için birkaç örnek verilir, ancak “0-atış” durumunda modellere örnek verilmez ve yalnızca önceden var olan bilgilerine dayanarak uygun şekilde yanıt vermesi gerekir.

Hugging Face Bileşenleri

Boru Hatları

Hugging Face’in transformers kütüphanesinin bir parçası olan ‘boru hatları’, Hugging Face deposunda bulunan önceden eğitilmiş modellerin kolay kullanılmasını sağlayan bir özelliktir. Düzenleme analizi, soru-cevap, maskeleme dili modelleme, adlandırılmış varlık tanıma ve özetleme gibi bir dizi görev için sezgisel bir API sağlar.

Boru hatları, üç merkezi Hugging Face bileşenini entegre eder:

1. Tokenizatör: Modelin anlayabileceği bir forma dönüştürmek için metninizi hazırlar.
2. Model: Boru hattının kalbidir, burada gerçek tahminler yapılır.
3. Son İşlemci: Modelin ham tahminlerini insan tarafından okunabilir bir forma dönüştürür.

Bu boru hatları, yalnızca kapsamlı kodlama ihtiyacını azaltmakla kalmaz, aynı zamanda çeşitli NLP görevlerini gerçekleştirmek için kullanıcı dostu bir arayüz sağlar.

Hugging Face Kütüphanesini Kullanarak Transformer Uygulamaları

Hugging Face kütüphanesinin bir özelliği, transformerleri basitleştiren Transformers kütüphanesidir, bu da modeli gerekli ön ve son işleme aşamalarıyla bağlayarak analiz sürecini basitleştirir. Kütüphaneyi yüklemek ve içe aktarmak için aşağıdaki komutları kullanın:

[kod dili=”Python”]
pip install -q transformers
from transformers import pipeline
[/kod]

Bunu yaptıktan sonra, duygu analizi gibi NLP görevlerini gerçekleştirmeye başlayabilirsiniz, bu da metni olumlu veya olumsuz duygulara ayırır. Kütüphanenin güçlü pipeline() işlevi, diğer boru hatlarını kapsayan ve görev özgüleri uygulamaları ses, görüntü ve çok modlu alanlarda kolaylaştıran bir merkezdir.

Pratik Uygulamalar

Metin Sınıflandırma

Metin sınıflandırma, Hugging Face’in pipeline() işlevi ile kolaylaşır. Bir metin sınıflandırma boru hattını başlatmak için aşağıdaki kodu kullanın:

[kod dili=”Python”]
classifier = pipeline(“metin-sınıflandırma”)
[/kod]

Elle tutma deneyimi için, bir dize veya dize listesini boru hattınızaBesin verin ve tahminleri alın, bunlar Python’un Pandas kütüphanesi ile güzel bir şekilde görselleştirilebilir. Aşağıdaki Python parçacığı bunu gösterir:

[kod dili=”Python”]
cümleler = [“AI dünyasının harika dünyasına sizi tanıtmaktan heyecan duyuyorum.”,
“Umarım sizi hayal kırıklığına uğratmaz.”]

# Her cümle için sınıflandırma sonuçlarını alın
sonuçlar = classifier(cümleler)

# Her sonucu döndürün ve etiketi ve puanı yazdırın
for i, sonuç in enumerate(sonuçlar):
print(f”Sonuç {i + 1}:”)
print(f” Etiket: {sonuç[‘etiket’]}”)
print(f” Puan: {round(sonuç[‘puan’], 3)}\n”)
[/kod]

Çıktı

[kod dili=”Bash”]
Sonuç 1: