Parametre-verimli fine-tuning veya PeFT yöntemleri, büyük dil modellerini yalnızca birkaç ağırlık güncelleyerek uyarlar. Ancak mevcut yorumlanabilirlik çalışmalarının çoğu, temsillerin zengin anlamsal bilgileri kodladığını göstermiştir, bu da temsilleri düzenlemenin ağırlık güncellemelerinden daha iyi ve güçlü bir alternatif olabileceğini düşündürmektedir. Büyük ön eğitimli modeller genellikle yeni alanlar veya görevler için fine-tuning edilir ve fine-tuning süreci sırasında, tek bir temel model küçük miktarlarda alan içi veri ile birlikte çeşitli görevlere uyarlanabilir. Ancak tüm modelin fine-tuning edilmesi kaynak yoğun ve pahalı bir işlemdir, özellikle dil modelleri için.

Parametre-verimli fine-tuning veya PeFT yöntemleri, tüm modeli fine-tuning etmenin yüksek maliyetlerini azaltmak için yalnızca birkaç ağırlık günceller. Bu, eğitim süresini ve bellek kullanımını azaltmaya yardımcı olur. PeFT yöntemleri, beberapa pratik ortamda fine-tuning ile benzer performans gösterir. Adapte Ediciler, PeFT yöntemlerinin ortak bir ailesidir ve dondurulmuş temel model ile birlikte çalışan ek ağırlıklar öğrenir. Recent adapte ediciler gibi LoRA, düşük.ranklı matrisler kullanarak ek ağırlıkları yaklaşık olarak hesaplayabilir ve bu, eğitim sırasında ek yük getirmeksizin ağırlık güncellemelerinin modele entegre edilmesini sağlar.

Önceki çalışmalar, temsilleri düzenlemenin PeFT yöntemlerinden daha iyi bir alternatif olabileceğini göstermiştir. Bu makalede, ReFT veya Temsili İyileştirme yöntemlerini ele alacağız. ReFT, dondurulmuş bir model üzerinde çalışır ve gizli temsiller üzerinde görev özgü müdahaleler öğrenir. Bu makale, ReFT çerçevesini derinlemesine ele almayı amaçlar ve mekanizmasını, metodolojisini, mimarisini ve diğer çerçevelerle karşılaştırmayı探lar.

ReFT: Diller için Temsili İyileştirme

Ön eğitimli dil modellerini yeni alanlara ve görevlere uyarlamak için, mevcut çerçeveler genellikle bu modelleri sık sık fine-tuning eder. Fine-tuning işlemi, tek bir temel modelin çeşitli görevlere uyarlanmasını sağlar, ancak bu işlem pahalı ve kaynak yoğundur, özellikle dil modelleri için. PeFT veya parametre-verimli fine-tuning çerçeveleri, tüm modeli fine-tuning etmenin yüksek maliyetlerini azaltmak için yalnızca birkaç ağırlık günceller. Bu, eğitim süresini ve bellek kullanımını azaltmaya yardımcı olur. PeFT çerçeveleri, beberapa pratik ortamda fine-tuning ile benzer performans gösterir. Adapte Ediciler, PeFT yöntemlerinin ortak bir ailesidir ve dondurulmuş temel model ile birlikte çalışan ek ağırlıklar öğrenir.

ReFT çerçevesi, dondurulmuş bir model üzerinde çalışır ve gizli temsiller üzerinde görev özgü müdahaleler öğrenir. Bu, PeFT yöntemlerine göre daha güçlü ve esnek bir yaklaşım olabilir. ReFT, büyük model yorumlanabilirliği ile ilgili recent çalışmaların gösterdiği gibi, temsilleri düzenlemek, dil modellerinin davranışını kontrol etmek için daha etkili bir yol olabilir. LoReFT veya Düşük-Ranklı Altuzay ReFT, ReFT’nin güçlü ve etkili bir örneğidir ve gizli temsiller üzerinde düşük-ranklı matrisler kullanarak müdahaleler öğrenir.

PeFT veya parametre-verimli fine-tuning çerçeveleri, tüm modeli fine-tuning etmenin yüksek maliyetlerini azaltmak için yalnızca birkaç ağırlık günceller. Bu, eğitim süresini ve bellek kullanımını azaltmaya yardımcı olur. PeFT çerçeveleri, beberapa pratik ortamda fine-tuning ile benzer performans gösterir. PeFT yöntemleri, üç ana kategoriye ayrılabilir:

• Adapte Edici Yöntemler: Adapte edici yöntemler, ön eğitimli modelin üzerine ek fully-connected katmanlar öğrenir. Seri adapte ediciler, multilayer perceptron veya MLP ve büyük model attention katmanları arasında bileşenler ekler, जबकi paralel adapte ediciler mevcut bileşenlerin yanına modüller ekler.

• LoRA: LoRA, düşük-ranklı matrisler kullanarak ek ağırlıkları yaklaşık olarak hesaplayabilir ve bu, eğitim sırasında ek yük getirmeksizin ağırlık güncellemelerinin modele entegre edilmesini sağlar.

• Prompt Tabanlı Yöntemler: Prompt tabanlı yöntemler, girdi olarak random olarak 초기leştirilmiş soft tokenlar ekler ve dil modelinin ağırlıklarını dondurarak bu tokenların gömme vektörlerini öğrenir. Ancak bu yöntemlerin performansı, diğer PeFT yaklaşımlarına göre genellikle daha düşüktür ve ayrıca inference sırasında önemli bir yük getirebilir.

ReFT çerçevesi, dondurulmuş bir model üzerinde çalışır ve gizli temsiller üzerinde görev özgü müdahaleler öğrenir. Bu, PeFT yöntemlerine göre daha güçlü ve esnek bir yaklaşım olabilir. ReFT, büyük model yorumlanabilirliği ile ilgili recent çalışmaların gösterdiği gibi, temsilleri düzenlemek, dil modellerinin davranışını kontrol etmek için daha etkili bir yol olabilir.

ReFT: Metodoloji ve Mimarisi

ReFT çerçevesi, transformer tabanlı büyük bir modeli hedef model olarak alır ve bu modelin girdi tokenlarının bağlamsal temsillerini üretmesini sağlar. Girdi tokenlarının her biri için, ReFT çerçevesi önce bu tokenları bir dizi temsile dönüştürür, ardından m katmanı bu temsilleri ardışık olarak hesaplar. Her gizli temsil bir vektedir ve dil modeli, son gizli temsilleri kullanarak tahminleri üretir. ReFT çerçevesi, hem masked dil modellerini hem de otoregresif dil modellerini dikkate alır.

ReFT çerçevesi, lineer temsil hipotezine dayanır, bu hipoteze göre sinir ağlarında kavramlar, temsillerin lineer altuzaylarında kodlanır. Recent modeller, bu hipotezin doğal dil ve diğer girdi dağılımları için geçerli olduğunu göstermiştir. Ayrıca, yorumlanabilirlik çalışmaları, değişim müdahalesi çerçevesini kullanarak, sinir ağlarındaki bileşenlerin belirli davranışları üretmede neden-sonuç ilişkisini kurmak için kullanır. Değişim müdahalesi mantığı, bir temsili, karşı olgu girdisi için ne olacağına sabitleyerek ve bu müdahalenin model çıktısını tutarlı bir şekilde etkilemesi durumunda, ilgili bileşenin davranışa neden-sonuç ilişkisi ile katkıda bulunduğunu gösterir.

ReFT çerçevesi, büyük model yorumlanabilirliği ile ilgili recent çalışmaların gösterdiği gibi, temsilleri düzenlemek, dil modellerinin davranışını kontrol etmek için daha etkili bir yol olabilir. ReFT, dondurulmuş bir model üzerinde çalışır ve gizli temsiller üzerinde görev özgü müdahaleler öğrenir. Bu, PeFT yöntemlerine göre daha güçlü ve esnek bir yaklaşım olabilir.

ReFT: Deneyler ve Sonuçlar

ReFT çerçevesinin performansını mevcut PeFT çerçevelerine karşı değerlendirmek için, dört farklı doğal dil işleme benchmark üzerinde deneyler yapılmıştır. Bu deneyler, LoReFT çerçevesinin çeşitli senaryolarda nasıl performans gösterdiğini göstermeyi amaçlamaktadır. Deneylerde, LoReFT çerçevesinin hyperparametreleri ayarlanır ve sonuçlar raporlanır.

Yukarıdaki tablo, LLaMA-7B ve LLaMA-13B modellerinin, mevcut PeFT modellerine karşı sekiz farklı ortak akıl verisi üzerinde nasıl performans gösterdiğini gösterir. LoReFT modeli, diğer PeFT yaklaşımlarına göre daha iyi bir performans gösterir, ancak daha az parametre kullanır.

Yukarıdaki tablo, LLaMA-7B ve LLaMA-13B modellerinin, mevcut PeFT modellerine karşı dört farklı aritmetik akıl verisi üzerinde nasıl performans gösterdiğini gösterir. LoReFT modeli, diğer PeFT yaklaşımlarına göre daha iyi bir performans gösterir, ancak daha az parametre kullanır.

Yukarıdaki tablo, RoBERTa-base ve RoBERTa-large modellerinin, mevcut PeFT modellerine karşı GLUE benchmark üzerinde nasıl performans gösterdiğini gösterir. LoReFT modeli, diğer PeFT yaklaşımlarına göre daha iyi bir performans gösterir, ancak daha az parametre kullanır.

Son Düşünceler

Bu makalede, LoReFT çerçevesini ele aldık, bu çerçevenin güçlü ve etkili bir PeFT yaklaşımı olduğunu gösterdik. LoReFT, dört farklı doğal dil işleme benchmark üzerinde deneyler yapılarak test edildi ve diğer PeFT yaklaşımlarına göre daha iyi bir performans gösterdi. Bu, dil modellerinin davranışını kontrol etmek için daha etkili bir yol olabilir.