إطار الاستدلال من مايكروسوفت يأتي مع نماذج لغة كبيرة 1-بت إلى الأجهزة المحلية

في 17 أكتوبر 2024، أعلنت مايكروسوفت عن BitNet.cpp، وهو إطار استدلال مصمم لتشغيل نماذج لغة كبيرة كمية 1-بت. BitNet.cpp هو تقدم كبير في الجيل العام للذكاء الاصطناعي، مما يسمح بنشر نماذج لغة كبيرة 1-بت بفعالية على معالجات 중앙ية قياسية، دون الحاجة إلى وحدات معالجة رسومات مكلفة. هذا التطور ي民主ي الوصول إلى نماذج لغة كبيرة، مما يجعلها متاحة على مجموعة واسعة من الأجهزة ويوفر إمكانيات جديدة في تطبيقات الذكاء الاصطناعي على الجهاز.

فهم نماذج لغة كبيرة 1-بت

نماذج لغة كبيرة تقليدية تتطلب موارد حسابية كبيرة بسبب استخدامها لأرقام فاصلة عائمة ذات دقة عالية (عادةً ما تكون FP16 أو BF16) لمتغيرات النموذج. هذا الحاجة جعلت نشر نماذج لغة كبيرة مكلفة ومتطلبة للطاقة.

في جوهرها، تستخدم نماذج لغة كبيرة 1-بت تقنيات كمية متطرفة لتمثيل متغيرات النموذج باستخدام ثلاث قيم فقط: -1 و 0 و 1، وبالتالي المصطلح “1.58-بت” (لأنها تتطلب قليلاً أكثر من بت واحد لتشفير ثلاث حالات).

نظام وزن ثلاثي

المفهوم

الكمية 1-بت في BitNet.cpp هي نظام وزن ثلاثي. يعمل BitNet مع ثلاث قيم فقط لمتغيرات النموذج:

• -1 (سالب)
• 0 (محايد)
• 1 (إيجابي)

هذا يؤدي إلى متطلبات تخزين حول 1.58 بت لكل متغير، وبالتالي الاسم BitNet b1.58. هذا الانخفاض الحاد في عرض بت للمتغير يؤدي إلى انخفاض كبير في استخدام الذاكرة و复잡ية الحساب، حيث يتم استبدال معظم عمليات الضرب الفاصلة العائمة بعمليات إضافة وطرح بسيطة.

الأساس الرياضي

الكمية 1-بت تتضمن تحويل المتغيرات والتنشيطات إلى تمثيلها الثلاثي من خلال الخطوات التالية:

1. تحويل وزن ثنائي

تحويل وزن ثنائي يتضمن تحويل المتغيرات حول المتوسط (α)، مما يؤدي إلى تمثيل ثلاثي. التحويل يتم التعبير عنه رياضياً على النحو التالي:

Wf​=Sign(W−α)

حيث:

• W هو مصفوفة الوزن الأصلية.
• α هو المتوسط لمتغيرات الوزن.
• Sign(x) يعود +1 إذا x > 0 و -1 في الحالات الأخرى.

2. كمية تنشيط

كمية تنشيط تضمن أن المدخلات مقيدة إلى عرض بت محدد:

x^e​=Quant(x)=Clip(γx×Qb​​,−Qb​+ϵ,Qb​−ϵ)

حيث:

• Qb = 2(b−1)2^{(b-1)}2(b−1) هو الحد الأقصى لمستوى الكمية ل عرض بت b.
• γ هو القيمة المطلقة القصوى ل x (مشار إليه بـ ∣∣x∣∣∞​).
• ε هو رقم صغير لمنع الفاضح أثناء الحساب.

3. عمليات خطية بت

تستبدل طبقة BitLinear عمليات الضرب المصفوفة التقليدية بعمليات مبسطة:

y=Wf​×x^e​×(Qb​βγ​)

حيث:

• β هو معامل масштаб لتحسين أخطاء التقريب.
• γ يضبط التنشيط.
• Q_b هو معامل الكمية.

هذه التحويلات تمكن من حسابات فعالة مع الحفاظ على أداء النموذج.

الآثار على الأداء

كفاءة الذاكرة

نظام الوزن الثلاثي يقلل بشكل كبير من متطلبات الذاكرة:

• نماذج لغة كبيرة تقليدية: 16 بت لكل وزن
• BitNet.cpp: 1.58 بت لكل وزن

هذا الانخفاض يترجم إلى توفير في الذاكرة يصل إلى 90% مقارنة بنماذج 16 بت التقليدية، مما يسمح بنماذج أكبر في نفس القيود الأجهزة.

سرعة الاستدلال، كفاءة الطاقة (Apple M2)

سرعة الاستدلال، كفاءة الطاقة (i7-13700H)

1. سرعة الاستدلال: أسرع على معالجات مرکزیة كلاسيكية

تمثّل سرعة الاستدلال بعدد الرموز المعالجة في الثانية. هنا تلخيص للملاحظات:

• على Apple M2 Ultra: يصل BitNet.cpp إلى تسرّع يصل إلى 5.07x لنموذج أكبر (30B) مقارنة بلاما.cpp، مع سرعة قصوى تبلغ 593.43 رمزًا في الثانية لنموذج 125M، وهو تسرّع يصل إلى 1.37x. بالنسبة لنموذج 3.8B و 7B، يحافظ BitNet.cpp على سرعة تزيد على 84.77 رمزًا في الثانية، مما يظهر كفاءته عبر المقاييس.
• على Intel i7-13700H: يحقق BitNet.cpp تحسينات في السرعة أكثر دراماتيكية. عند حجم نموذج 7B، يوفر BitNet.cpp تسرّعًا يصل إلى 5.68x مقارنة بلاما.cpp. بالنسبة لنموذج 125M، يعالج 389.08 رمزًا في الثانية، وهو تسرّع يصل إلى 2.37x أسرع من لاما.cpp.

2. كفاءة الطاقة: مغير اللعبة لأجهزة الحواف

الرسوم البيانية المقدمة تتضمن أيضًا مقارنات تكلفة الطاقة، مما يظهر انخفاضًا كبيرًا في استهلاك الطاقة لكل رمز معالج:

• على Apple M2 Ultra: توفيرات BitNet.cpp في الطاقة ملحوظة. لنموذج 700M، يستهلك 55.4% أقل طاقة لكل رمز مقارنة بلاما.cpp، انخفاضًا من 0.314 إلى 0.140. يستمر هذا الاتجاه لنموذج أكبر، حيث يظهر نموذج 70B انخفاضًا يصل إلى 70.0% في استهلاك الطاقة.
• على Intel i7-13700H: يوفر BitNet.cpp 71.9% توفير في الطاقة لنموذج 700M، حيث ينخفض استهلاك الطاقة من 1.367 إلى 0.384. على الرغم من عدم توفر بيانات استهلاك الطاقة لنموذج 70B في لاما.cpp، يبقى BitNet.cpp فعالًا، مع استهلاك طاقة يبلغ 17.33 لنموذج 70B.

3. تجاوز معيار سرعة القراءة البشرية

من أهم الإشارات في هذه الرسوم البيانية هو الإشارة إلى سرعة القراءة البشرية، المحددة عند 5-7 رموز في الثانية. هذه الخط الأحمر يظهر أن كلا التنفيذين، وخاصة BitNet.cpp، يمكنهما تجاوز سرعات القراءة البشرية حتى لنموذج أكبر:

• على Apple M2 Ultra: يتجاوز BitNet.cpp سرعة القراءة البشرية لجميع أحجام النموذج، مع أدنى سرعة تبلغ 8.67 رمزًا في الثانية لنموذج 70B.
• على Intel i7-13700H: يصل نموذج 100B إلى 1.70 رمزًا في الثانية، وهو قريب من نطاق أدنى لسرعة القراءة البشرية، بينما يتجاوز جميع النماذج الأصغر هذا المعيار.

اعتبارات التدريب

مُقدر التمرير المباشر (STE)

نظرًا لأن كمية 1-بت تُدخل دوال غير قابلة للتفاضل، يتضمن التدريب تقنية متخصصة تعرف باسم مُقدر التمرير المباشر (STE). في هذا النهج، تتدفق الميلان غير معدلة عبر النقاط غير القابلة للتفاضل. هنا تطبيق مبسط في بايثون:

class StraightThroughEstimator(Function):
@staticmethod
def forward(ctx, input):
return input.sign()

@staticmethod
def backward(ctx, grad_output):
return grad_output

تدريب الدقة المختلطة

为了 الحفاظ على الاستقرار أثناء التدريب، يتم استخدام دقة مختلطة:

• الوزن والتنشيط: يتم كميتهما إلى دقة 1-بت.
• الميلان وحالة المُحسّن: يتم تخزينها بدقة أعلى.
• الوزن اللاتيني: يتم الحفاظ عليه بدقة عالية لتسهيل التحديثات الدقيقة أثناء التدريب.

استراتيجية معدل التعلم الكبير

تحدي فريد مع نماذج 1-بت هو أن التحديثات الصغيرة قد لا تؤثر على أوزان ثنائية. لتحقيق ذلك، يتم زيادة معدل التعلم، مما يضمن الانحدار السريع وتحسين أفضل مقارنة بالنهج التقليدية.

كمية المجموعة والتعويض

يُدخل BitNet.cpp كمية المجموعة والتعويض لتعزيز موازاة النموذج. بدلاً من حساب المعاملات للوزن بأكمله، يقسم BitNet الأوزان والتنشيطات إلى مجموعات متعددة (G).
هذا التجميع يسمح بمعالجة متوازية فعالة دون أي اتصال إضافي بين المجموعات، مما يُمكّن من تدريب نموذج كبير و استدلال.

ملاحظات التنفيذ والتحسينات

تحسين المعالج المركزي

يستفيد BitNet.cpp من عدة تحسينات منخفضة المستوى لتحقيق أداء المعالج المركزي الأقصى:

• عمليات متجهية: يستخدم تعليمات SIMD لتنفيذ عمليات بت بشكل فعال.
• وصول ذاكرة ودي: يهيكل البيانات لتقليل أخطاء الذاكرة.
• معالجة متوازية: يوزع الحمل بشكل فعال عبر نوى المعالج المركزي المتعددة.

هنا مثال على وظيفة رئيسية تنفذ كمية و استدلال في BitNet:

def bitlinear_forward(input, weight, scale):
# قم بكمية الإدخال باستخدام كمية أقصى
input_q = quantize(input)

# قم بضرب المصفوفة الثنائي
output = binary_matmul(input_q, weight)

# مقياس الإخراج لتطابق الدقة الأصلية
return output * scale

def quantize(x):
# قم بكمية أقصى
scale = torch.max(torch.abs(x))
return torch.clamp(x / scale, -1, 1) * scale

# دالة تحويل ثنائي للأوزان 1-بت
def binarize_weights(W):
alpha = W.mean()
W_binarized = np.sign(W - alpha)
return W_binarized