إطار عمل الاستدلال من Microsoft يوفر نماذج لغة كبيرة بحجم 1 بت للأجهزة المحلية

في أكتوبر 17 ، 2024 ، أعلنت شركة مايكروسوفت عن إطلاق BitNet.cpp، إطار عمل استدلالي مصمم لتشغيل نماذج اللغة الكبيرة الكمية ذات البت الواحد (LLMs). يعد BitNet.cpp تقدمًا كبيرًا في جيل الذكاء الاصطناعي، حيث يتيح نشر نماذج اللغة الكبيرة الكمية ذات البت الواحد بكفاءة على وحدات المعالجة المركزية القياسية، دون الحاجة إلى وحدات معالجة رسومية باهظة الثمن. يعمل هذا التطور على إضفاء الطابع الديمقراطي على الوصول إلى نماذج اللغة الكبيرة الكمية، مما يجعلها متاحة على مجموعة واسعة من الأجهزة وإعطاء إمكانيات جديدة في تطبيقات الذكاء الاصطناعي على الجهاز.

فهم نماذج اللغة الكبيرة ذات البت الواحد

تتطلب نماذج اللغة الكبيرة (LLMs) تقليديًا موارد حسابية كبيرة بسبب استخدامها لأرقام الفاصلة العائمة عالية الدقة (عادةً FP16 أو BF16) لأوزان النموذج. وقد جعلت هذه الضرورة نشر نماذج اللغة الكبيرة مكلفًا ويستهلك الكثير من الطاقة.

في جوهرها، تستخدم نماذج LLM ذات البت الواحد تقنيات التكميم المتطرفة لتمثيل أوزان النموذج باستخدام ثلاث قيم ممكنة فقط: -1 و1 و0، ومن هنا جاء مصطلح "1 بت" (حيث يتطلب الأمر أكثر من بت واحد بقليل لترميز ثلاث حالات).

نظام الوزن الثلاثي

المفهوم

إن التكميم المكون من بت واحد في BitNet.cpp عبارة عن نظام وزن ثلاثي. يعمل BitNet بثلاث قيم ممكنة فقط لكل معلمة:

• -1 (نفي)
• 0 (محايد)
• 1 (إيجابي)

يؤدي هذا إلى متطلبات تخزين تبلغ حوالي 1.58 بت لكل معلمة، ومن هنا جاءت التسمية بيتنت b1.58يؤدي هذا الانخفاض الكبير في عرض بت المعلمة إلى انخفاض مذهل في استخدام الذاكرة والتعقيد الحسابي، حيث يتم استبدال معظم عمليات الضرب ذات الفاصلة العائمة بإضافات وطرح بسيطة.

مؤسسة رياضية

تتضمن التكمية ذات البت الواحد تحويل الأوزان والتنشيطات إلى تمثيلها الثلاثي من خلال الخطوات التالية:

1. ثنائيات الوزن

تتضمن عملية تقسيم الأوزان إلى ثنائيات تركيزها حول المتوسط ​​(α)، مما يؤدي إلى تمثيل ثلاثي. يتم التعبير عن التحويل رياضيًا على النحو التالي:

Wfâ € <=توقيع(W-α)

أين:

• W هي مصفوفة الوزن الأصلية.
• α هو متوسط ​​الأوزان.
• علامة(x) عائدات +1 if x> 0 و -1 غير ذلك.

2. التنشيط الكمي

تضمن عمليات التنشيط الكمية أن تكون المدخلات مقيدة بعرض بت محدد:

x^eâ € <=كوانت(x)=مشبكية(γx×Qbâ € <â € <,-Qbâ € <+ϵ,Qbâ € <-ϵ)

أين:

• Qb = 2(ب-1)2^{(ب-1)}2(b-1) هو الحد الأقصى لمستوى التكميم لـ b-عرض البت.
• γ هي القيمة المطلقة القصوى لـ x (كما تدل ∣∣x∣∣∣∞â € <).
• ε هو رقم صغير لمنع الفائض أثناء العمليات الحسابية.

3. عملية بت لاينر

تحل طبقة BitLinear محل عمليات ضرب المصفوفة التقليدية بعملية مبسطة:

y=Wfâ € <×x^eâ € <×(Qbâ € <βγâ € <)

أين:

• β هو عامل مقياس يستخدم لتقليل أخطاء التقريب.
• γ يقوم بقياس التنشيطات.
• س_ب هو عامل التكميم.

يتيح هذا التحويل إجراء عمليات حسابية فعالة مع الحفاظ على أداء النموذج.

الآثار المترتبة على الأداء

كفاءة الذاكرة

يقلل نظام الوزن الثلاثي من متطلبات الذاكرة بشكل كبير:

• ماجستير القانون التقليدي:16 بت لكل وزن
• بت نت.cpp:1.58 بت لكل وزن

يؤدي هذا التخفيض إلى توفير في الذاكرة بنحو 90% بالمقارنة مع النماذج التقليدية ذات 16 بت، فإن هذا يسمح للنماذج الأكبر أن تتناسب مع نفس القيود المادية.

سرعة الاستدلال وكفاءة الطاقة (Apple M2)

سرعة الاستدلال وكفاءة الطاقة (i7-13700H)

1. سرعة الاستدلال: أسرع على كلا وحدتي المعالجة المركزية

سرعة الاستدلال يُمثَّل بعدد الرموز المُعالَجة في الثانية. فيما يلي تفصيل للملاحظات:

• على Apple M2 Ultra: يصل BitNet.cpp إلى ما يصل إلى 5.07x تسريع للنماذج الأكبر (30B) مقارنةً بـ Llama.cpp، مع سرعة قصوى تبلغ 593.43 رمزًا في الثانية لنموذج 125M، وهو 1.37x بالنسبة للنماذج الأكبر مثل 3.8B و7B، تحافظ BitNet.cpp على سرعة تزيد عن 84.77 رمزًا في الثانية، مما يُظهر كفاءتها عبر المقاييس.
• على Intel i7-13700H: يحقق BitNet.cpp تحسينات أكثر دراماتيكية في السرعة. في حجم النموذج 7B، يوفر BitNet.cpp تسريع مذهل يصل إلى 5.68x بالمقارنة مع Llama.cpp. بالنسبة للنماذج الأصغر مثل 125M، فإنه يعالج 389.08 رمزًا في الثانية، والذي هو 2.37x أسرع من Llama.cpp.

2. كفاءة الطاقة: تغيير جذري لأجهزة الحافة

تتضمن الرسوم البيانية المقدمة أيضًا مقارنات تكلفة الطاقة، مما يدل على انخفاض كبير في استهلاك الطاقة لكل رمز تمت معالجته:

• على Apple M2 Ultra: إن توفير الطاقة من خلال BitNet.cpp كبير. بالنسبة لطراز 700M، فإنه يستهلك شنومك٪ أقل من الطاقة لكل رمز مميز مقارنة بـ Llama.cpp، حيث انخفض من 0.314 إلى 0.140يستمر هذا الاتجاه بالنسبة للنماذج الأكبر حجمًا، حيث يُظهر طراز 70B تخفيض بنسبة 70.0٪ في استهلاك الطاقة.
• على Intel i7-13700H: يقدم BitNet.cpp 71.9٪ توفير في الطاقة بالنسبة لطراز 700M، مع انخفاض الاستهلاك من 1.367 إلى 0.384على الرغم من عدم توفر بيانات الطاقة لنموذج 70B في Llama.cpp، إلا أن BitNet.cpp يظل فعالاً، مع استهلاك الطاقة عند 17.33 للطراز 70B.

3. تجاوز معيار سرعة القراءة البشرية

أحد أكثر الأفكار المثيرة للاهتمام التي يمكن استخلاصها من هذه الرسوم البيانية هو الإشارة إلى سرعة القراءة البشرية، تم وضع علامة عليه 5-7 رموز في الثانيةيوضح هذا الخط الأحمر أن كلا التنفيذين، وخاصة BitNet.cpp، يمكنهما تجاوز سرعات القراءة البشرية بسهولة حتى بالنسبة للنماذج الأكبر حجمًا:

• On ابل M2 الترايتجاوز BitNet.cpp سرعة القراءة البشرية لجميع أحجام النماذج، حيث تكون أقل سرعة هي 8.67 رمزًا في الثانية لنموذج 70B.
• On انتل i7-13700Hلا يزال نموذج 100B يحقق 1.70 رمزًا في الثانية، والتي تلامس تقريبًا النطاق الأدنى لسرعة القراءة البشرية، في حين أن جميع النماذج الأصغر حجمًا تتجاوز هذا المعيار.

اعتبارات التدريب

مقدر مباشر (STE)

نظرًا لأن التكميم أحادي البت يقدم وظائف غير قابلة للاشتقاق، فإن التدريب يتضمن تقنية متخصصة تُعرف باسم مقدر مباشر (STE)في هذا النهج، تتدفق التدرجات دون تغيير عبر نقاط غير قابلة للتفاضل. فيما يلي تنفيذ مبسط في بايثون:

class StraightThroughEstimator(Function):
    @staticmethod
    def forward(ctx, input):
        return input.sign()

    @staticmethod
    def backward(ctx, grad_output):
        return grad_output

تدريب مختلط الدقة

للحفاظ على الاستقرار أثناء التدريب، دقة مختلطة يتم توظيف:

• الأوزان والتفعيلات:تم تحديدها بدقة 1 بت.
• التدرجات وحالات المحسن:مخزنة بدقة أعلى.
• الأوزان الكامنة:تم الحفاظ عليها بدقة عالية لتسهيل التحديثات الدقيقة أثناء التدريب.

استراتيجية معدل التعلم الكبير

إن التحدي الفريد الذي تواجهه النماذج ذات البت الواحد هو أن التحديثات الصغيرة قد لا تؤثر على الأوزان الثنائية. وللتخفيف من هذا، يتم زيادة معدل التعلم، مما يضمن تقاربًا أسرع وتحسينًا أفضل مقارنة بالطرق التقليدية.

التكميم الجماعي والتطبيع

يقدم BitNet.cpp التكميم الجماعي والتطبيع لتعزيز التوازي النموذجي. بدلاً من حساب المعلمات لمصفوفة الأوزان بالكامل، يقسم BitNet الأوزان والتنشيطات إلى مجموعات متعددة (G).â € <

يتيح هذا التجميع معالجة متوازية فعالة دون الحاجة إلى اتصال إضافي بين المجموعات، مما يتيح تدريب النموذج على نطاق واسع والاستدلال عليه.

ملاحظات التنفيذ والتحسينات

تحسين وحدة المعالجة المركزية

يستفيد BitNet.cpp من العديد من التحسينات منخفضة المستوى لتحقيق أقصى أداء لوحدة المعالجة المركزية:

• العمليات الموجهة:يستخدم تعليمات SIMD لإجراء عمليات التلاعب بالبت بكفاءة.
• الوصول إلى الذاكرة الصديقة للذاكرة المؤقتة:هيكلة البيانات لتقليل أخطاء ذاكرة التخزين المؤقت.
• المعالجة المتوازية:يقوم بتوزيع عبء العمل على نوى وحدة المعالجة المركزية المتعددة بشكل فعال.

فيما يلي مثال لوظيفة رئيسية تنفذ التكميم والاستدلال في BitNet:

 
def bitlinear_forward(input, weight, scale):
    # Quantize the input using absmax quantization
    input_q = quantize(input)
    
    # Perform binary matrix multiplication
    output = binary_matmul(input_q, weight)
    
    # Scale the output to match the original precision
    return output * scale

def quantize(x):
    # Perform absmax quantization
    scale = torch.max(torch.abs(x))
    return torch.clamp(x / scale, -1, 1) * scale

# Binarization function for 1-bit weights
def binarize_weights(W):
    alpha = W.mean()
    W_binarized = np.sign(W - alpha)
    return W_binarized