الاستشهادات: هل يمكن لميزة أنثروبيك الجديدة حل مشكلة الثقة في الذكاء الاصطناعي؟

لقد كانت مصادقة الذكاء الاصطناعي قضية خطيرة لفترة الآن. في حين أن النماذج اللغوية الكبيرة (LLMs) قد تقدمت بسرعة مذهلة، ظلت مشكلة إثبات دقتها بدون حل.

أنثروبيك تحاول حل هذه المشكلة، وأعتقد أن لديهم أفضل فرصة من بين جميع الشركات الكبيرة للذكاء الاصطناعي.

أصدرت الشركة الاستشهادات، ميزة جديدة لنموذج كلود الذي يغير طريقة مصادقة أنظمة الذكاء الاصطناعي. هذه التكنولوجيا تقسم المستندات إلى قطع قابلة للهضم وتربط كل بيان تم إنشاؤه بواسطة الذكاء الاصطناعي بمصدره الأصلي – مشابهة لطريقة استشهاد الأوراق الأكاديمية بمراجعها.

الاستشهادات تحاول حل واحدة من التحديات الأكثر صمودًا للذكاء الاصطناعي: إثبات أن المحتوى المولد دقيق وموثوق. بدلاً من الحاجة إلى هندسة استعلامات معقدة أو مصادقة يدوية، تعالج النظام المستندات تلقائيًا وتوفر مصادقة على مستوى الجملة لكل ادعاء.

البيانات تظهر نتائج واعدة: تحسن بنسبة 15٪ في دقة الاستشهاد مقارنة بالطرق التقليدية.

لماذا يهم هذا الآن

أصبحت ثقة الذكاء الاصطناعي الحاجز الحرج لاعتماد المؤسسات (بالإضافة إلى اعتماد الأفراد). مع انتقال المنظمات إلى استخدام الذكاء الاصطناعي في عملياتها الأساسية، أصبحت عدم القدرة على مصادقة مخرجات الذكاء الاصطناعي بفعالية عائقًا كبيرًا.

تظهر أنظمة المصادقة الحالية مشكلة واضحة: يضطر الأفراد إلى الاختيار بين السرعة والدقة. لا تتناسب عمليات المصادقة اليدوية مع التوسع، بينما تحمل مخرجات الذكاء الاصطناعي غير المصدق عليها مخاطر كبيرة. هذا التحدي حاد بشكل خاص في الصناعات الخاضعة للتنظيم حيث لا تكون الدقة مفضلة فقط – بل هي مطلوبة.

تأتي الاستشهادات في لحظة حاسمة في تطوير الذكاء الاصطناعي. مع تصاعد نماذج اللغة، نمت الحاجة إلى مصادقة مدمجة بشكل متناسب. نحن بحاجة إلى بناء أنظمة يمكن نشرها بثقة في البيئات المهنية حيث لا يمكن المساومة على الدقة.

تفكيك الهيكل الفني

سحر الاستشهادات يكمن في نهج معالجة المستندات. الاستشهادات ليست مثل الأنظمة التقليدية للذكاء الاصطناعي. عادةً ما تعامل هذه الأنظمة مع المستندات على أنها كتلة نصية بسيطة. مع الاستشهادات، يقوم الأداة بتقسيم المواد المصدر إلى ما يسميه أنثروبيك “قطعًا”، والتي يمكن أن تكون جملًا فردية أو أقسام محددة بواسطة المستخدم، مما يخلق أساسًا دقيقًا للمصادقة.

هنا هو التحليل الفني:

معالجة المستندات وتحويلها

تعمل الاستشهادات على معالجة المستندات بشكل مختلف بناءً على تنسيقها.对于 ملفات النص، لا توجد حدود تقريبًا بخلاف الحد القياسي البالغ 200,000 رمز للطلبات الكلية. هذا يشمل السياق والاستعلامات والمستندات نفسها.

معالجة ملفات PDF أكثر تعقيدًا. يعمل النظام على معالجة ملفات PDF بصريًا، وليس فقط كنص، مما يؤدي إلى بعض القيود الرئيسية:

• حد حجم الملف 32 ميغابايت
• الحد الأقصى هو 100 صفحة لكل مستند
• تستهلك كل صفحة 1,500-3,000 رمز

إدارة الرموز

الآن، لننتقل إلى الجانب العملي لهذه الحدود. عند العمل مع الاستشهادات، تحتاج إلى مراعاة ميزانيتك من الرموز بعناية. هنا كيف يتم تقسيمها:

للملفات النصية:

• الحد الأقصى للطلب: 200,000 رمز
• تشمل: السياق + الاستعلامات + المستندات
• لا توجد رسوم إضافية لمخرجات الاستشهاد

للملفات PDF:

• استهلاك رموز أعلى لكل صفحة
• الوزن الزائد لمعالجة الصور
• حساب رموز أكثر تعقيدًا مطلوب

الاستشهادات مقابل RAG: الفروق الرئيسية

الاستشهادات ليست نظام توليد معزز بالاسترجاع (RAG) – وهذا التمييز مهم. بينما تركز أنظمة RAG على العثور على المعلومات ذات الصلة من قاعدة المعرفة، تعمل الاستشهادات على المعلومات التي اخترتها بالفعل.

فكر في الأمر بهذه الطريقة: تقرر RAG ما المعلومات التي يجب استخدامها، بينما تأكد الاستشهادات من أن المعلومات تستخدم بدقة. هذا يعني:

• RAG: يتعامل مع استرجاع المعلومات
• الاستشهادات: تدير مصادقة المعلومات
• الpotential المدمج: يمكن أن تعمل كلا الأنظمة معًا

يتسبب هذا الاختيار الهيكلي في تميز الاستشهادات في الدقة داخل السياقات المحددة، بينما يترك استراتيجيات الاسترجاع لأنظمة مكملة.

مسارات التكامل والأداء

الإعداد بسيط: تعمل الاستشهادات من خلال واجهة برمجة التطبيقات القياسية لأنثروبيك، مما يعني أنه إذا كنت تستخدم بالفعل كلود، فأنت في منتصف الطريق. يتم دمج النظام مباشرة مع واجهة برمجة تطبيقات الرسائل، مما يلغي الحاجة إلى تخزين الملفات المنفصل أو تغييرات البنية المعقدة.

تتبع هيكل التسعير نموذج الرموز الخاص بأنثروبيك مع ميزة رئيسية: بينما تدفع مقابل رموز الإدخال من المستندات المصدر، لا توجد رسوم إضافية لمخرجات الاستشهاد نفسها. هذا يخلق هيكلاً لتكلفة متوقع يتناسب مع الاستخدام.

أداء مقياس القصص يروي قصة مقنعة:

• تحسن بنسبة 15٪ في دقة الاستشهاد الكلية
• الغاء كامل لهلوسات المصدر (من حدوث 10٪ إلى الصفر)
• مصادقة على مستوى الجملة لكل ادعاء

تجد المنظمات (والأفراد) التي تستخدم أنظمة الذكاء الاصطناعي غير المصدق عليها نفسها في وضع غير ممتاز، خاصة في الصناعات الخاضعة للتنظيم أو البيئات عالية المخاطر حيث تكون الدقة حاسمة.

نحن على الأرجح أن نرى في المستقبل:

• دمج ميزات الاستشهادات في المعايير
• تطور أنظمة المصادقة إلى ما وراء النص إلى وسائط أخرى
• تطوير معايير مصادقة محددة للصناعة

تحتاج الصناعة بأكملها إلى إعادة التفكير في مصادقة الذكاء الاصطناعي وموثوقيتها. يجب على المستخدمين أن يصلوا إلى نقطة يمكنهم فيها مصادقة كل ادعاء بسهولة.