لغه الدокументات الشامله لمستندات الذكاء الاصطناعي

لمدة عقود، اعتمدت الشركات على صيغ وثائق مصممة للقراء البشر وليس لأنظمة الذكاء الاصطناعي. العقود، الفواتير، التقارير، العروض، الاستمارات، والوثائق التجارية الأخرى تحتوي على معلومات قيمة، ومع ذلك، فإن استخراج تلك المعرفة للتطبيقات الذكاء الاصطناعي غالبًا ما يتطلب عمليات معالجة معقدة تزيد من التكلفة والاتساق وفرص الخطأ.

随着 نشر المنظمات بشكل متزايد للذكاء الاصطناعي والوكلاء المستقلين، أصبحت تلك الفجوة تحديًا متزايدًا. لمواجهة ذلك، ABBYY انضمت إلى IBM وNVIDIA وRed Hat وHumanSignal وLinux Foundation’s LF AI & Data Foundation في إطلاق DocLang، وهو معيار مفتوح جديد مصمم لإنشاء تمثيل أصلي للوثائق للذكاء الاصطناعي. يعتقد مؤيدو المبادرة أن ذلك قد يلعب دورًا مشابهًا لتنسيق HTML للويب، مما يخلق لغة مشتركة تتيح للنظم الذكاء الاصطناعي فهم الوثائق بشكل أكثر اتساقًا وفعالية.

لماذا أصبحت الوثائق مشكلة للذكاء الاصطناعي

معظم المعرفة التجارية في العالم موجودة في صيغ مثل PDFs والصور الممسوحة ضوئيًا والجداول والتعروض. في حين أن هذه الصيغ تعمل جيدًا للاستهلاك البشري، لم تكن مصممة أبدًا لفهم الآلة.

يمكن للبشر التعرف فورًا على العناوين والجداول والعلاقات بين الأقسام وأهمية المعلومات بناءً على موقعها داخل الوثيقة.然而، فإن النظم الذكاء الاصطناعي غالبًا ما تتطلب طبقات متعددة من OCR وتحليل التخطيط وتحليل الوثائق والمعالجة اللاحقة قبل أن تتمكن من تفسير المحتوى بشكل موثوق.

يتزايد هذا التحدي مع اعتماده المنظمات على وكلاء ذكاء اصطناعي يمكنهم التفكير عبر مجموعات كبيرة من البيانات التجارية. يجب تحويل كل وثيقة أولاً إلى تمثيل منظم قبل أن تتمكن من استخدامها بشكل فعال بواسطة نماذج اللغة وأنظمة الاسترجاع والعمليات الآلية.

النتيجة هي نظام بيئي متجزئ حيث غالبًا ما تخلق أدوات مختلفة تمثيلات وثائقها الخاصة، مما يجعل التآزر صعبًا ويزيد من احتمال出现 عدم nhất quánة.

كيف ساهمت ABBYY في تشكيل الرؤية

ABBYY ظهرت كواحدة من المساهمين الرئيسيين خلف مبادرة DocLang. قامت الشركة بتطوير ذكاء الوثائق وOCR والتحكم الآلي على مدار عقود، مما يمنحها منظورًا فريدًا على التحديات التي تواجهها الشركات عند محاولة جسر الفجوة بين الوثائق التقليدية والنظم الذكاء الاصطناعي الحديثة.

وفقًا لـ Maxime Vermeir، نائب الرئيس لاستراتيجية الذكاء الاصطناعي في ABBYY، نشأت فكرة DocLang من محادثات داخل مجتمع ذكاء الوثائق حول الحاجة إلى طبقة تمثيل مشتركة يمكن أن تتواجد بين الوثائق الخام وتطبيقات الذكاء الاصطناعي.

“DocLang مصمم لحل واحدة من المشاكل الأساسية في الذكاء الاصطناعي للشركات: الوثائق تم بناؤها للبشر، وليس الآلات،” أشار Vermeir.

بدلاً من إجبار كل نظام ذكاء اصطناعي على تفسير تخطيط الوثائق والجداول والعلاقات والبيانات الوصفية والهيكل بشكل مستقل، تسعى DocLang إلى إنشاء إطار معياري يمكن مشاركته عبر المنصات والتطبيقات.

الهدف هو جعل فهم الوثائق أكثر موثوقية، وتقليل الهلوسة الناجمة عن السياق المفقود، وتقليل التكاليف الحسابية المرتبطة بمعالجة نفس المعلومات بشكل متكرر.

ما هو DocLang بالضبط؟

DocLang هو مواصفة مفتوحة لتمثيل الوثائق في صيغة مصممة خصيصًا لأنظمة الذكاء الاصطناعي.

على عكس الصيغ التقليدية التي تركز بشكل رئيسي على العرض المرئي، DocLang مصمم للاحتفاظ بمستويات متعددة من المعلومات في نفس الوقت، بما في ذلك:

• المعنى الدلالي
• هيكل الوثيقة والهرمية
• التخطيط الهندسي والموضع
• الجداول والعناصر الوثائقية المعقدة
• البيانات الوصفية
• إدارة الحوكمة والسيطرة

هذا النهج يسمح للنظم الذكاء الاصطناعي بفهم ليس فقط ما هي المعلومات الموجودة داخل الوثيقة، ولكن أيضًا كيف يتم تنظيم تلك المعلومات وتوجيهها.

على سبيل المثال، يحمل القيمة الموجودة في جدول مالي معنى ليس فقط بسبب الرقم نفسه، ولكن بسبب علاقته بالصفوف والاعمدة والعناوين والمعلومات السياقية المحيطة. الحفاظ على تلك العلاقات في صيغة معيارية يمكن أن يساعد النظم الذكاء الاصطناعي على التفكير بشكل أكثر دقة حول محتوى الوثيقة.

DocLang يتضمن أيضًا ضوابط الحوكمة التي تتيح للشركات تحديد كيف يمكن استخدام محتوى الوثيقة، بما في ذلك السياسات المتعلقة بالخصوصية والاستخراج وتدريب نموذج الذكاء الاصطناعي.

المقارنة مع HTML

يستشهد مؤيدو المبادرة بشكل متكرر بمقارنة DocLang بدور HTML في تطور الويب.

قبل أن يصبح HTML متعارفًا عليه على نطاق واسع، لم تكن هناك طريقة عالمية للбраузيرات لفهم ومعالجة المحتوى بشكل متسق. أدخل HTML هيكلًا مشتركًا سمح للمواقع بالفهم عبر أنظمة ومنصات مختلفة.

تسعى DocLang إلى إحضار مستوى مماثل من المعايير إلى الوثائق التجارية. بدلاً من تطوير كل منصة ذكاء اصطناعي تفسيرها الخاص لهيكل الوثيقة، يمكن أن توفر صيغة مشتركة أساسًا مشتركًا لفهم الوثائق عبر النظام البيئي الأوسع للذكاء الاصطناعي.

مع تسارع تبني الذكاء الاصطناعي، يجادل المؤيدون بأن تمثيلات الوثائق المعيارية قد تصبح أكثر أهمية لضمان التآزر بين النماذج والتطبيقات والوكلاء المستقلين.

كيف تعمل DocLang و Docling معًا

المبادرة تبني أيضًا على Docling، أداة معالجة الوثائق مفتوحة المصدر التي طورتها IBM Research Zurich وأصدرتها كبرنامج مفتوح المصدر في عام 2024.

تركز Docling على استهلاك الوثائق وتحويلها. يمكنها معالجة ملفات PDF ووثائق Word والجداول والتعروض وملفات HTML والصور، وتحويلها إلى تمثيلات منظمة باستخدام تحليل تخطيط متقدم ونماذج فهم الوثائق.

تكمّل DocLang تلك القدرة بتقديم صيغة معيارية لتمثيل وتبادل الإخراج المنظم الذي تنتجه أدوات مثل Docling.

معًا، تخلق المشاريع chồng أكثر من chồng وثائق الذكاء الاصطناعي:

• Docling يعالج استهلاك الوثائق وفهمها
• DocLang يوفر طبقة تمثيل عالمية
• نماذج الذكاء الاصطناعي والوكلاء يستهلكون المعلومات المنظمة الناتجة

هذا الفصل يقلل من التجزئة ويكون إطارًا مشتركًا يمكن أن تتبناه بائعي التطبيقات والمطورون المختلفون.

لماذا تهم المعايير المفتوحة للذكاء الاصطناعي للشركات

随着 نشر الشركات للذكاء الاصطناعي من التجارب إلى الإنتاج، أصبحت التوافق أكثر أهمية.

الشركات نادرًا ما تعتمد نموذجًا واحدًا للذكاء الاصطناعي أو منصة وثائق أو مورد برامج. بدلاً من ذلك، تعمل في بيئات معقدة تتطلب نقل المعلومات بسلاسة بين الأنظمة.

لعب المعايير المفتوحة دورًا حاسمًا في تمكين تبني التكنولوجيا من خلال إنشاء إطارات مشتركة تقلل من تعقيد التكامل واعتماد البائع. ساعد Kubernetes على معايير البنية السحابية الأصلية، في حين أصبحت HTML أساس الويب الحديث.

يؤمن مؤيدو DocLang أن معايير الوثائق الأصلية للذكاء الاصطناعي قد تخدم وظيفة مماثلة لذكاء الوثائق وعمليات الذكاء الاصطناعي.

النظر إلى الأمام

استثمرت صناعة الذكاء الاصطناعي جهودًا هائلة في تعليم الآلات كيفية تفسير الوثائق التي لم تكن مصممة أبدًا للاستهلاك الآلي. يمثل DocLang محاولة للتصدي لهذا التحدي من مصدره من خلال إنشاء لغة وثائق مصممة خصيصًا للذكاء الاصطناعي.

إذا نجحت المبادرة، يمكن أن تساعد في تحسين تفسير الوثائق، وتقليل الهلوسة الناجمة عن السياق الهيكلي المفقود، وتقليل التكاليف الحسابية، وجعل من السهل على النظم الذكاء الاصطناعي تبادل المعلومات عبر المنصات.

في وقت تعتمد فيه المنظمات بشكل متزايد على وكلاء الذكاء الاصطناعي للتنقل في مجموعات كبيرة من المعرفة التجارية، قد تثبت معايير كيفية تمثيل الوثائق أنها مهمة مثل تطوير النماذج نفسها. لمؤسسة ABBYY وشركائها، DocLang هو جهد لبناء الأساس الذي يمكن أن يجعل ذلك المستقبل ممكنًا.