قادة الفكر
فهم الفوضى: دور النماذج اللغة الكبيرة في استخراج البيانات غير المنظمة
أضف Unite.AI إلى مصادرك المفضلة على Google
التقدمات الحديثة في الأجهزة، مثل وحدة معالجة الرسومات Nvidia H100، قد عززت بشكل كبير القدرات الحسابية. مع تسعة أضعاف سرعة Nvidia A100، تعمل هذه الوحدات بشكل ممتاز في التعامل مع حمولات التعلم العميق. هذا التطور أدى إلى تعزيز الاستخدام التجاري للذكاء الاصطناعي التوليدي في معالجة اللغة الطبيعية (NLP) والرؤية الحاسوبية، مما ermögن الاستخراج التلقائي والذكي للبيانات. يمكن للشركات الآن بسهولة تحويل البيانات غير المنظمة إلى معلومات قيمة، مما ي代表 قفزة كبيرة في دمج التكنولوجيا.
الطرق التقليدية لاستخراج البيانات
ادخال البيانات اليدوي
من الم驚 أن العديد من الشركات لا تزال تعتمد على إدخال البيانات اليدوي، على الرغم من توافر تقنيات أكثر تقدمًا. هذه الطريقة تتضمن إدخال المعلومات مباشرة إلى النظام المستهدف. غالبًا ما يكون من الأسهل تبنيها بسبب التكلفة الأولية المنخفضة. ومع ذلك، فإن إدخال البيانات اليدوي ليس فقط مملًا ومستهلكًا للوقت، بل cũng معرضًا للخطأ. بالإضافة إلى ذلك، ي представляет خطرًا أمنيًا عند التعامل مع بيانات حساسة، مما يجعله خيارًا أقل رغبة في عصر الت автомати و الأمان الرقمي.
التعرف على الحروف البصرية (OCR)
تقنية OCR، التي تحول الصور والمحتوى المكتوب باليد إلى بيانات قابلة للقراءة آليًا، توفر حلًا أسرع وأكثر كفاءة في استخراج البيانات. ومع ذلك، يمكن أن يكون جودة OCR غير موثوقة. على سبيل المثال، يمكن أن يُفسّر الحرف “S” على أنه “8” والعكس صحيح.
أداء OCR يتأثر بشكل كبير بالتعقيد وخصائص البيانات المدخلة؛ يعمل بشكل جيد مع صور المسح الممسوحة ضوئيًا عالية الدقة خالية من مشاكل مثل ميل الاتجاه أو العلامات المائية أو الكتابة فوق بعضها. ومع ذلك، يواجه صعوبات مع النص المكتوب باليد، خاصة عندما تكون الرسومات معقدة أو صعبة المعالجة. قد تكون هناك حاجة إلى تعديلات لتحسين النتائج عند التعامل مع مدخلات نصية. أدوات استخراج البيانات في السوق التي تستخدم OCR كتقنية أساسية غالبًا ما تضع طبقات وطبقات من المعالجة اللاحقة لتحسين دقة البيانات المستخرجة. ومع ذلك، لا يمكن أن تضمن هذه الحلول نتائج دقيقة بنسبة 100%.
المطابقة النمطية للنص
المطابقة النمطية للنص هي طريقة لتحديد واستخراج معلومات محددة من النص باستخدام قواعد أو أنماط محددة مسبقًا. إنها أسرع وتوفر عائد استثمار أعلى من الطرق الأخرى. وهي فعالة عبر جميع مستويات التعقيد وتحقق دقة 100% للملفات ذات التخطيطات المماثلة.
ومع ذلك، فإن صلابة المطابقة الكلمة-for-كلمة يمكن أن تحد من مرونتها، مما يتطلب تطابقًا كاملاً بنسبة 100% لاستخراج ناجح. يمكن أن تؤدي التحديات المتعلقة بالمترادفات إلى صعوبات في تحديد المصطلحات المكافئة، مثل التمييز بين “الطقس” و “المناخ”. بالإضافة إلى ذلك، تظهر المطابقة النمطية للنص حساسية سياقية، حيث تفتقر إلى الوعي بالمعاني المتعددة في سياقات مختلفة. الحفاظ على التوازن بين الصلابة والمرونة يبقى تحديًا دائمًا في استخدام هذه الطريقة بشكل فعال.
تحديد الكيانات المسمى (NER)
تحديد الكيانات المسمى (NER)، وهي تقنية NLP، تعرف وتصنف المعلومات الرئيسية في النص.
مستخرجات NER محصورة في الكيانات المحددة مسبقًا مثل أسماء المنظمات، المواقع، الأسماء الشخصية، والتواريخ. بمعنى آخر، أنظمة NER الحالية تفتقر إلى القدرة على استخراج كيانات مخصصة خارج هذا المجموعة المحددة، والتي يمكن أن تكون خاصة بمنطقة معينة أو حالة استخدام. ثانيًا، لا تمتد تركيز NER على القيم الرئيسية المرتبطة بالكيانات المعترف بها إلى استخراج البيانات من الجداول، مما يحد من قابليتها للتطبيق على أنواع بيانات أكثر تعقيدًا أو هيكلية.
نظرًا لأن المنظمات تتعامل مع كميات متزايدة من البيانات غير المنظمة، تبرز هذه التحديات الحاجة إلى نهج شامل ومتسلسل لأساليب الاستخراج.
فتح البيانات غير المنظمة مع النماذج اللغة الكبيرة
استخدام النماذج اللغة الكبيرة (LLMs) لاستخراج البيانات غير المنظمة هو حل مقنع يتميز بمزايا واضحة تتماشى مع التحديات الحاسمة.
استخراج البيانات مع الوعي السياقي
النماذج اللغة الكبيرة تمتلك فهمًا قويًا للسياق، الذي تم تطويره من خلال التدريب على مجموعات بيانات كبيرة. قدرتهم على النظر إلى ما وراء السطح وفهم دقائق السياق تجعلها قيمة في التعامل مع مهام استخراج البيانات المتنوعة. على سبيل المثال، عند تكليفهم باستخراج قيم الطقس، فإنهم يلتقطون المعلومات المقصودة ويعتبرون العناصر ذات الصلة مثل قيم المناخ، ويتضمنون بسهولة المرادفات والسمات. هذا المستوى المتقدم من الفهم يؤسس للنماذج اللغة الكبيرة كخيار ديناميكي ومتكيف في مجال استخراج البيانات.
استخدام قدرات المعالجة الموازية
النماذج اللغة الكبيرة تستخدم المعالجة الموازية، مما يجعل المهام أسرع وأكثر كفاءة. على عكس النماذج التسلسلية، تُحسّن النماذج اللغة الكبيرة توزيع الموارد، مما يؤدي إلى تسريع مهام استخراج البيانات. هذا يعزز السرعة ويسهم في أداء عملية الاستخراج بشكل عام.
التكيف مع أنواع البيانات المختلفة
في حين أن بعض النماذج مثل الشبكات العصبية المتكررة (RNNs) محدودة بالتسلسلات الخاصة، تتعامل النماذج اللغة الكبيرة مع بيانات غير محددة التسلسل، وتتكيف بسهولة مع هياكل الجمل المتنوعة. هذه المرونة تشمل أشكال بيانات متنوعة مثل الجداول والصور.
تحسين خطوط المعالجة
استخدام النماذج اللغة الكبيرة ي代表 تحولًا كبيرًا في ت автомати كل من مراحل المعالجة المسبقة واللاحقة. النماذج اللغة الكبيرة تقلل من الحاجة إلى الجهد اليدوي عن طريق ت автомати عمليات الاستخراج بدقة، مما يسهل التعامل مع البيانات غير المنظمة. التدريب الشامل على مجموعات بيانات متنوعة يسمح لهم بالتعرف على الأنماط والارتباطات التي تفوتها الطرق التقليدية.
تظهر هذه الصورة لمخطط الذكاء الاصطناعي التوليدي تطبيق نماذج مثل BERT و GPT و OPT في استخراج البيانات. يمكن لهذه النماذج اللغة الكبيرة أداء عمليات معالجة اللغة الطبيعية، بما في ذلك استخراج البيانات. عادة، توفر النموذج التوليدي وصفًا للمعلومات المرغوبة، والاستجابة الناتجة تحتوي على البيانات المستخرجة. على سبيل المثال، يمكن أن يؤدي سؤال مثل “استخرج أسماء جميع الموردين من هذا أمر شراء” إلى استجابة تحتوي على جميع أسماء الموردين الموجودة في التقرير شبه المنظم. بعد ذلك، يمكن تحليل البيانات المستخرجة و تحميلها إلى جدول قاعدة بيانات أو ملف مسطح، مما يسهل دمجها في سير عمل المنظمة.
تطور الإطارات الذكية: من الشبكات العصبية المتكررة إلى الترانسفورمير في استخراج البيانات الحديث
يعمل الذكاء الاصطناعي التوليدي داخل إطار معالجة متوازي يتضمن شبكتين عصبيتين تعاونيتين. تعالج الشبكة المعالجة للبيانات المدخلة، وتضغط الميزات الأساسية إلى “متجه سياق”. ثم يستخدم هذا المتجه بواسطة الشبكة المعالجة للгенерация المهام، مثل الترجمة اللغوية. هذا الهيكل، الذي يستفيد من شبكات عصبية مثل الشبكات العصبية المتكررة والترانسفورمير، يجد تطبيقات في مجالات متنوعة، بما في ذلك الترجمة الآلية، وتوليد الصور، و 합성 الصوت، واستخراج الكيانات. هذه الشبكات تتميز بتمثيل العلاقات والاعتماديات المعقدة داخل تسلسلات البيانات.
الشبكات العصبية المتكررة
الشبكات العصبية المتكررة (RNNs) تم تصميمها لمواجهة مهام التسلسل مثل الترجمة والتلخيص، وتتميز في بعض السياقات. ومع ذلك، تواجه صعوبات في الدقة في المهام التي تتضمن اعتمادات بعيدة المدى.
الشبكات العصبية المتكررة تتميز باستخراج الأزواج الرئيسية من الجمل، ومع ذلك، تواجه صعوبات مع هياكل الجداول. يتطلب هذا التكيف بعناية في التسلسل والتركيب المكاني، مما يتطلب نهجًا متخصصًا لتحسين استخراج البيانات من الجداول. ومع ذلك، كانت اعتمادها محدودًا بسبب عائد استثمار منخفض وأداء أقل من المتوسط في معظم مهام معالجة النص، حتى بعد تدريبها على كميات كبيرة من البيانات.
شبكات الذاكرة القصيرة والطويلة
الذاكرة القصيرة والطويلة (LSTMs) تظهر كحل يعالج قيود الشبكات العصبية المتكررة، خاصة من خلال آلية التحديث والنسف الانتقائية. مثل الشبكات العصبية المتكررة، تتميز LSTMs باستخراج الأزواج الرئيسية من الجمل. ومع ذلك، تواجه تحديات مماثلة مع هياكل الجداول، مما يتطلب استراتيجية في التعامل مع التسلسل والعناصر المكانية.
تم استخدام وحدات معالجة الرسومات لأول مرة في التعلم العميق في 2012 لتطوير نموذج AlexNet الشهير. بعد ذلك، تم تدريب بعض الشبكات العصبية المتكررة باستخدام وحدات معالجة الرسومات، على الرغم من أنهم لم يحققوا نتائج جيدة. اليوم، على الرغم من توافر وحدات معالجة الرسومات، فإن هذه النماذج قد تم استبدالها بشكل كبير بنماذج الترانسفورمير القائمة على الذكاء الاصطناعي.
الترانسفورمير – آلية الانتباه
تم تقديم الترانسفورمير، و特别 في ورقة “الانتباه هو كل ما تحتاجه” (2017)، الذي ثورة في معالجة اللغة الطبيعية عن طريق اقتراح هيكل الترانسفورمير. هذا الهيكل يسمح بالحسابات الموازية ويلتقط ببراعة الاعتمادات البعيدة المدى، مما يفتح إمكانيات جديدة للنماذج اللغوية. النماذج اللغة الكبيرة مثل GPT و BERT و OPT قد استفادت من تقنية الترانسفورمير. في قلب الترانسفورمير تقع آلية “الانتباه”، وهي مساهمة رئيسية في تحسين الأداء في معالجة البيانات التسلسلية.
آلية “الانتباه” في الترانسفورمير تحسب مجموعًا موزونًا للقيم بناءً على التوافق بين “الاستفسار” (سؤال التحفيز) و “المفتاح” (فهم النموذج لكل كلمة). هذا النهج يسمح بالانتباه المُركز خلال توليد التسلسل، مما يضمن استخراج دقيق. هناك مكونان حاسمان داخل آلية الانتباه هما الانتباه الذاتي، الذي يلتقط الأهمية بين الكلمات في التسلسل المدخل، والانتباه المتعدد الرؤوس، الذي يسمح بنماذج انتباه متنوعة لمعاملات علاقات محددة.
في سياق استخراج الفواتير، يتعرف الانتباه الذاتي على أهمية التاريخ المذكور سابقًا عند استخراج كميات الدفع، بينما يركز الانتباه المتعدد الرؤوس بشكل مستقل على القيم العددية (المبالغ) والأنماط النصية (أسماء الموردين). على عكس الشبكات العصبية المتكررة، لا تفهم الترانسفورمير بشكل طبيعي ترتيب الكلمات. لمواجهة ذلك، تستخدم الترانسفورمير الترميز المكاني لتتبع موقع كل كلمة في التسلسل. يتم تطبيق هذه التقنية على كل من التضمين المدخل والتضمين الناتج، مما يساعد في تحديد المفاتيح وقيمها المقابلة داخل الوثيقة.
مزيج آليات الانتباه والترميز المكاني هو حاسم لقدرة النموذج اللغة الكبيرة على التعرف على الهيكل كجداول، مع الأخذ في الاعتبار محتواها والفاصله والنص. هذه القدرة تميزها عن تقنيات استخراج البيانات غير المنظمة الأخرى.
التوجهات والتحديثات الحالية
يتطور مجال الذكاء الاصطناعي بتوجهات وتحديثات واعدة، مما يغيّر الطريقة التي نستخرج بها المعلومات من البيانات غير المنظمة. دعونا نلقي نظرة على الجوانب الرئيسية التي تشكل مستقبل هذا المجال.
التقدم في النماذج اللغة الكبيرة (LLMs)
يشهد الذكاء الاصطناعي التوليدي مرحلة تحولية، حيث تتصدر النماذج اللغة الكبيرة المشهد في التعامل مع مجموعات بيانات معقدة ومتنوعة لاستخراج البيانات غير المنظمة. هناك استراتيجيتان بارزتان تعززان هذه التقدمات:
- التعلم المتعدد الوسائط: تمدد النماذج اللغة الكبيرة قدراتها من خلال معالجة أنواع بيانات متعددة، بما في ذلك النص والصور والصوت. هذا التطور يعزز قدرتها على استخراج معلومات قيمة من مصادر متنوعة، مما يزيد من فائدتها في استخراج البيانات غير المنظمة. الباحثون يبحثون عن طرق فعالة لاستخدام هذه النماذج، بهدف القضاء على الحاجة إلى وحدات معالجة الرسومات وتمكين تشغيل نماذج كبيرة مع موارد محدودة.
- تطبيقات RAG: التوليد المعزز بالاسترجاع (RAG) هو اتجاه جديد يدمج النماذج اللغوية الكبيرة المدربة مسبقًا مع آليات البحث الخارجية لتعزيز قدراتها. من خلال الوصول إلى مجموعة واسعة من الوثائق خلال عملية التوليد، يتحول RAG النماذج اللغوية الأساسية إلى أدوات ديناميكية مخصصة للتطبيقات التجارية والاستهلاكية.
تقييم أداء النماذج اللغة الكبيرة
تتم مواجهة تحدي تقييم أداء النماذج اللغة الكبيرة بمقاربة استراتيجية، تشمل معايير مهمة ومبتكرة لتقدير جودة مهام استخراج المعلومات. من التطورات الرئيسية في هذا المجال:
- المعايير المحددة بدقة: تظهر معايير تقييم مخصصة لتقييم جودة مهام استخراج المعلومات. ال精度 و الاستدلال و معامل F1 تثبت أنها فعالة، خاصة في مهام مثل استخراج الكيانات.
- التقييم البشري: يبقى التقييم البشري حاسمًا إلى جانب المقاييس الآلية، مما يضمن تقييمًا شاملاً للنماذج اللغة الكبيرة. دمج المقاييس الآلية مع الحكم البشري، تقدم أساليب التقييم الهجينة وجهة نظر متوازنة حول الصحة السياقية والصلة في المعلومات المستخرجة.
معالجة الصور والوثائق
النماذج اللغة الكبيرة متعددة الوسائط قد استبدلت تمامًا تقنية OCR. يمكن للمستخدمين تحويل النص الممسوح ضوئيًا من الصور والوثائق إلى نص قابل للقراءة آليًا، مع القدرة على تحديد واستخراج المعلومات مباشرة من المحتوى المرئي باستخدام وحدات الرؤية.
استخراج البيانات من الروابط والمواقع
النماذج اللغة الكبيرة تتطور لتلبية الطلب المتزايد لاستخراج البيانات من المواقع والروابط على الإنترنت. هذه النماذج تتحسن بشكل متزايد في استخراج البيانات من صفحات الويب، مما يتحول إلى صيغة منظمّة. هذا الاتجاه قيم في مهام مثل تجميع الأخبار، وجمع بيانات التجارة الإلكترونية، والاستخبارات التنافسية، مما يعزز الفهم السياقي وينقل البيانات العلاقة من الويب.
صعود العمالقة الصغيرة في الذكاء الاصطناعي التوليدي
شهد النصف الأول من عام 2023 تركيزًا على تطوير نماذج لغة كبيرة تعتمد على افتراض “الأكبر هو الأفضل”. ومع ذلك، أظهرت النتائج الحديثة أن نماذج أصغر مثل TinyLlama و Dolly-v2-3B، مع أقل من 3 مليار معامل، تتفوق في مهام مثل العقلانية والتلخيص، مما يكسبها لقب “عمالقة صغيرة”. هذه النماذج تستخدم طاقة حوسبة وأقل تخزين، مما يجعل الذكاء الاصطناعي أكثر سهولة للشركات الصغيرة دون الحاجة إلى وحدات معالجة رسومات باهظة الثمن.
الخلاصة
النماذج التوليدية المبكرة، بما في ذلك النماذج التوليدية المعارضة والمدمجين المتغيرات، قدمت نهجًا جديدًا لتعامل مع البيانات القائمة على الصور. ومع ذلك، جاءت الانطلاقة الحقيقية مع النماذج اللغة الكبيرة القائمة على الترانسفورمير. هذه النماذج تفوقت على جميع التقنيات السابقة في معالجة البيانات غير المنظمة بفضل هيكلها المكون من معالج و مُرسل، والانتباه الذاتي، والانتباه المتعدد الرؤوس، مما مكنها من فهم عميق للغة وقدرة على التفكير مثل البشر.
في حين أن الذكاء الاصطناعي التوليدي يقدم بداية واعدة لاستخراج البيانات النصية من التقارير، فإن قابلية توسيع هذه النهج محدودة. الخطوات الأولى غالبًا ما تتضمن معالجة OCR، مما قد يؤدي إلى أخطاء، وتستمر التحديات في استخراج النص من الصور داخل التقارير.
في حين أن استخراج النص داخل الصور في التقارير ي представляет تحديًا آخر. تبني حلول مثل معالجة البيانات متعددة الوسائط وتوسيع حدود التوكين في GPT-4 و Claud3 و Gemini يقدم مسارًا واعدًا. ومع ذلك، من المهم ملاحظة أن هذه النماذج متاحة فقط من خلال واجهات برمجة التطبيقات. بينما استخدام واجهات برمجة التطبيقات لاستخراج البيانات من الوثائق فعال وكفء من حيث التكلفة، يأتي مع مجموعة من القيود مثل التأخير وعدم التحكم الكامل والمخاطر الأمنية.
حل أكثر أمانًا ويمكن تخصيصه يقع في تعديل نموذج LLM داخل المنظمة. هذا النهج لا يقلل فقط من مخاطر خصوصية البيانات وأمانها، بل يعزز أيضًا التحكم في عملية استخراج البيانات. تعديل نموذج LLM لفهم تخطيط الوثائق وللفهم معنى النص بناءً على سياقه يقدم طريقة قوية لاستخراج الأزواج الرئيسية والعناصر. من خلال الاستفادة من التعلم بدون مثال وقليل من الأمثلة، يمكن لنموذج معدين التكيف مع تخطيطات وثائق متنوعة، مما يضمن استخراج بيانات غير منظم دقيق وفعال عبر مجالات متعددة.
