ما هو NLP (معالجة اللغة الطبيعية)؟

معالجة اللغة الطبيعية (NLP) هي دراسة وتطبيق تقنيات وأدوات تمكن الحواسيب من معالجة وتحليل وتفسير والاستدلال عن اللغة البشرية. NLP هو مجال متعدد التخصصات ويجمع بين التقنيات المثبتة في مجالات مثل اللغويات وعلم الحاسوب. يتم استخدام هذه التقنيات بالاشتراك مع الذكاء الاصطناعي لإنشاء محادثات ومرافقة رقمية مثل مساعد Google و Amazon’s Alexa.

دعونا ن dành بعض الوقت لاستكشاف العقلية وراء معالجة اللغة الطبيعية، وبعض التقنيات المستخدمة في NLP، وبعض الحالات الشائعة لاستخدام NLP.

لماذا معالجة اللغة الطبيعية (NLP) مهمة

من أجل تفسير اللغة البشرية، يجب تحويلها إلى شكل يمكن للحاسوب معالجته. ومع ذلك، هذا ليس بسيطًا مثل تحويل بيانات النص إلى أرقام. من أجل استخراج المعنى من اللغة البشرية، يجب استخراج الأنماط من المئات أو الآلاف من الكلمات التي تتكون منها وثيقة نصية. هذا ليس مهمة سهلة. هناك قواعد صارمة قليلة يمكن تطبيقها على تفسير اللغة البشرية. على سبيل المثال، يمكن للعبارة نفسها أن تعني أشياء مختلفة اعتمادًا على السياق. اللغة البشرية هي شيء معقد وأحيانًا غامض، ويمكن نطق العبارة باخلاص أو سخرية.

على الرغم من ذلك، هناك بعض الإرشادات العامة التي يمكن استخدامها عند تفسير الكلمات والشخصيات، مثل استخدام حرف “s” لتحديد أن العنصر هو جمع. يجب استخدام هذه الإرشادات العامة بالاشتراك مع بعضها البعض لاستخراج المعنى من النص، لإنشاء ميزات يمكن لمحسّن الخوارزمية تفسيرها.

معالجة اللغة الطبيعية تتضمن تطبيق خوارزميات مختلفة قادرة على أخذ بيانات غير منظمّة وتحويلها إلى بيانات منظمّة. إذا تم تطبيق هذه الخوارزميات بطريقة خاطئة، فإن الحاسوب غالبًا ما يفشل في استخراج المعنى الصحيح من النص. هذا يمكن أن يظهر في ترجمة النص بين اللغات، حيث يتم فقدان المعنى الدقيق للجملة. بينما تحسنت الترجمة الآلية بشكل كبير خلال السنوات القليلة الماضية، لا تزال أخطاء الترجمة الآلية تحدث بشكل متكرر.

تقنيات معالجة اللغة الطبيعية (NLP)

صورة: Tamur via WikiMedia Commons, Public Domain (https://commons.wikimedia.org/wiki/File:ParseTree.svg)

يمكن وضع العديد من التقنيات المستخدمة في معالجة اللغة الطبيعية في واحدة من فئتين: بنية الجملة أو دلالاتها. تقنيات بنية الجملة هي تلك التي تتعامل مع ترتيب الكلمات، بينما تتضمن تقنيات الدلالات تقنيات تتعلق بمعنى الكلمات.

تقنيات NLP بنية الجملة

أمثلة على بنية الجملة تشمل:

• الاختزال
• تقسيم الشكل
• وسم جزء الكلام
• التحليل
• كسر الجملة
• الجذور
• تقسيم الكلمة

الاختزال يعني تقليص مختلف الصيغ المختلفة للكلمة إلى شكل واحد. يتم تقليص الأشياء مثل الأزمنة والجمع، على سبيل المثال، “feet” قد يصبح “foot” و “stripes” قد يصبح “stripe”. هذا الشكل المبسط للكلمة يجعل من الأسهل على الخوارزمية تفسير الكلمات في الوثيقة.

تقسيم الشكل هو عملية تقسيم الكلمات إلى مورفيمات أو الوحدات الأساسية للكلمة. هذه الوحدات هي أشياء مثل مورفيمات حرة (التي يمكن أن تقف وحدها ككلمات) وأحرف تصريف وأحرف قبلية.

وسم جزء الكلام هو ببساطة عملية تحديد جزء الكلام لكل كلمة في المستند.

التحليل يعني تحليل جميع الكلمات في الجملة وربطها bằng علامات النحو الرسمية أو القيام بالتحليل النحوي لجميع الكلمات.

كسر الجملة، أو تقسيم حدود الجملة، يعني تحديد مكان بداية ونهاية الجملة.

الجذور هي عملية تقليص الكلمات إلى شكل الجذر. على سبيل المثال، “connected” و “connection” و “connections” سوف يتم تقليصهاすべて إلى “connect”.

تقسيم الكلمة هو عملية تقسيم قطع كبيرة من النص إلى وحدات صغيرة، والتي يمكن أن تكون كلمات أو وحدات مقصورة/مختزلة.

تقنيات NLP الدلالية

تقنيات NLP الدلالية تشمل تقنيات مثل:

• تحديد الكيان المسمى
• توليد اللغة الطبيعية
• تمييز دلالة الكلمة

تحديد الكيان المسمى يتضمن وضع علامات على أجزاء معينة من النص التي يمكن وضعها في واحدة من عدد من المجموعات المحددة مسبقًا. الفئات المحددة مسبقًا تشمل أشياء مثل التواريخ والمدن والأماكن والشركات والأفراد.

توليد اللغة الطبيعية هو عملية استخدام قواعد البيانات لتحويل البيانات المنظمة إلى لغة طبيعية. على سبيل المثال، يمكن استخدام الإحصائيات حول الطقس، مثل درجة الحرارة وسرعة الرياح، لتلخيص اللغة الطبيعية.

تمييز دلالة الكلمة هو عملية إسناد معنى إلى الكلمات في النص بناءً على السياق الذي تظهر فيه الكلمات.

نماذج التعلم العميق لمعالجة اللغة الطبيعية

الشبكات العصبية متعددة الطبقات العادية غير قادرة على تفسير بيانات التسلسل، حيث يكون ترتيب المعلومات مهمًا. من أجل التعامل مع أهمية الترتيب في بيانات التسلسل، يتم استخدام نوع من الشبكات العصبية التي تحافظ على المعلومات من الخطوات الزمنية السابقة في التدريب.

الشبكات العصبية المتكررة هي أنواع من الشبكات العصبية التي تتكرر عبر بيانات الخطوات الزمنية السابقة، مع الأخذ بها في الاعتبار عند حساب أوزان الخطوة الزمنية الحالية. بشكل أساسي، الشبكات العصبية المتكررة لها ثلاثة معاملات تستخدم خلال تمرير التدريب الأمامي: مصفوفة dựa على الحالة الخفية السابقة، مصفوفة dựa على الإدخال الحالي، ومصفوفة بين الحالة الخفية والإخراج. بسبب khảية الشبكات العصبية المتكررة في الأخذ بالاعتبار المعلومات من الخطوات الزمنية السابقة، يمكنها استخراج الأنماط ذات الصلة من البيانات النصية من خلال الأخذ بالاعتبار الكلمات السابقة في الجملة عند تفسير معنى الكلمة.

نوع آخر من архيتECTURE التعلم العميق المستخدمة لمعالجة البيانات النصية هو شبكة الذاكرة القصيرة الأمد (LSTM). شبكات LSTM مشابهة في الهيكل لشبكات RNN، ولكن بسبب بعض الاختلافات في هيكلها، فإنها تميل إلى الأداء بشكل أفضل من RNN. إنها تتجنب مشكلة معينة غالبًا ما تحدث عند استخدام RNNs تسمى مشكلة التدرج المتفجر.

يمكن أن تكون هذه الشبكات العصبية العميقة إما غير متجهة أو ثنائية الاتجاه. الشبكات ثنائية الاتجاه قادرة على الأخذ ليس فقط بالكلمات التي تسبق الكلمة الحالية في الاعتبار، ولكن أيضًا الكلمات التي تليها. بينما يؤدي هذا إلى دقة أعلى، فهو أكثر تكلفة حسابيًا.

حالات استخدام لمعالجة اللغة الطبيعية (NLP)

صورة: mohammed_hassan via Pixabay, Pixabay License (https://pixabay.com/illustrations/chatbot-chat-application-artificial-3589528/)

بسبب أن معالجة اللغة الطبيعية تتضمن تحليل وتنفيذ اللغات البشرية، لها تطبيقات واسعة جدًا. التطبيقات المحتملة لمعالجة اللغة الطبيعية تشمل محادثات رقمية، مساعدين رقميين، تحليل المشاعر، تنظيم الوثائق، توظيف المواهب، والرعاية الصحية.

المحادثات الرقمية والمساعدين الرقميين مثل Amazon’s Alexa و Google Assistant هي أمثلة على منصات التعرف على الصوت وإنشاء الصوت التي تستخدم معالجة اللغة الطبيعية لتفسير وأجابة الأوامر الصوتية. تساعد هذه المساعدين الرقميين الأشخاص في مجموعة واسعة من المهام، مما يسمح لهم بتفريغ بعض مهامهم الإدراكية إلى جهاز آخر وتحرير بعض قدراتهم العقلية لأشياء أكثر أهمية. بدلاً من البحث عن أفضل طريق إلى البنك في صباح مشغول، يمكننا فقط أن نطلب من مساعدنا الرقمي القيام بذلك.

تحليل المشاعر هو استخدام تقنيات معالجة اللغة الطبيعية لدراسة ردود فعل وأحاسيس الناس تجاه ظاهرة، كما يتم التعبير عنها من خلال استخدامهم للغة. يمكن أن توفر 捕获 مشاعر العبارة، مثل تفسير ما إذا كان تقييم المنتج جيدًا أو سيئًا، للمؤسسات معلومات جوهرية حول كيفية استقبال منتجها.

تنظيم الوثائق النصية تلقائيًا هو تطبيق آخر لمعالجة اللغة الطبيعية. تستخدم شركات مثل Google و Yahoo خوارزميات معالجة اللغة الطبيعية لتصنيف وثائق البريد الإلكتروني، وضعها في صناديق مناسبة مثل “اجتماعي” أو “ترويجي”. كما أنها تستخدم هذه التقنيات لتحديد البريد المزعوم والمنع من وصوله إلى صندوق الوارد.

تم تطوير تقنيات معالجة اللغة الطبيعية أيضًا لتحديد المرشحين المحتملين، العثور عليهم بناءً على المهارات ذات الصلة. كما يستخدم مديرو التوظيف تقنيات معالجة اللغة الطبيعية لمساعدتهم في فرز قائمة المتقدمين.

تستخدم تقنيات معالجة اللغة الطبيعية أيضًا لتحسين الرعاية الصحية. يمكن استخدام معالجة اللغة الطبيعية لتحسين الكشف عن الأمراض. يمكن تحليل السجلات الصحية واستخراج الأعراض بواسطة خوارزميات معالجة اللغة الطبيعية، والتي يمكن استخدامها لاقتراح تشخيصات محتملة. واحد من الأمثلة على ذلك هو منصة Amazon Comprehend Medical، التي تحليل السجلات الصحية وتستخرج الأمراض والعلاجات. تمتد تطبيقات الرعاية الصحية لمعالجة اللغة الطبيعية أيضًا إلى الصحة النفسية. هناك تطبيقات مثل WoeBot، التي تتحدث مع المستخدمين من خلال مجموعة متنوعة من تقنيات إدارة القلق المبنية على العلاج السلوكي المعرفي.