ما هو المُشفر التلقائي؟

إذا كنت قد قرأت عن تقنيات التعلم غير المُشرّع من قبل، فقد واجهت مصطلح “مُشفر تلقائي”. المُشفرات التلقائية هي واحدة من الطرق الأساسية لتطوير نماذج التعلم غير المُشرّع. ومع ذلك، ما هو المُشفر التلقائي بالضبط؟

باختصار، تعمل المُشفرات التلقائية عن طريق أخذ البيانات، وتقليل حجمها وترميزها، ثم إعادة بناء البيانات من التمثيل المُرمز. يتم تدريب النموذج حتى تُقلّل الخسارة وتُنتج البيانات بأكبر قدر ممكن من الدقة. من خلال هذا العملية، يمكن للمُشفر التلقائي أن يتعلم الميزات المهمة من البيانات. بينما هذا هو تعريف سريع للمُشفر التلقائي، سيكون من المفيد النظر بشكل أعمق إلى المُشفرات التلقائية وفهم كيفية عملها. هذا المقال سيسعى إلى إزالة الغموض حول المُشفرات التلقائية، وشرح هيكل المُشفرات التلقائية وتطبيقاتها.

ما هو المُشفر التلقائي؟

المُشفرات التلقائية هي شبكات عصبونية. الشبكات العصبونية تتكون من طبقات متعددة، والميزة المميزة للمُشفر التلقائي هي أن طبقات الإدخال تحتوي على نفس المعلومات مثل طبقات الإخراج. السبب في أن طبقات الإدخال والإخراج تحتوي على نفس عدد الوحدات هو أن المُشفر التلقائي يهدف إلى复制 البيانات الإدخالية. إنه يُنتج نسخة من البيانات بعد تحليلها وإعادة بنائها بطريقة غير مُشرّعة.

البيانات التي تمر عبر المُشفر التلقائي لا يتم映سها مباشرة من الإدخال إلى الإخراج، مما يعني أن الشبكة لا تُкопي البيانات الإدخالية فقط. هناك ثلاثة مكونات للمُشفر التلقائي: جزء الترميز (الإدخال) الذي يقلل حجم البيانات، ومكون يتعامل مع البيانات المُرمزة (أو عنق الزجاجة)، وجزء الفك الترميز (الإخراج). عندما يتم إدخال البيانات إلى المُشفر التلقائي، يتم ترميزها وتقليل حجمها إلى حجم أصغر. يتم تدريب الشبكة على البيانات المُرمزة والمُقلصة، وتنتج نسخة من تلك البيانات.

لماذا تريد تدريب شبكة ل복ية البيانات التي تُمنح لها؟ السبب هو أن الشبكة تتعلم “الجوهر” أو الميزات الأكثر أهمية من البيانات الإدخالية. بعد تدريب الشبكة، يمكن إنشاء نموذج يمكنه توليد بيانات مماثلة، مع إضافة أو إزالة بعض الميزات المستهدفة. على سبيل المثال، يمكن تدريب المُشفر التلقائي على صور متداخلة، ثم استخدام النموذج المُدرّب لإزالة الدخان / الضوضاء من الصورة.

هيكل المُشفر التلقائي

لننظر إلى هيكل المُشفر التلقائي. سنناقش الهيكل الرئيسي للمُشفر التلقائي هنا. هناك تباينات على هذا الهيكل العام الذي سنناقشه في القسم أدناه.

صورة: Michela Massi via Wikimedia Commons,(https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

كما ذكرنا سابقًا، يمكن تقسيم المُشفر التلقائي بشكل أساسي إلى ثلاثة مكونات: المُرمز، عنق الزجاجة، والفك الترميز.

جزء الترميز من المُشفر التلقائي هو عادة شبكة متصلة كثيفة ومُتجهة إلى الأمام. الغرض من طبقات الترميز هو أخذ البيانات الإدخالية وتقليل حجمها إلى تمثيل بمساحة 潜 فيية، مما يولد تمثيلًا جديدًا للبيانات يقل حجمه.

طبقات الترميز، أو عنق الزجاجة، تتعامل مع التمثيل المُقلص للبيانات. يتم تصميم عنق الزجاجة بعناية لتحديد أهم أجزاء من البيانات المُلاحظة، أو بعبارة أخرى، الميزات من البيانات التي هي الأكثر أهمية لتركيب البيانات. الهدف هنا هو تحديد الأجزاء من البيانات التي يجب الحفاظ عليها والتي يمكن التخلص منها. يجب على عنق الزجاجة موازنة两个 اعتبارات: حجم التمثيل (مدى ضيق التمثيل) وأهمية المتغير / الميزة. يعمل عنق الزجاجة على تنشيط العناصر بشكل فردي على أوزان ومتغيرات الشبكة. đôi khi يُسمى طبقة العنق الزجاجية أيضًا تمثيل 潜 فيي أو متغيرات 潜 فيية.

طبقة الفك الترميز هي المسؤولة عن أخذ البيانات المُقلصة وتحويلها مرة أخرى إلى تمثيل ذي أبعاد مماثلة للبيانات الأصلية غير المُعدلة. يتم التحويل باستخدام التمثيل الفضائي الذي تم إنشاؤه بواسطة المُرمز.

الهيكل الأكثر căn bản للمُشفر التلقائي هو هيكل متجه إلى الأمام، مع هيكل مشابه لطبقة واحدة من المُستقبلات المتعددة في الشبكات العصبونية المتعددة الطبقات. مثل الشبكات العصبونية المتجهة إلى الأمام العادية، يتم تدريب المُشفر التلقائي باستخدام الخوارزمية العكسية.

خصائص المُشفر التلقائي

هناك أنواع مختلفة من المُشفرات التلقائية، ولكنها جميعًا تتمتع بخصائص معينة تجمعها.

المُشفرات التلقائية تتعلم تلقائيًا. لا تتطلب تسميات، وإذا تم توفير بيانات كافية، فمن السهل الحصول على أداء عالٍ للمُشفر التلقائي على نوع معين من البيانات الإدخالية.

المُشفرات التلقائية هي محددة بالبيانات. هذا يعني أنها يمكن أن تقلل فقط من البيانات التي تشبه إلى حد كبير البيانات التي تم تدريب المُشفر التلقائي عليها بالفعل. المُشفرات التلقائية هي أيضًا خاسرة، مما يعني أن مخرجات النموذج ستكون مخفضة مقارنة بالبيانات الإدخالية.

عند تصميم المُشفر التلقائي، يجب على مهندسي التعلم الآلي الاهتمام بأربعة معاملات超 معمولة للنموذج: حجم الترميز، عدد الطبقات، عدد العقد في كل طبقة، ووظيفة الخسارة.

يحدد حجم الترميز عدد العقد في الجزء الأوسط من الشبكة، وعدد أقل من العقد يقلل من حجم البيانات. في المُشفر التلقائي العميق، بينما يمكن أن يكون عدد الطبقات أي عدد يراه المهندس مناسبًا، يجب أن يقل عدد العقد في كل طبقة مع تقدم المُرمز. في المقابل، يزداد عدد العقد في كل طبقة مع تقدم طبقات الفك الترميز. أخيرًا، وظيفة الخسارة للمُشفر التلقائي هي عادة إما تباين ثنائي أو متوسط مربع للخطأ. تباين ثنائي مناسب للحالات التي تكون فيها قيم البيانات الإدخالية في نطاق 0-1.

أنواع المُشفر التلقائي

كما ذكرنا أعلاه، هناك تباينات على هيكل المُشفر التلقائي الكلاسيكي. لننظر إلى مختلف هيكلات المُشفر التلقائي.

الرقيق

صورة: Michela Massi via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

بينما المُشفرات التلقائية عادة ما تتمتع بعنق زجاجة يقلل من حجم البيانات من خلال تقليل عدد العقد، المُشفرات الرقيقة هي بديل لذلك الشكل التشغيلي النموذجي. في شبكة رقيقة، يتم الحفاظ على حجم الطبقات المخفية مثل طبقات المُرمز والفك الترميز. بدلاً من ذلك، يتم معاقبة التنشيطات داخل طبقة معينة، مما يجعل وظيفة الخسارة تكتسب بشكل أفضل الميزات الإحصائية للبيانات الإدخالية. بعبارة أخرى، بينما الطبقات المخفية للمُشفر الرقيق تتمتع بعدد وحدات أكبر من المُشفر التلقائي التقليدي، فقط نسبة معينة منهم تكون نشطة في أي وقت معين. يتم الحفاظ على أهم وظائف التنشيط، ويتم تجاهل الباقي، وهذا القيد يساعد الشبكة على تحديد الميزات الأكثر أهمية للبيانات الإدخالية.

المناقص

المُشفرات المناقصة مصممة لتكون متينة ضد التغييرات الصغيرة في البيانات، مع الحفاظ على تمثيل متسق للبيانات. يتم تحقيق ذلك من خلال تطبيق جزاء على وظيفة الخسارة. تقنية الت 정규نة هذه تستند إلى معيار فروبنيوس لمصفوفة جاكوبي لتنشيطات المُرمز الإدخالي. تأثير هذه تقنية الت 정규نة هو أن النموذج يُجبر على بناء تمثيل حيث تكون المدخلات المماثلة لها تمثيلات مماثلة.

الاحتوائي

المُشفرات الاحتوائية ترمّز البيانات الإدخالية عن طريق تقسيم البيانات إلى أقسام فرعية، ثم تحويل هذه الأقسام إلى إشارات بسيطة تُجمع معًا لإنشاء تمثيل جديد للبيانات. مشابهة للشبكات العصبونية الاحتوائية، المُشفر الاحتوائي يختص بتعلم البيانات الصورية، ويتضمن مرشحًا يُتحرك عبر الصورة كلها قسمًا قسمًا. يمكن استخدام التمثيلات التي تُنتجها طبقة الترميز لتركيب الصورة، أو تعكسها، أو تعديل هندستها. بعد أن يتعلم الشبكة المرشحات، يمكن استخدامها على أي إدخال كافٍ لاستخراج ميزات الصورة.

إزالة الضوضاء

صورة: MAL via Wikimedia Commons, CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

المُشفرات لإزالة الضوضاء تُدخل الضوضاء إلى الترميز، مما يؤدي إلى تمثيل مُخرب للبيانات الإدخالية الأصلية. يتم استخدام هذا التمثيل المُخرب لتدريب النموذج، ولكن وظيفة الخسارة تُقارن بين قيم الإخراج والأدخال الأصلية وليس الإدخال المُخرب. الهدف هو أن الشبكة سوف تكون قادرة على إعادة إنتاج الإدخال الأصلي غير المُخرب. من خلال مقارنة البيانات المُخربة بالبيانات الأصلية، يتعلم النموذج الميزات الأكثر أهمية للبيانات ويتعلم أيضًا الميزات الغير هامة / المُخربة. بعبارة أخرى، من أجل نموذج لإزالة الضوضاء من الصور المُخربة، يجب أن يكون قد استخلص الميزات الهامة للبيانات الصورية.

التنوعي

المُشفرات التنوعية تعمل عن طريق افتراضات حول كيفية توزيع المتغيرات 潜 فيية للبيانات. المُشفر التنوعي يُنتج توزيع احتمالي للميزات المختلفة للصور التدريبية / السمات 潜 فيية. عند التدريب، يُنشئ المُرمز توزيعات 潜 فيية للميزات المختلفة للصور الإدخالية.

لأن النموذج يتعلم الميزات أو الصور كتوزيعات غاوسية بدلاً من قيم منفصلة، يمكن استخدامه لإنشاء صور جديدة. يتم أخذ عينة من التوزيع الغاوسي لإنشاء متجه، والذي يتم إدخاله إلى شبكة الفك الترميز، والتي تُ렌در صورة بناءً على هذه العينة. في الأساس، يتعلم النموذج الميزات الشائعة للصور التدريبية ويعين لها بعض الاحتمالات التي سوف تحدث. يمكن استخدام التوزيع الاحتمالي لتركيب صورة، مما يؤدي إلى إنشاء صور جديدة تشبه الصور الأصلية.

عند تدريب الشبكة، يتم تحليل البيانات المُرمزة، وينتج نموذج التعرف على两个 متجه، يستخلصان متوسط ومتوسط انحراف الصور. يتم إنشاء توزيع بناءً على هذه القيم. يتم ذلك للعديد من الحالات 潜 فيية. ثم يأخذ الفك الترميز عينات عشوائية من التوزيع المقابل ويستخدمها لإعادة بناء الإدخالات الأولية للشبكة.

تطبيقات المُشفر التلقائي

يمكن استخدام المُشفرات التلقائية لعدد كبير من التطبيقات، ولكنها عادة ما تُستخدم لأعمال مثل تقليل الأبعاد، وازالة الضوضاء، واستخراج الميزات، وإنشاء الصور، وتوقع التسلسل إلى التسلسل، وأنظمة التوصية.

إزالة الضوضاء هي استخدام المُشفرات التلقائية لازالة الدخان / الضوضاء من الصور. بشكل مماثل، يمكن استخدام المُشفرات التلقائية لإصلاح أنواع أخرى من تلف الصور، مثل الصور المُتضخمة أو الصور الناقصة. يمكن أن يساعد تقليل الأبعاد الشبكات ذات السعة العالية على تعلم الميزات المفيدة للصور، مما يعني أن المُشفرات التلقائية يمكن استخدامها لتعزيز تدريب أنواع أخرى من الشبكات العصبونية. هذا也是 صحيح لاستخدام المُشفرات التلقائية لاستخراج الميزات، حيث يمكن استخدام المُشفرات التلقائية لتحديد ميزات مجموعات بيانات تدريبية أخرى لتدريب نماذج أخرى.

فيما يتعلق بإنشاء الصور، يمكن استخدام المُشفرات التلقائية لإنشاء صور وهمية أو شخصيات متحركة، مما له تطبيقات في تصميم أنظمة التعرف على الوجوه أو تلقين بعض جوانب الرسوم المتحركة.

يمكن استخدام نماذج التنبؤ التسلسلي إلى التسلسلي لتحديد الهيكل الزمني للبيانات، مما يعني أن المُشفر التلقائي يمكن استخدامه لإنشاء الفيديوهات. أخيرًا، يمكن استخدام المُشفرات التلقائية العميقة لإنشاء أنظمة التوصية عن طريق اكتشاف الأنماط المتعلقة بالاهتمام المستخدم، مع تحليل المُرمز لبيانات تفاعل المستخدم، وإنشاء التوصيات التي تناسب الأنماط المُستقرة.