ما هو Autoencoder؟

إذا كنت قد قرأت عن تقنيات التعلم غير الخاضعة للرقابة من قبل، فربما صادفك مصطلح "المشفر التلقائي". تعد أجهزة التشفير التلقائي إحدى الطرق الأساسية التي يتم من خلالها تطوير نماذج التعلم غير الخاضعة للإشراف. ومع ذلك ، ما هو المشفر التلقائي بالضبط؟

باختصار ، تعمل أجهزة التشفير التلقائي عن طريق أخذ البيانات وضغطها وتشفيرها ، ثم إعادة بناء البيانات من تمثيل الترميز. يتم تدريب النموذج حتى يتم تقليل الخسارة إلى الحد الأدنى ويتم إعادة إنتاج البيانات بأكبر قدر ممكن. من خلال هذه العملية ، يمكن لجهاز التشفير التلقائي معرفة الميزات المهمة للبيانات. في حين أن هذا هو تعريف سريع لجهاز التشفير التلقائي ، سيكون من المفيد إلقاء نظرة فاحصة على أجهزة التشفير التلقائي واكتساب فهم أفضل لكيفية عملها. ستسعى هذه المقالة إلى إزالة الغموض عن أجهزة التشفير التلقائي ، وشرح بنية أجهزة التشفير التلقائية وتطبيقاتها.

ما هو Autoencoder؟

الترميز التلقائي هي شبكات عصبية. تتكون الشبكات العصبية من طبقات متعددة ، والجانب المحدد لجهاز التشفير التلقائي هو أن طبقات الإدخال تحتوي بالضبط على قدر من المعلومات مثل طبقة المخرجات. السبب في أن طبقة الإدخال وطبقة الإخراج لها نفس عدد الوحدات بالضبط هو أن المشفر التلقائي يهدف إلى تكرار بيانات الإدخال. يقوم بإخراج نسخة من البيانات بعد تحليلها وإعادة بنائها بطريقة غير خاضعة للرقابة.

لا يتم تعيين البيانات التي تنتقل عبر برنامج التشفير التلقائي مباشرة من الإدخال إلى الإخراج ، مما يعني أن الشبكة لا تقوم فقط بنسخ بيانات الإدخال. هناك ثلاثة مكونات لجهاز التشفير التلقائي: جزء الترميز (الإدخال) الذي يضغط البيانات ، والمكون الذي يتعامل مع البيانات المضغوطة (أو عنق الزجاجة) ، وجزء وحدة فك التشفير (الإخراج). عند إدخال البيانات في وحدة التشفير التلقائي ، يتم تشفيرها ثم ضغطها إلى حجم أصغر. ثم يتم تدريب الشبكة على البيانات المشفرة / المضغوطة وتقوم بإخراج إعادة إنشاء تلك البيانات.

فلماذا تريد تدريب شبكة لإعادة بناء البيانات المعطاة لها فقط؟ والسبب هو أن الشبكة تتعلم "الجوهر" أو أهم سمات بيانات الإدخال. بعد تدريب الشبكة ، يمكن إنشاء نموذج يمكنه تجميع بيانات متشابهة ، مع إضافة أو طرح ميزات هدف معينة. على سبيل المثال ، يمكنك تدريب برنامج تشفير تلقائي على الصور المحببة ثم استخدام النموذج المدرب لإزالة الحبيبات / الضوضاء من الصورة.

هندسة التشفير التلقائي

دعونا نلقي نظرة على هندسة المشفر التلقائي. سنناقش الهيكل الرئيسي لجهاز التشفير التلقائي هنا. هناك اختلافات في هذه البنية العامة سنناقشها في القسم أدناه.

الصورة: ميشيلا ماسي عبر ويكيميديا ​​كومنز ، (https://commons.wikimedia.org/wiki/File:Autoencoder_schema.png)

كما ذكرنا سابقًا ، يمكن تقسيم وحدة التشفير التلقائي بشكل أساسي إلى ثلاثة مكونات مختلفة: التشفير ، و عنق الزجاجة ، و وحدة فك التشفير.

عادةً ما يكون جزء المشفر من وحدة التشفير التلقائي عبارة عن شبكة متصلة بشكل كثيف. الغرض من طبقات التشفير هو أخذ بيانات الإدخال وضغطها في تمثيل فضاء كامن ، مما يؤدي إلى إنشاء تمثيل جديد للبيانات التي قللت من الأبعاد.

تتعامل طبقات الكود ، أو عنق الزجاجة ، مع التمثيل المضغوط للبيانات. تم تصميم رمز عنق الزجاجة بعناية لتحديد الأجزاء الأكثر صلة بالبيانات المرصودة ، أو لوضع ذلك بطريقة أخرى على ميزات البيانات الأكثر أهمية لإعادة بناء البيانات. الهدف هنا هو تحديد جوانب البيانات التي يجب حفظها وأيها يمكن التخلص منها. يحتاج رمز عنق الزجاجة إلى موازنة اعتبارين مختلفين: حجم التمثيل (مدى ضغط التمثيل) ومدى الصلة المتغير / الميزة. يؤدي عنق الزجاجة إلى تنشيط العناصر على أوزان وتحيزات الشبكة. تسمى طبقة عنق الزجاجة أحيانًا التمثيل الكامن أو المتغيرات الكامنة.

طبقة مفكك التشفير هي المسؤولة عن أخذ البيانات المضغوطة وتحويلها مرة أخرى إلى تمثيل بنفس أبعاد البيانات الأصلية غير المعدلة. يتم التحويل باستخدام تمثيل الفضاء الكامن الذي تم إنشاؤه بواسطة المشفر.

إن أبسط بنية لأداة التشفير التلقائي هي بنية التغذية الأمامية ، مع بنية تشبه إلى حد كبير طبقة واحدة من الإدراك الحسي المستخدم في الإدراك متعدد الطبقات. يشبه إلى حد كبير الشبكات العصبية ذات التغذية الأمامية العادية ، يتم تدريب المشفر التلقائي من خلال استخدام الانتشار العكسي.

سمات برنامج التشفير التلقائي

هناك أنواع مختلفة من أجهزة التشفير التلقائي ، لكن لديهم جميعًا خصائص معينة توحدهم.

يتعلم المشفرون تلقائيًا تلقائيًا. لا تتطلب تسميات ، وإذا أعطيت بيانات كافية ، فمن السهل الحصول على أداة تشفير تلقائية للوصول إلى أداء عالٍ على نوع معين من بيانات الإدخال.

أجهزة التشفير التلقائي خاصة بالبيانات. هذا يعني أنه يمكنهم فقط ضغط البيانات التي تشبه إلى حد كبير البيانات التي تم تدريب وحدة التشفير التلقائي عليها بالفعل. تعتبر أجهزة التشفير التلقائية أيضًا ضائعة ، مما يعني أنه سيتم تدهور مخرجات النموذج مقارنة ببيانات الإدخال.

عند تصميم جهاز تشفير تلقائي، يحتاج مهندسو التعلم الآلي إلى الاهتمام بأربعة معلمات نموذجية مختلفة: حجم الكود، ورقم الطبقة، والعقد لكل طبقة، ووظيفة الخسارة.

يحدد حجم الكود عدد العقد التي تبدأ الجزء الأوسط من الشبكة ، وعدد أقل من العقد تضغط البيانات أكثر. في المشفر التلقائي العميق ، بينما يمكن أن يكون عدد الطبقات أي رقم يراه المهندس مناسبًا ، يجب أن ينخفض ​​عدد العقد في الطبقة مع استمرار المشفر. وفي الوقت نفسه ، فإن العكس صحيح في وحدة فك التشفير ، مما يعني أن عدد العقد لكل طبقة يجب أن يزداد مع اقتراب طبقات مفكك التشفير من الطبقة النهائية. أخيرًا ، عادةً ما تكون وظيفة الخسارة في وحدة التشفير التلقائي إما ثنائية عبر إنتروبيا أو متوسط ​​خطأ تربيعي. الانتروبيا الثنائية مناسبة للحالات التي تكون فيها قيم إدخال البيانات في نطاق 0-1.

أنواع التشفير التلقائي

كما ذكر أعلاه ، توجد اختلافات في بنية المشفر التلقائي الكلاسيكية. دعنا نفحص بنيات التشفير التلقائي المختلفة.

متناثر

الصورة: ميشيلا ماسي عبر ويكيميديا ​​كومنز ، CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Autoencoder_sparso.png)

بينما تحتوي أجهزة التشفير التلقائي عادةً على عنق زجاجة يضغط البيانات من خلال تقليل العقد ، متفرق autoencoderهي بديل لهذا الشكل التشغيلي النموذجي. في شبكة متفرقة ، تحافظ الطبقات المخفية على نفس حجم طبقات التشفير وفك التشفير. بدلاً من ذلك ، يتم معاقبة عمليات التنشيط داخل طبقة معينة ، وإعدادها بحيث تلتقط وظيفة الخسارة بشكل أفضل الميزات الإحصائية لبيانات الإدخال. لوضع ذلك بطريقة أخرى ، في حين أن الطبقات المخفية لبرنامج التشفير التلقائي المتناثر تحتوي على وحدات أكثر من وحدة التشفير التلقائي التقليدية ، إلا أن نسبة معينة منها فقط تكون نشطة في أي وقت. يتم الاحتفاظ بوظائف التنشيط الأكثر تأثيرًا ويتم تجاهل وظائف أخرى ، ويساعد هذا القيد الشبكة على تحديد السمات الأكثر بروزًا لبيانات الإدخال.

انكماشية

أجهزة التشفير التلقائي التعاقدية صممت لتكون مرنة ضد الاختلافات الصغيرة في البيانات ، مع الحفاظ على تمثيل متسق للبيانات. يتم تحقيق ذلك من خلال تطبيق عقوبة على وظيفة الخسارة. تعتمد تقنية التنظيم هذه على معيار Frobenius لمصفوفة Jacobian لتنشيطات تشفير الإدخال. يتمثل تأثير تقنية التنظيم هذه في أن النموذج مجبر على إنشاء تشفير حيث يكون للمدخلات المماثلة ترميزات مماثلة.

التلافيف

أجهزة التشفير التلقائية التلافيفية ترميز بيانات الإدخال عن طريق تقسيم البيانات إلى أقسام فرعية ثم تحويل هذه الأقسام الفرعية إلى إشارات بسيطة يتم تجميعها معًا لإنشاء تمثيل جديد للبيانات. على غرار الشبكات العصبية الالتفافية ، يتخصص المشفر التلقائي التلافيفي في تعلم بيانات الصورة ، ويستخدم مرشحًا يتم نقله عبر الصورة بأكملها قسمًا تلو الآخر. يمكن استخدام الترميزات التي تم إنشاؤها بواسطة طبقة الترميز لإعادة بناء الصورة أو عكس الصورة أو تعديل هندسة الصورة. بمجرد أن تتعرف الشبكة على المرشحات ، يمكن استخدامها على أي إدخال مشابه بدرجة كافية لاستخراج ميزات الصورة.

تقليل الضوضاء

الصورة: MAL عبر ويكيميديا ​​كومنز ، CC BY SA 3.0 (https://en.wikipedia.org/wiki/File:ROF_Denoising_Example.png)

تقليل الضوضاء من أجهزة التشفير التلقائي إدخال ضوضاء في الترميز ، مما يؤدي إلى ترميز هو نسخة تالفة من بيانات الإدخال الأصلية. تُستخدم هذه النسخة التالفة من البيانات لتدريب النموذج ، لكن وظيفة الخسارة تقارن قيم المخرجات مع الإدخال الأصلي وليس الإدخال التالف. الهدف هو أن تكون الشبكة قادرة على إعادة إنتاج النسخة الأصلية غير التالفة من الصورة. من خلال مقارنة البيانات التالفة بالبيانات الأصلية ، تتعرف الشبكة على ميزات البيانات الأكثر أهمية وأي الميزات غير مهمة / فاسدة. بعبارة أخرى ، لكي يقوم النموذج بإلغاء التشويش على الصور التالفة ، يجب أن يكون قد استخرج السمات المهمة لبيانات الصورة.

متغير

أجهزة التشفير التلقائي المتغيرة تعمل عن طريق وضع افتراضات حول كيفية توزيع المتغيرات الكامنة للبيانات. ينتج عن المشفر التلقائي المتغير توزيعًا احتماليًا للسمات المختلفة لصور التدريب / السمات الكامنة. عند التدريب ، ينشئ المشفر توزيعات كامنة للميزات المختلفة لصور الإدخال.

نظرًا لأن النموذج يتعلم الميزات أو الصور كتوزيعات Gaussian بدلاً من القيم المنفصلة ، فيمكن استخدامه لإنشاء صور جديدة. يتم أخذ عينات من التوزيع الغاوسي لإنشاء ناقل ، يتم تغذيته في شبكة فك التشفير ، والتي تعرض صورة بناءً على متجه العينات هذا. يتعلم النموذج بشكل أساسي السمات المشتركة لصور التدريب ويعين لها بعض الاحتمالات بحدوثها. يمكن بعد ذلك استخدام التوزيع الاحتمالي لإجراء هندسة عكسية لصورة ما ، وإنشاء صور جديدة تشبه الصور التدريبية الأصلية.

عند تدريب الشبكة ، يتم تحليل البيانات المشفرة ويخرج نموذج التعرف متجهين ، مما يستنبط المتوسط ​​والانحراف المعياري للصور. يتم إنشاء التوزيع بناءً على هذه القيم. يتم ذلك للحالات الكامنة المختلفة. ثم يأخذ مفكك الشفرة عينات عشوائية من التوزيع المقابل ويستخدمها لإعادة بناء المدخلات الأولية للشبكة.

تطبيقات Autoencoder

يمكن استخدام أجهزة التشفير التلقائي على نطاق واسع مجموعة متنوعة من التطبيقات، ولكنها تُستخدم عادةً لمهام مثل تقليل الأبعاد وتقليل الضوضاء واستخراج الميزات وتوليد الصور والتنبؤ بالتسلسل إلى التسلسل وأنظمة التوصية.

تقليل تشويش البيانات هو استخدام أجهزة التشفير التلقائي لنزع الحبوب / الضوضاء من الصور. وبالمثل ، يمكن استخدام أجهزة التشفير التلقائي لإصلاح أنواع أخرى من تلف الصورة ، مثل الصور الباهتة أو الصور المفقودة. يمكن أن يساعد تقليل الأبعاد في مساعدة الشبكات عالية السعة على تعلم ميزات مفيدة للصور ، مما يعني أنه يمكن استخدام أجهزة التشفير التلقائية لزيادة تدريب الأنواع الأخرى من الشبكات العصبية. وينطبق هذا أيضًا على استخدام أجهزة التشفير التلقائي لاستخراج الميزات ، حيث يمكن استخدام أجهزة التشفير التلقائية لتحديد ميزات مجموعات بيانات التدريب الأخرى لتدريب النماذج الأخرى.

فيما يتعلق بإنشاء الصور ، يمكن استخدام أجهزة التشفير التلقائي لإنشاء صور بشرية مزيفة أو شخصيات متحركة ، والتي لها تطبيقات في تصميم أنظمة التعرف على الوجوه أو أتمتة جوانب معينة من الرسوم المتحركة.

يمكن استخدام نماذج التنبؤ بالتسلسل لتحديد الهيكل الزمني للبيانات ، مما يعني أنه يمكن استخدام المشفر التلقائي لإنشاء التالي حتى في التسلسل. لهذا السبب ، يمكن استخدام أداة التشفير التلقائي لإنشاء مقاطع فيديو. أخيرًا ، يمكن استخدام أجهزة التشفير التلقائي العميقة لإنشاء أنظمة توصية من خلال التقاط الأنماط المتعلقة باهتمام المستخدم ، مع تحليل المشفر لبيانات تفاعل المستخدم وفك التشفير الذي ينشئ توصيات تناسب الأنماط المحددة.