الذكاء الاصطناعي
Julien Rebetez، مهندس رئيسي في مجال التعلم الآلي في Picterra – سلسلة المقابلات
Julien Rebetez، هو مهندس رئيسي للبرمجيات والتعلم الآلي في Picterra. توفر Picterra منصة سحابية جيوسpatial مصممة خصيصًا لتدريب الكاشفات القائمة على التعلم العميق بسرعة وأمان.
بدون سطر واحد من الكود وبعض التعليقات البشرية، يبني مستخدمو Picterra ونشر نماذج التعلم العميق الجاهزة والقابلة للتشغيل.
تتم automatize تحليل الصور الفضائية والجوية، وتمكين المستخدمين من تحديد الأشياء والأنماط.
ما هو الشيء الذي جذبك إلى التعلم الآلي والذكاء الاصطناعي؟
بدأت البرمجة لأنني أردت إنشاء ألعاب فيديو وأصبحت مهتمًا بالرسومات الحاسوبية في البداية. هذا أدى بي إلى رؤية الحاسوب، وهو نوع من العكس حيث لا تملك الحاسوب إنشاء بيئة وهمية، ولكنك تملك الحاسوب لتحديد البيئة الحقيقية. خلال دراستي، درست بعض دورات التعلم الآلي وأصبحت مهتمًا بزاوية الرؤية الحاسوبية. أعتقد أن ما يثير الاهتمام حول التعلم الآلي هو أنه يقع على تقاطع بين هندسة البرمجيات والخوارزميات والرياضيات، ويظل يشعر بالسحر عندما يعمل.
لقد عملت على استخدام التعلم الآلي لتحليل الصور الفضائية لسنوات عديدة الآن. ما كان مشروعك الأول؟
كان أول تعرض لي للصور الفضائية هو مشروع Terra-i (لتحديد إزالة الغابات) وعملت عليه خلال دراستي. كنت مذهولًا من كمية البيانات الفضائية المتاحة بحرية التي يتم إنتاجها بواسطة الوكالات الفضائية (ناسا، إيسا، إلخ…). يمكنك الحصول على صور منتظمة للكوكب كل يوم أو نحو ذلك، وهذا مورد رائع ل许多 التطبيقات العلمية.
يمكنك مشاركة المزيد من التفاصيل حول مشروع “Terra-i”؟
كان مشروع Terra-i (http://terra-i.org/terra-i.html) قد بدأ بواسطة الأستاذ Andrzej Perez-Uribe، من HEIG-VD (سويسرا) و现在 يقوده Louis Reymondin، من CIAT (كولومبيا). الفكرة من المشروع هي تحديد إزالة الغابات باستخدام الصور الفضائية المتاحة بحرية. في ذلك الوقت، عملنا مع صور MODIS (250م دقة البكسل) لأنها قدمت تغطية متسقة ومتنبئة (كلاً بشكل فضائي وزمني). كنا نحصل على قياس لكل بكسل كل بضعة أيام ومن هذه السلسلة الزمنية من القياسات، يمكنك محاولة تحديد الشذوذ أو Новelties كما نسميها في بعض الأحيان في التعلم الآلي.
كان هذا المشروع مثيرًا للاهتمام لأن كمية البيانات كانت تحديًا في ذلك الوقت وهناك كانت بعض هندسة البرمجيات المشاركة لجعلها تعمل على حواسيب متعددة وما إلى ذلك. من جانب التعلم الآلي، استخدمنا شبكة عصبونية خفيفة (ليست عميقة في ذلك الوقت 🙂 ) للتنبؤ بما يجب أن تبدو عليه السلسلة الزمنية لبكسل. إذا لم يتطابق القياس مع التنبؤ، فإننا سوف نمتلك شذوذًا.
كجزء من هذا المشروع، عملت أيضًا على إزالة السحاب. اخذنا نهجًا تقليديًا لمعالجة الإشارات هناك، حيث لديك سلسلة زمنية من القياسات وبعضها سيكون完全ًا خاطئًا بسبب سحاب. استخدمنا نهجًا قائمًا على Fourier (HANTS) لتنظيف السلسلة الزمنية قبل تحديد الشذوذ فيها. واحدة من الصعوبات هي أنه إذا قمنا بتنظيفها بقوة كبيرة، سوف نزيل أيضًا الشذوذ، لذلك كان هناك بعض التجارب للقيام بها لfinding العثور على المعلمات الصحيحة.
كما صممت وطبقت نظامًا عميقًا للتعلم لتصنيف نوع المحاصيل تلقائيًا من الصور الجوية (طائرات بدون طيار) لحقول المزارع. ما كانت التحديات الرئيسية في ذلك الوقت؟
كان هذا أول تعرض لي حقيقي للتعلم العميق. في ذلك الوقت، أعتقد أن التحدي الرئيسي كان أكثر حول الحصول على الإطار للتشغيل والاستخدام الصحيح لمعالج الرسومات أكثر من التعلم الآلي نفسه. استخدمنا Theano، الذي كان واحدًا من الأسلاف لTensorflow.
كان الهدف من المشروع هو تصنيف نوع المحصول في حقل، من صور طائرات بدون طيار. حاولنا نهجًا حيث يستخدم نموذج التعلم العميق توزيعات اللون كمدخلات بدلاً من الصورة الخام فقط. لجعل هذا العمل بسرعة معقولة، أتذكر أنني قمت بتحقيق طبقة مخصصة في Theano، كل الطريق إلى بعض رمز CUDA. كان ذلك تجربة رائعة في ذلك الوقت وطريقة جيدة للغوص في التفاصيل الفنية للتعلم العميق.
أنت رسميًا مهندس البرمجيات والتعلم الآلي الرائد في Picterra. كيف يمكنك وصف أنشطتك اليومية بأفضل طريقة؟
يختلف الأمر حقًا، ولكن الكثير منه يتعلق بالحفاظ على بنية النظام والمنتج بشكل عام والتواصل مع أصحاب المصلحة المختلفين. على الرغم من أن التعلم الآلي في صميم أعمالنا، إلا أنك تدرك بسرعة أن معظم الوقت لا يتم قضاءه على التعلم الآلي نفسه، ولكن على كل الأشياء المحيطة به: إدارة البيانات، البنية التحتية، واجهة المستخدم / تجربة المستخدم، النمذجة، فهم المستخدمين، إلخ… هذا تغيير عن الأكاديمية أو الخبرة السابقة في شركات أكبر حيث تكون أكثر تركيزًا على مشكلة محددة.
ما يثير الاهتمام حول Picterra هو أننا لا ننفذ فقط نماذج التعلم العميق للمستخدمين، ولكننا نسمح لهم بتدريب نماذجهم الخاصة. هذا يختلف عن العديد من سير العمل التقليدية للتعلم الآلي حيث يكون لديك فريق التعلم الآلي يتدرب على نموذج ثم ينشره إلى الإنتاج. ما يعنيه هذا هو أننا لا نستطيع اللعب يدويًا مع معلمات التدريب كما تفعل في كثير من الأحيان. يجب علينا العثور على بعض طريقة التدريب التي تعمل لجميع مستخدمينا. هذا أدى بنا إلى إنشاء ما نسميه “إطار التجربة”، وهو مخزن كبير من مجموعات البيانات التي تمثل البيانات التي سيبنيها مستخدمونا على المنصة. يمكننا بعد ذلك اختبار التغييرات على منهجية التدريب لدينا ضد هذه المجموعات من البيانات وتقييم ما إذا كانت تساعد أم لا. بدلاً من تقييم نموذج واحد، نحن أكثر تقييمًا للهيكل + منهجية التدريب.
التحدي الآخر هو أن مستخدمينا ليسوا أخصائيي التعلم الآلي، لذلك قد لا يعرفون بالضرورة ما هو مجموعة التدريب، ما هي العلامة، وما إلى ذلك. بناء واجهة مستخدم لتمكين غير أخصائيي التعلم الآلي من بناء مجموعات البيانات وتدريب نماذج التعلم الآلي هو تحدي مستمر وهناك الكثير من التبادل بين فريق واجهة المستخدم وفريق التعلم الآلي لضمان توجيه المستخدمين في الاتجاه الصحيح.
تتضمن بعض مسؤولياتك تصميم وتنفيذ أفكار وتكنولوجيا جديدة. ما هي بعض المشاريع الأكثر إثارة للاهتمام التي عملت عليها؟
أعتقد أن الأكثر إثارة للاهتمام في Picterra كان نموذج الكاشف المخصص. قبل 1.5 سنة، كنا لدينا كاشفات مدمجة على المنصة: تلك كانت كاشفات قمنا بتدريبها أنفسنا وجعلناها متاحة للمستخدمين.
هذا هو سير العمل التقليدية للتعلم الآلي: لديك مهندس التعلم الآلي يطور نموذجًا لحالة محددة ثم يخدمه لزبائنه.
لكننا أردنا أن نفعل شيئًا مختلفًا ودفع الحدود قليلًا. قلنا: “ماذا لو سمحنا للمستخدمين بتدريب نماذجهم الخاصة مباشرة على المنصة”؟ كانت هناك بعض التحديات لجعل هذا العمل: أولًا، لم نرد أن يستغرق هذا ساعات عديدة. إذا أردنا الحفاظ على هذا الشعور بالتفاعل، يجب أن يستغرق التدريب بضعة دقائق على الأكثر. ثانيًا، لم نرد أن نطلب الآلاف من التعليقات، والتي هي عادة ما تحتاجها لنمذج التعلم العميق الكبير.
لذلك بدأنا بنموذج بسيط جدًا، قمنا ببعض الاختبارات في Jupyter وحاولنا دمجه في منصتنا واختبار سير العمل بأكمله، مع واجهة مستخدم أساسية وما إلى ذلك. في البداية، لم يكن يعمل جيدًا في معظم الحالات، ولكن هناك بعض الحالات التي كان يعمل فيها. هذا أعطانا أملًا وبدأنا التكرار على منهجية التدريب والنموذج. بعد بضعة أشهر، كنا قادرين على الوصول إلى نقطة حيث يعمل جيدًا، والآن لدينا مستخدمينا يستخدمونه دائمًا.
ما كان مثيرًا للاهتمام حول هذا هو التحدي المزدوج للحفاظ على سرعة التدريب (حاليًا بضعة دقائق) وبالتالي عدم تعقيد النموذج، ولكن في نفس الوقت جعلها معقدة بما يكفي لتعمل وحل مشاكل المستخدمين. بالإضافة إلى ذلك، يعمل مع عدد قليل (<100) من العلامات في nhiều الحالات.
تطبيقنا أيضًا العديد من “قواعد التعلم الآلي” لجوجل، خاصة تلك المتعلقة بتنفيذ سير العمل بأكمله وأدوات القياس قبل البدء في تحسين النموذج. هذا يضعك في وضع “فكر النظام” حيث تدرك أن ليس كل مشاكلك يجب أن تتم معالجتها بواسطة التعلم الآلي الأساسي، ولكن بعضها يمكن دفعها إلى واجهة المستخدم، وبعضها يمكن معالجته مسبقًا أو لاحقًا، إلخ…
ما هي بعض تقنيات التعلم الآلي المستخدمة في Picterra؟
في الإنتاج، نحن حاليًا نستخدم Pytorch لتدريب وتنفيذ نماذجنا. نحن أيضًا نستخدم Tensorflow من وقت لآخر، لبعض النماذج المحددة التي تم تطويرها للعملاء. بخلاف ذلك، إنه حزمة علمية بايثون قياسية (numpy، scipy) مع بعض مكتبات الجيوسpatial (gdal) الملقاة فيها.
يمكنك مناقشة كيف تعمل Picterra في الخلفية مرةً ما يتم تحميل الصور ويرغب المستخدم في تدريب الشبكة العصبية لتحديد الكائنات بشكل صحيح؟
نعم،，所以 عندما تحمل صورة، نقوم بمعالجتها وتخزينها في تنسيق “Cloud-Optimized-Geotiff” (COG) على مخزن Blob (تخزين جوجل السحابي)، مما يسمح لنا بالوصول بسرعة إلى كتل من الصورة دون الحاجة إلى تحميل الصورة بأكملها لاحقًا. هذا هو نقطة حاسمة لأن الصور الجيوسpatial يمكن أن تكون巨ة: لدينا مستخدمون يعملون بانتظام مع صور 50000×50000.
لذلك، لتدريب نموذجك، سوف تحتاج إلى إنشاء مجموعة بياناتك من خلال واجهة المستخدم الويب الخاصة بنا. سوف تفعل ذلك عن طريق تحديد ثلاثة أنواع من المناطق:
- مناطق التدريب، حيث سوف ترسم علامات التدريب
- مناطق الاختبار، حيث سوف يتنبأ النموذج لتمكينك من رؤية بعض النتائج
- منطقة الدقة، حيث سوف ترسم علامات أيضًا، ولكنها لا تستخدم للتدريب، فقط للتسجيل
مرةً ما قمت بإنشاء هذه المجموعة من البيانات، يمكنك ببساطة النقر على “Train” وسوف نتدرب على كاشف لك. ما يحدث بعد ذلك هو أننا نضيف وظيفة التدريب، ونبدأ واحدًا من عمالنا GPU، نتدرب على نموذجك، نحفظ أوزانه إلى مخزن Blob، ونتنبأ في “منطقة الاختبار” لعرضه على واجهة المستخدم. من هناك، يمكنك التكرار على نموذجك. عادةً، سوف تلاحظ بعض الأخطاء في “مناطق الاختبار” وستضيف “مناطق التدريب” لمساعدة النموذج على التحسين.
مرةً ما تكون راضيًا عن درجة نموذجك، يمكنك تشغيله على نطاق واسع. من وجهة نظر المستخدم، هذا بسيط حقًا: ببساطة انقر على “Detect” بجانب الصورة التي تريد تشغيلها عليها. لكنه أكثر تعقيدًا تحت الغطاء إذا كانت الصورة كبيرة. لتسريع الأمور، ومعالجة الفشل، وتجنب جعل الكشف يستغرق ساعات عديدة، نقسم الكشف الكبير إلى خلايا شبكية ونشغل وظيفة الكشف المستقلة لكل خلية. هذا يسمح لنا بتشغيل كشف على نطاق واسع جدًا. على سبيل المثال، كان لدينا عميلًا يشغل الكشف على toàn بلد الدنمارك على صور 25 سم، وهو في نطاق تيرابايت من البيانات – لمشروع واحد. لقد غطينا مشروعًا مشابهًا في هذا المقال على Medium.
هل هناك أي شيء آخر تود مشاركته حول Picterra؟
أعتقد أن ما يثير الاهتمام حول Picterra هو أنه منتج فريد، على تقاطع بين التعلم الآلي والجيوسpatial. ما يميزنا عن الشركات الأخرى التي تعالج البيانات الجيوسpatial هو أننا نجهز مستخدمينا بمنصة ذاتية الخدمة. يمكنهم بسهولة العثور على المواقع، وتحليل الأنماط، واكتشاف الأشياء وعدها على صور الرصد الأرضي. سيكون من المستحيل بدون التعلم الآلي، ولكن مستخدمونا لا يحتاجون حتى إلى مهارات برمجة أساسية – المنصة تقوم بالعمل بناءً على بعض التعليقات البشرية. لأولئك الذين يريدون أن يغوصوا أعمق ويتعلموا المفاهيم الأساسية للتعلم الآلي في مجال الجيوسpatial، قمنا بإطلاق دورة شاملة على الإنترنت.
ما يُذكر أيضًا هو أن التطبيقات المحتملة لشركة Picterra لا حصر لها – تم استخدام الكاشفات التي تم بناؤها على المنصة في إدارة المدينة، والزراعة الدقيقة، وإدارة الغابات، وإدارة المخاطر الإنسانية والكوارث، والزراعة، وما إلى ذلك، فقط لذكر بعض التطبيقات الأكثر شيوعًا. نحن في الأساس مفاجئون كل يوم بما يحاول مستخدمونا فعله مع منصتنا. يمكنك تجربته وتنبيهنا إلى كيفية عمله على وسائل التواصل الاجتماعي.
شكرًا على المقابلة الرائعة ومشاركتنا كيفية قوة Picterra، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا موقع Picterra.
