إريك جفيسر، المعماري الرئيسي لممارسة البيانات في SPR – سلسلة المقابلات

انضم إريك إلى ممارسة البيانات في مجموعة SPR التكنولوجيا الناشئة كمهندس معماري رئيسي في عام 2018.

أصبح إريك متخصصًا في البيانات وتطوير البرمجيات المفتوحة باستخدام جافا والهندسة المعمارية للشركات على نحو عملي، بما في ذلك بناء براهين المفاهيم والنموذج الأولي والمنتج الأقل تقييمًا.

ما الذي جذبك في البداية إلى تعلم الآلة؟

تمكين التطبيقات من التعلم المستمر. لقد بدأت مسيرتي المهنية كمحلل بيانات أول في شركة أبحاث سوقية عالمية، واستخدمت برنامج SPSS، وفي وقت لاحق دمجت استخدام محرك قواعد الأعمال الذي يسمى Drools في التطبيقات التي بنيتها للعملاء، ولكن الإخراج لجميع هذه الأعمال كان في الأساس ساكنًا.

في وقت لاحق، عملت من خلال تدريب تحسين العملية، خلال الوقت الذي أظهر فيه المدرسون بالتفصيل كيف تمكنوا من تحسين العمليات التجارية التي يستخدمها عملاؤهم من خلال الإحصائيات والأساليب الأخرى، ولكن هنا مرة أخرى كان الإخراج متجهًا بشكل كبير إلى النقاط في الوقت.

تجربتي في العمل على تحسين منتج الرعاية الصحية الذي بناه زملائي وأنا خلال نفس الفترة الزمنية هو ما أظهر لي لماذا التعلم المستمر ضروري لهذه الجهود، ولكن الموارد المتاحة الآن لم تكن موجودة في ذلك الوقت.

ومن المثير للاهتمام أن جاذبيتي لتعلم الآلة قد جاءت بدورة كاملة، حيث حذرني مشرفي في الدراسات العليا من التخصص في ما كان يسمى بالذكاء الاصطناعي في ذلك الوقت بسبب شتاء الذكاء الاصطناعي. اخترت بدلاً من ذلك استخدام مصطلحات مثل ML لأنها تحتوي على少 من الارتباطات، وبسبب أن حتى AWS يعترف بأن طبقة خدمات الذكاء الاصطناعي الخاصة به هي في الواقع طبقة تجريد أعلى بنيت على رأس طبقة خدمات ML. في حين أن بعض من ضجيج ML غير واقعي، فإنه يوفر قدرات قوية من وجهة نظر المطورين، طالما أن هؤلاء الممارسين يعترفون بالحقيقة بأن القيمة التي توفرها ML ليست أفضل من البيانات المعالجة بها.

أنت مدافع كبير عن البرمجيات المفتوحة المصدر، هل يمكنك مناقشة لماذا البرمجيات المفتوحة المصدر مهمة جدًا؟

هناك جانب واحد حول البرمجيات المفتوحة المصدر الذي احتجت إلى توضيحه للمديرين التنفيذيين على مر السنين وهو أن الفائدة الرئيسية للبرمجيات المفتوحة المصدر ليست أن استخدام هذه البرمجيات متاح بدون تكلفة مالية، ولكن أن الشفرة المصدرية متاحة بحرية.

علاوة على ذلك، يمكن للمطورين الذين يستخدمون هذه الشفرة المصدرية تعديلها لاستخدامهم الخاص، وإذا تمت الموافقة على التعديلات المقترحة، يمكنهم جعل هذه التعديلات متاحة لمطورين آخرين يستخدمونها. في الواقع، بدأت حركة البرمجيات المفتوحة المصدر بسبب انتظار المطورين لمدة طويلة لشركات تجارية لتقديم تعديلات على المنتجات التي رخصوها، لذلك قام المطورون بكتابة برمجيات ذات وظيفة مماثلة، وفتحوها لتحسينها من قبل مطورين آخرين.

تستفيد البرمجيات المفتوحة المصدر التجارية من هذه الفوائد، والواقع أن العديد من المنتجات الحديثة تستخدم البرمجيات المفتوحة المصدر تحت الغطاء، حتى مع توفير إصدارات تجارية من هذه البرمجيات عادةً مكونات إضافية غير متاحة كجزء من إصدار البرمجيات المفتوحة المصدر، مما يوفر تمييزًا بالإضافة إلى الدعم إذا كان ذلك ضروريًا.

كانت تجاربي الأولى مع البرمجيات المفتوحة المصدر أثناء بناء المنتج الصحي الذي ذكرت سابقًا، واستخدام أدوات مثل Apache Ant، المستخدمة لإنشاء البرمجيات، ومنتج DevOps المبكر في ذلك الوقت يسمى Hudson (الذي أصبح قاعدة الكود لاحقًا Jenkins). السبب الرئيسي وراء قرارنا باستخدام هذه المنتجات المفتوحة المصدر هو أنها قدمت حلول أفضل من البدائل التجارية، أو كانت حلولًا مبتكرة لم تكن متاحة من قبل الكيانات التجارية، ناهيكم عن أن الترخيص التجاري لبعض المنتجات التي كنا نستخدمها كان مقيدًا بشكل مفرط، مما أدى إلى إجراءات بيروقراطية زائدة عند الحاجة إلى تراخيص إضافية، بسبب التكاليف المحدقة.

على مر الوقت، رأيت عروض البرمجيات المفتوحة المصدر تطور باستمرار، وتوفر الابتكارات اللازمة. على سبيل المثال، تم حل العديد من القضايا التي كنا نناقشها مع زملائي أثناء بناء هذا المنتج الصحي لاحقًا من قبل منتج جافا مفتوح المصدر مبتكر أ开始نا استخدامها يسمى Spring Framework، والذي لا يزال قويًا بعد أكثر من عقد من الزمن، وتنتشر بيئته الآن إلى ما هو أبعد من بعض الابتكارات التي قدمها في البداية، والتي تُعتبر الآن شائعة، مثل الحقن التابع.

لقد استخدمت البرمجيات المفتوحة المصدر لإنشاء براهين المفاهيم والنموذج الأولي والمنتج الأقل تقييمًا. هل يمكنك مشاركة رحلتك وراء بعض هذه المنتجات؟

كما هو موضح في أحد المبادئ التوجيهية التي قدمتها إلى عميل حديث، يجب أن تتم بناء منصات البيانات التي بنيناها لهم بشكل متكرر على مدار الوقت حسب الحاجة. يجب ألا يتوقع من المكونات التي بنيناها لهذه المنصة أن تظل ساكنة، لأن الاحتياجات تتغير وميزات جديدة للمكونات ستكون متاحة على مدار الوقت.

عند بناء وظائف المنصة، ابدأ دائمًا بما هو قابل للتطبيق قبل إضافة أجراس وصفارات غير ضرورية، والتي في بعض الحالات تشمل حتى التكوين. ابدأ بما هو وظيفي، وتأكد من فهمه، ثم طوره. لا ت浪ب الوقت والمال في بناء ما يحتمل أن يكون له فرصة ضعيفة للاستخدام، ولكن اجعل جهدًا للبقاء أمام الاحتياجات المستقبلية.

المنتج الأقل تقييمًا الذي بنيناه لهذا المنتج كان بحاجة صريحة إلى بناء إضافي لاستخدامات حالية إضافية، على الرغم من أنه جاء مع تطبيق حالة استخدام واحدة، للكشف عن الشذوذ في النفقات. على عكس هذا العميل، كان المنتج السابق الذي بنيت له تاريخًا قبل وصولي. في هذه الحالة، كان المديرون التنفيذيين يتناقشون لمدة ثلاث سنوات (!) حول كيفية 접근 إلى المنتج الذي كانوا يريدون بناءه. أشار أحد المديرين التنفيذيين إلى أن أحد الأسباب التي جلبتني كان لمساعدة الشركة على التغلب على بعض المناقشات الداخلية هذه، خاصة لأن المنتج الذي كان يريد بناءه كان بحاجة إلى تلبية هرمية المنظمات المشاركة.

وجدت أن هذه الحروب الإقليمية كانت في الغالب مرتبطة بالبيانات التي يمتلكها العميل وشركاته التابعة وعميله الخارجي، لذلك في هذه الحالة كان كل Product Backlog يturned حول كيفية استهلاك هذه البيانات وتخزينها وأمانها واستهلاكها لاستخدام حالة واحدة تنتج شبكات من مقدمي الرعاية الصحية للتحليلات التكلفة.

في وقت مبكر من مسيرتي المهنية، أدركت أن جودة معمارية تسمى “الاستخدام” لم تكن مقصورة على المستخدمين النهائيين فقط، ولكن على مطورين البرمجيات أنفسهم. السبب في ذلك هو أن الشفرة التي يتم كتابتها يجب أن تكون قابلة للاستخدام مثل واجهات المستخدم التي يجب أن تكون قابلة للاستخدام من قبل المستخدمين النهائيين. من أجل أن يصبح المنتج قابلاً للاستخدام، يجب بناء براهين المفاهيم لتحديد أن المطورين سيفعلون ما يريدون فعله، خاصة عندما يتعلق الأمر بالاختيارات التكنولوجية المحددة التي يقومون بها. لكن براهين المفاهيم هي فقط البداية، لأن المنتجات تكون الأفضل عندما تتطور على مر الوقت. في رأيي، يجب أن يبنى أساس المنتج الأقل تقييمًا بشكل مثالي على النماذج الأولية التي تظهر بعض الاستقرار بحيث يمكن للمطورين استمرار تطويرها.

فيما يتعلق بمراجعة كتاب “تعلم الآلة في نطاق المؤسسة”، ذكرت أن “استخدام المنتجات المفتوحة المصدر، والإطارات، واللغات إلى جانب هندسة معمارية مرنة تتكون من مزيج من المكونات المفتوحة المصدر والتجارية يوفر الرشاقة التي تحتاجها العديد من الشركات ولكنها لا تدركها على الفور في البداية”. هل يمكنك الدخول في بعض التفاصيل حول لماذا تعتقد أن الشركات التي تستخدم البرمجيات المفتوحة المصدر أكثر مرونة؟

تستخدم العديد من المنتجات التجارية للبيانات مكونات مفتوحة المصدر رئيسية تحت الغطاء، وتسمح للمطورين باستخدام لغات برمجة شائعة مثل Python. الشركات التي تبني هذه المنتجات تعرف أن المكونات المفتوحة المصدر التي اخترتها لتضمينها توفر لهم بداية سريعة.

المكونات المفتوحة المصدر ذات المجتمعات القوية أسهل في البيع، بسبب الارتباط الذي تبرز به هذه المكونات. المنتجات التجارية المتاحة التي تتكون في الغالب من مصدر مغلق، أو حتى مصدر مفتوح يُستخدم في الغالب من قبل منتجات تجارية معينة، غالبًا ما تتطلب تدريبًا من قبل هذه البائعين أو تراخيص لاستخدام البرمجيات.

علاوة على ذلك، يتم توفير توثيق هذه المكونات في الغالب بشكل غير عام، مما يضطر المطورين إلى الاعتماد المستمر على هذه الشركات. عندما تكون المكونات المفتوحة المصدر المقبولة على نطاق واسع مثل Apache Spark في الوسط، كما هو الحال مع منتجات مثل منصة Databricks الموحدة للتحليلات، يتم توفير العديد من هذه العناصر بالفعل في المجتمع، مما يقلل من الأجزاء التي يحتاج فيها فرق التطوير إلى الاعتماد على الكيانات التجارية لتحقيق عملهم.

علاوة على ذلك، لأن مكونات مثل Apache Spark مقبولة على نطاق واسع كأدوات معيارية في الصناعة، يمكن أيضًا نقل الشفرة بسهولة عبر تنفيذات تجارية لهذه المنتجات. ستكون الشركات دائمًا تميل إلى تضمين ما يعتبرونه تمييزًا تنافسيًا، ولكن العديد من المطورين لا يريدون استخدام منتجات完全 جديدة لأن هذا يثبت أنه تحديًا في الانتقال بين الشركات، وتمايل إلى قطع صلاتهم بالمجتمعات القوية التي أصبحوا يتوقعونها.

من خلال خبرتي الشخصية، عملت مع هذه المنتجات في الماضي، ويمكن أن يكون من الصعب الحصول على دعم كفء. وهذا يبدو متناقضًا، مع الأخذ في الاعتبار أن هذه الشركات تبيع منتجاتها بتوقع العملاء أن يتم توفير الدعم في الوقت المناسب. لقد قمت بتقديم طلب سحب إلى مشروع مفتوح المصدر، مع تضمين الإصلاح في البناء في نفس اليوم، ولكن لا أستطيع القول نفس الشيء عن أي مشروع تجاري عملت معه.

شيء آخر تعتقد أنه يرتبط بالبرمجيات المفتوحة المصدر هو أنها تؤدي إلى “وصول إلى مجتمعات مطورين قوية”. كيف كبيرة بعض هذه المجتمعات وما الذي يجعلها فعالة؟

يمكن أن تصل مجتمعات المطورين حول منتج مفتوح المصدر معين إلى مئات الآلاف. لا تشير معدلات تبني إلى قوة المجتمع دائمًا، ولكنها مؤشر جيد على أن هذا هو الحال بسبب倾هم إلى إنتاج دورات فضية. أعتبر المجتمعات قوية عندما تنتج مناقشات صحية وتوثيق فعالًا، وتحدث التطوير النشط.

عندما يعمل مهندس معماري أو مطور كبير من خلال عملية اختيار المنتجات المفتوحة المصدر التي سيتم تضمينها في ما يبنونه، يأتي العديد من العوامل عادةً إلى اللعب، ليس فقط حول المنتج نفسه وما يبدو عليه المجتمع، ولكن حول فرق التطوير التي ستعتمد هذه، سواء كانت جيدة للبيئة التي يتم تطويرها، ما هو الخارطة الطريقية، وفي بعض الحالات ما إذا كان يمكن العثور على دعم تجاري في حالة الحاجة.

لقد قمت بمراجعة مئات الكتب على موقعك، هل هناك ثلاثة يمكنك أن توصي بها لقراءنا؟

في هذه الأيام، أقرأ عددًا قليلاً من الكتب البرمجية، وبالنسبة لاستثناءات، فإن الواقع هو أن هذه الكتب عادةً ما تكون غير محدثة بسرعة، والواقع هو أن مجتمع المطورين يوفر عادةً بديلًا أفضل من خلال مناقشات المنتديات والتوثيق. العديد من الكتب التي أقرأها حاليًا متاحة مجانًا لي، إما عبر النشرات الإخبارية التكنولوجية التي أشارك فيها، أو المؤلفين والمناصرين الذين يتواصلون معي، أو تلك التي ترسلها لي Amazon.

(1) واحدة من الكتب التي أوصي بها من O’Reilly هي “البحث عن النيرفانا للقواعد البيانية”. يغطي المؤلف بالتفصيل التحديات التي تواجه محرك استعلام البيانات لدعم أحمال العمل التي تشمل طيف OLTP من جهة، إلى التحليلات من جهة أخرى، مع أحمال العمل التشغيلية والاستخبارات التجارية في منتصف الطريق. يمكن استخدام هذا الكتاب كدليل لتقييم محرك قاعدة بيانات أو مجموعة من محركات الاستعلام ومحركات التخزين، موجهة إلى تلبية متطلبات حمولة العمل، سواء كانت معاملات أو تحليلية أو مزيج من هذين.

(2) في حين أن الكثير قد تغير في مجال البيانات خلال السنوات القليلة الماضية، منذ استمرار تقديم منتجات تحليلات بيانات جديدة، يقدم “التحليلات المدمرة” نهجًا يمكن الوصول إليه، وتاريخًا قصيرًا للابتكارات الخمسين الماضية في التحليلات التي لم أرها في أي مكان آخر، ويناقش نوعين من الاضطراب: الابتكار المدمر في سلسلة قيمة التحليلات، والاضطراب الصناعي من خلال الابتكارات في التحليلات. من وجهة نظر الشركات الناشئة وممارسي التحليلات، يتم تمكين النجاح من خلال اضطراب صناعاتهم، لأن استخدام التحليلات لتمييز منتج هو وسيلة لإنشاء نموذج أعمال مدمر أو لإنشاء أسواق جديدة. من وجهة نظر الاستثمار في تكنولوجيا التحليلات لمنظماتهم، قد يكون النهج الذي ينتظر ويرى منطقيًا، لأن التكنولوجيات التي تتعرض للاضطراب рисيرة بسبب أعمارها المفيدة المقتطعة.

(3) واحدة من أفضل النصوص التجارية التكنولوجية التي قرأتها هي “حدود الاستراتيجية”، من قبل أحد مؤسسي مجلس البحث (الذي تم الاستحواذ عليه من قبل Gartner)، وهو فكر جماعي دولي يبحث في التطورات في عالم الحوسبة وكيف يجب على الشركات التكيف. يقدم المؤلف ملاحظات مفصلة من العديد من محادثاته مع قادة الأعمال، مع تحليل sâuخ على مدار الكتاب حول تجاربه في بناء (مع زوجته) مجموعة من العملاء، وهي شركات كبرى تحتاج إلى مزج استراتيجياتها مع عالم الحوسبة المتفجر.

أنت المعماري الرئيسي لممارسة البيانات في SPR. هل يمكنك وصف ما الذي تفعله SPR؟

SPR هي شركة استشارات تكنولوجيا رقمية مقرها منطقة شيكاغو، وتقدم مشاريع تكنولوجية لعدد من العملاء، من الشركات الكبيرة إلى الشركات الناشئة المحلية. نبني تجارب رقمية شاملة باستخدام مجموعة من القدرات التكنولوجية، من تطوير البرمجيات المخصصة وتجربة المستخدم وبيانات وبنية تحتية سحابية، إلى تدريب DevOps واختبار البرمجيات وإدارة المشاريع.

ما هي بعض مسؤولياتك مع SPR؟

كمهندس معماري رئيسي، مسؤوليتي الرئيسية هي قيادة تسليم الحلول للعملاء، وتوجيه الهندسة والتطوير للمشاريع، وهذا يعني في كثير من الأحيان ارتداء قبعات أخرى مثل مالك المنتج لأن القدرة على الارتباط بكيفية بناء المنتجات من منظور عملي تحمل وزنًا كبيرًا فيما يتعلق بكيفية تقديم العمل، خاصة عند البناء من الصفر. كما يتم استدعائي إلى مناقشات مع العملاء المحتملين عندما يتم طلب خبرتي، وطلبت الشركة مؤخرًا مني بدء سلسلة من الجلسات المستمرة مع المعماريين في ممارسة البيانات لمناقشة مشاريع العملاء ومشاريع الجانب والعمل الذي يقوم به زملائي للحفاظ على مواكبة التكنولوجيا، مشابه لما كنت قد قمت به لاستشارة سابقة، على الرغم من أن اللقاءات الداخلية لهذه الشركة شملت ممارسة التكنولوجيا بأكملها، وليس محددًا بالعمل على البيانات.

على مدار معظم مسيرتي المهنية، كنت أ专 myself في تطوير البرمجيات المفتوحة المصدر باستخدام جافا، وأداء المزيد والمزيد من العمل على البيانات في الطريق. بالإضافة إلى هذه التخصصات، أفعل ما أسميه “عملي” أو “براغماتي” الهندسة المعمارية للشركات، مما يعني أداء مهام الهندسة المعمارية في سياق ما سيتم بناؤه، وبناءه في الواقع، بدلاً من مجرد التحدث عنه أو رسم الرسومات عنه، مع الاعتراف بالطبع أن هذه المهام الأخرى مهمة.

في رأيي، تتداخل هذه التخصصات الثلاثة مع بعضها البعض ولا يتم استبعادها بشكل متبادل. لقد أوضحت للمديرين التنفيذيين في السنوات القليلة الماضية أن الخط الذي تم رسمه تقليديًا من قبل الصناعة التكنولوجية بين تطوير البرمجيات وعمليات البيانات لم يعد محددًا جيدًا، جزئيًا لأن أدوات البرمجيات بين هذه الفضاءين قد تلاشت، وجزئيًا لأن عمليات البيانات نفسها أصبحت في الغالب جهدًا في تطوير البرمجيات. ومع ذلك،由于 تقليديًا لا يمتلك ممارسو البيانات الخلفيات في تطوير البرمجيات، والعكس صحيح، أساعد في سد الفجوة هذه.

ما هو مشروع مثير للاهتمام أنت تعمل عليه حاليًا مع SPR؟

نشرت مؤخرًا المقال الأول في سلسلة دراسة حالة متعددة حول منصة البيانات التي بناها فريقي وأنا من الصفر في AWS العام الماضي لمدير المعلومات في شركة استشارات عالمية مقرها شيكاغو. تتكون هذه المنصة من خطوط أنابيب البيانات، وبيئة بحيرة البيانات، ونماذج بيانات الكانونية، والتصورات، ونماذج تعلم الآلة، للاستخدام من قبل الإدارات الشركة، والممارسات، والعملاء النهائيين للعميل. في حين أن المنصة الأساسية كان من المفترض بناؤها من قبل منظمة تكنولوجيا المعلومات التي يديرها مدير المعلومات، كان الهدف هو أن تستخدم هذه المنصة من قبل منظمات أخرى خارج تكنولوجيا المعلومات أيضًا لتوحيد أصول البيانات وتحليل البيانات عبر الشركة باستخدام هندسة معمارية مشتركة، والبناء عليها لتلبية احتياجات حالة استخدام كل منظمة.

كما هو الحال مع العديد من الشركات القائمة، كان استخدام Microsoft Excel شائعاً، مع توزيع جداول البيانات بشكل شائع داخل المنظمات وخارجها، بالإضافة إلى بين الشركة وعميلها الخارجي. بالإضافة إلى ذلك، أصبحت الوحدات التجارية والممارسات الاستشارية معزولة، كل منها يستخدم عمليات وأدوات منفصلة. لذلك، بالإضافة إلى توحيد أصول البيانات وتحليل البيانات، كان هدفًا آخر هو تنفيذ مفهوم ملكية البيانات، وتمكين مشاركة البيانات عبر المنظمات بطريقة آمنة وموحدة.

هل هناك أي شيء آخر تريد مشاركته حول البرمجيات المفتوحة المصدر أو SPR أو مشروع آخر تعمل عليه؟

مashروع آخر (اقرأ عنه هنا وهنا) قادته مؤخرًا涉uccessfully تنفيذ منصة Databricks الموحدة للتحليلات، وتنقل تنفيذ نماذج تعلم الآلة إليها من Azure HDInsight، وهو توزيع Hadoop، لمدير هندسة البيانات في شركة تأمين كبيرة.

كانت جميع النماذج المهاجرة旨 في التنبؤ بمستوى تبني المستهلك المتوقع لمنتجات التأمين المختلفة، وبعضها تم نقلها من SAS قبل بضع سنوات عندما انتقلت الشركة إلى استخدام HDInsight. كان التحدي الأكبر هو سوء جودة البيانات، ولكن التحديات الأخرى شملت عدم وجود إصدار شامل، والمعرفة القبلية والتوثيق غير مكتمل، والتوثيق والدعم غير ناضجين لمنصة Databricks فيما يتعلق bằng استخدام R في ذلك الوقت (كانت تنفيذ Azure من Databricks متاحة بشكل عام فقط قبل بضعة أشهر من هذا المشروع).

للمواجهة هذه التحديات الرئيسية، قدمت توصيات حول التأتمت، والتكوين، وفرز اهتمامات البيانات، والتوثيق، والتنسيق اللازم عبر فرق البيانات، والمنصة، والنمذجة. عملنا أقنع عالم بيانات رئيسي متشككًا في البداية أن Databricks هو الطريق الصحيح، مع هدفهم المعلن بعد مغادرتنا هو نقل نماذجهم المتبقية إلى Databricks في أقرب وقت ممكن.

لقد كانت هذه مقابلة مثيرة للاهتمام تتناول العديد من الموضوعات، أشعر أنني تعلمت الكثير حول البرمجيات المفتوحة المصدر. القراء الذين قد يرغبون في التعلم أكثر قد يزورون موقع SPR الشركي أو موقع إريك جفيسر.