ستيفن هيلون، نائب الرئيس للبيانات والذكاء الاصطناعي في شركة Astronomer – سلسلة المقابلات

ستيفن هيلون هو نائب الرئيس للبيانات والذكاء الاصطناعي في شركة Astronomer، حيث يعتمد على خلفيته الأكاديمية الواسعة في الرياضيات البحثية وخبرته التي تزيد على 15 عامًا في تطوير منصات التعلم الآلي في وادي السيليكون. في شركة Astronomer، يترأس إنشاء ميزات Apache Airflow المصممة خصيصًا للفرق التي تعمل بالتعلم الآلي والذكاء الاصطناعي، ويشرف على فريق العلوم البيانية الداخلي. تحت قيادته، قامت شركة Astronomer بتطوير منصة التوجيه البيانية الحديثة، مما عزز بشكل كبير قدرات أنابيب البيانات لدعم مجموعة واسعة من مصادر البيانات والمهام من خلال التعلم الآلي.

يمكنك مشاركة بعض المعلومات حول رحلتك في علوم البيانات والذكاء الاصطناعي، وكيف شكلت نهجك لقيادة فرق الهندسة والتحليلات؟

كان لدي خلفية في الرياضيات البحثية في جامعة بيركلي قبل أن أنتقل عبر الخليج إلى وادي السيليكون وعملت كمهندس في سلسلة من الشركات الناشئة الناجحة. كنت سعيدًا أن أتركن ورائي السياسة والبيروقراطية في الأكاديمية، لكنني وجدت في غضون بضع سنوات أنني افتقدت الرياضيات. لذلك انتقلت إلى تطوير منصات للتعلم الآلي والتحليلات، وهذا ما فعلته بشكل أساسي منذ ذلك الحين.

تدريبي على الرياضيات النقية أدى إلى تفضيلي لما يسميه علماء البيانات “الوضوح” – الأداة المناسبة للوظيفة، ولا شيء أكثر. لأن الرياضيين يفضلون الحلول الأنعم على الآلات المعقدة، لقد حاولت دائمًا التأكيد على البساطة عند تطبيق التعلم الآلي على مشاكل الأعمال. التعلم العميق رائع لبعض التطبيقات – النماذج اللغوية الكبيرة رائعة لتلخيص الوثائق، على سبيل المثال – لكن في بعض الأحيان يكون نموذج الانحدار البسيط أكثر ملاءمة وأسهل في الشرح.

لقد كان من المثير للاهتمام أن نرى دور علماء البيانات والمهندسين البرمجيين يتغير في هذه السنوات العشرين الماضية منذ أن أصبح التعلم الآلي شائعًا. بعد ارتداء كلا القبعتين، أنا مدرك جيدًا لأهمية دورة حياة تطوير البرمجيات (特别 التutomatisation والاختبار) كما يتم تطبيقها على مشاريع التعلم الآلي.

ما هي أكبر التحديات في نقل، معالجة، وتحليل البيانات غير المنظمة للذكاء الاصطناعي والنماذج اللغوية الكبيرة (LLMs)?

في عالم الذكاء الاصطناعي التوليدي، بياناتك هي أهم أصولك. النماذج تتزايد في التجانس، لذلك تمييزك يعتمد على المعرفة المؤسسية الصعبة المكتسبة في مجموعات بياناتك المملوكة والمحفوظة.

توفير البيانات الصحيحة في الوقت الصحيح يضع متطلبات عالية على أنابيب البيانات – وهذا ينطبق على البيانات غير المنظمة مثل البيانات المنظمة، أو ربما أكثر. غالبًا ما تكون تستخدم بيانات من مصادر مختلفة، في صيغ مختلفة. تحتاج إلى الوصول إلى مجموعة متنوعة من الطرق لفتح البيانات وتحضيرها للاستخدام في استدلال النموذج أو تدريب النموذج. كما تحتاج إلى فهم أصل البيانات، ومن哪里 تنتهي من أجل “إظهار عملك”.

إذا كنت تفعل ذلك من وقت لآخر لتدريب نموذج، فهذا لا بأس به. لا تحتاج بالضرورة إلى تشغيله تشغيلًا عملياتيًا. إذا كنت تستخدم النموذج يوميًا لفهم مشاعر العملاء من المنتديات عبر الإنترنت، أو تلخيص وتوجيه الفواتير، فإنها تبدو مثل أي أنابيب بيانات تشغيلية أخرى، مما يعني أنك تحتاج إلى التفكير في الموثوقية والتنسخ.

الخبر السار هو أن مهندسي البيانات طوروا منصة رائعة، Airflow، لإدارة أنابيب البيانات، والتي تم تطبيقها بالفعل بنجاح على إدارة نشر النماذج ومراقبتها من قبل بعض فرق التعلم الآلي الأكثر تطورًا في العالم. لذلك النماذج قد تكون جديدة، لكن التوجيه ليس كذلك.

يمكنك أن تشرح استخدام البيانات الاصطناعية لتعديل نماذج أصغر للحصول على الدقة؟ وكيف يقارن ذلك بتدريب نماذج أكبر?

إنه تقنية قوية. يمكنك التفكير في أفضل النماذج اللغوية الكبيرة على أنها تحمل ما تعلمته عن العالم، ويمكنها نقل ذلك إلى نماذج أصغر من خلال توليد بيانات اصطناعية. النماذج اللغوية الكبيرة تحمل كميات هائلة من المعرفة التي تعلموها من تدريب على مجموعات بيانات متنوعة. يمكن لهذه النماذج توليد بيانات اصطناعية التي تقبض على الأنماط والهياكل والمعلومات التي تعلموها. يمكن استخدام هذه البيانات الاصطناعية لتدريب نماذج أصغر، مما يؤدي إلى نقل بعض المعرفة من النماذج الأكبر إلى النماذج الأصغر. هذا العملية غالبًا ما يشار إليها باسم “استخلاص المعرفة” وتساعد في إنشاء نماذج فعالة وأصغر تعمل جيدًا على مهام محددة.

يمكن أن يكون هذا مفيدًا لتدريب نموذج توليدي اصطناعي أكثر تحديدًا في المجال، ويمكن أن يكون أكثر فعالية من تدريب “نموذج أكبر”، مع مستوى أعلى من التحكم.

علماء البيانات يولّدون بيانات اصطناعية منذ فترة، والاستبدال كان موجودًا منذ وجود مجموعات بيانات غير مكتملة. لكنك كنت دائمًا بحاجة إلى أن تكون حذرًا جدًا لعدم إدخال تحيزات، أو إجراء افتراضات خاطئة حول توزيع البيانات. الآن مع أن توليد البيانات أصبح أكثر سهولة وقوة، عليك أن تكون أكثر حذرًا. الأخطاء يمكن أن تتضخم.

نقص التنوع في البيانات المولدة يمكن أن يؤدي إلى “انهيار النموذج”. النموذج يعتقد أنه يفعل جيدًا، لكن ذلك لأنها لم تكن قد رأت الصورة الكاملة. وعلى وجه التحديد، نقص التنوع في بيانات التدريب شيء يجب على فرق البيانات دائمًا النظر إليه.

على مستوى أساسي، سواء كنت تستخدم بيانات اصطناعية أو بيانات حقيقية، السلالة والجودة هي الأهم للتدريب أو تعديل أي نموذج. كما نعرف، النماذج ليست أفضل من البيانات التي تم تدريبها عليها. في حين أن البيانات الاصطناعية يمكن أن تكون أداة رائعة لمساعدتك في تمثيل مجموعة بيانات حساسة دون كشفها أو ملء الفجوات التي قد تترك من مجموعة بيانات ممثلة، عليك أن يكون لديك سجل ورقي يظهر من أين أتت البيانات ويكون قادرًا على إثبات مستوى جودتها.

ما هي بعض التقنيات المبتكرة التي يطبقها فريقك في شركة Astronomer لتحسين كفاءة وموثوقية أنابيب البيانات؟

كثير منها! البنية التحتية للطيران الكامل وأسترو هيبervisor تدعم التوسيع الديناميكي والمراقبة الوقائية من خلال معايير الصحة المتقدمة. هذا يضمن أن يتم استخدام الموارد بكفاءة وأن تكون الأنظمة موثوقة عند أي مقياس. أسترو توفر تنبيهات قوية مركزية مع إشعارات مخصصة يمكن إرسالها من خلال قنوات مختلفة مثل Slack وPagerDuty. هذا يضمن التدخل في الوقت المناسب قبل أن تتصاعد المشاكل.

اختبارات التحقق من البيانات، اختبارات الوحدات، واختبارات جودة البيانات تلعب دورًا حيويًا في ضمان موثوقية ودقة وكفاءة أنابيب البيانات وأخيرًا البيانات التي تعمل على تشغيل أعمالك. هذه الاختبارات تضمن أن بينما تبني أنابيب بيانات بسرعة لتلبية المواعيد النهائية، فهي تكتشف الأخطاء بشكل فعال، وتحسن أوقات التطوير، وتقلل الأخطاء غير المتوقعة في الخلفية. في شركة Astronomer، قمنا ببناء أدوات مثل Astro CLI لمساعدتك في التحقق من وظيفة الكود أو تحديد مشاكل التكامل داخل أنابيب البيانات.

كيف ترى تطور حوكمة الذكاء الاصطناعي التوليدي، وما هي الإجراءات التي يجب اتخاذها لدعم إنشاء أدوات أكثر؟

الحوكمة أمر ضروري إذا كانت تطبيقات الذكاء الاصطناعي التوليدي ستكون ناجحة. كل شيء يتعلق بالشفافية والتنسخ. هل تعرف كيف حصلت على هذا النتيجة، ومن أين، ومن قبل من؟ Airflow نفسها توفر بالفعل طريقة لترى ما الذي تفعله أنابيب البيانات الفردية. واجهة المستخدم كانت واحدة من الأسباب التي أدت إلى تبنيها السريع في البداية، وفي شركة Astronomer قمنا بتعزيزها بالرؤية عبر الفرق والتنصيبات. كما نقدم لزبائننا لوحات تقارير توفر رؤى شاملة حول استخدام المنصة والأداء ومساهمة التكلفة للمساهمة في اتخاذ القرارات المستنيرة. بالإضافة إلى ذلك، يسمح لنا واجهة برمجة التطبيقات Astro للفرق بنشر التطبيقات وآلية وتحديث أنابيب Airflow، مما يخفف من المخاطر المرتبطة بالعمليات اليدوية، وضمان العمليات السلسة عند تحديد نطاق إدارة عدة بيئات Airflow. قدرات السلالة محفوظة في المنصة.

هذه هي الخطوات نحو مساعدة إدارة حوكمة البيانات، وأعتقد أن الشركات من جميع الأحجام تدرك أهمية حوكمة البيانات لضمان ثقة التطبيقات الاصطناعية. هذا الاعتراف والوعي سيدفعان إلى حد كبير الطلب على أدوات حوكمة البيانات، وأتوقع أن يسرع إنشاء المزيد من هذه الأدوات مع انتشار الذكاء الاصطناعي التوليدي. لكنها تحتاج إلى أن تكون جزءًا من chồng التوجيه الأكبر، وهذا هو السبب في أننا نعتبره أساسيًا للطريقة التي نبني منصتنا.

يمكنك أن توفر أمثلة على كيفية تحسين حلول شركة Astronomer من الكفاءة التشغيلية والإنتاجية للعملاء؟

عمليات الذكاء الاصطناعي التوليدي تتضمن مهام معقدة ومكلفة موردًا يجب التعامل معها بحذر وتنفيذها بشكل متكرر. أسترو، منصة شركة Astronomer المدارة لApache Airflow، توفر إطارًا في قلب chồng التطبيقات الاصطناعية الناشئة لمساعدة تبسيط هذه المهام وتعزيز القدرة على الابتكار بسرعة.

من خلال توجيه مهام الذكاء الاصطناعي التوليدي، يمكن للأعمال ضمان استخدام الموارد الحاسوبية بكفاءة وتحسين سير العمل وتعديله في الوقت الفعلي. هذا مهم بشكل خاص في البيئات التي يجب فيها تحديث أو إعادة تدريب النماذج التوليدية بانتظام بناءً على بيانات جديدة.

من خلال استخدام إدارة سير العمل في Airflow و khả năng شركة Astronomer في النشر والتوسيع، يمكن للفرق قضاء وقت أقل في إدارة البنية التحتية والتركيز على تحويل البيانات وتطوير النماذج، مما يسرع من نشر تطبيقات الذكاء الاصطناعي التوليدي ويحسن الأداء.

بهذه الطريقة، ساعدت منصة Astro في شركة Astronomer العملاء على تحسين الكفاءة التشغيلية للذكاء الاصطناعي التوليدي عبر مجموعة واسعة من الحالات. لذكر بضع حالات، تشمل الحالات اكتشاف المنتجات في التجارة الإلكترونية، وتحليل مخاطر انحراف العملاء، وتحسين الدعم الآلي، وتصنيف الوثائق القانونية و تلخيصها، واكتساب رؤى حول المنتجات من خلال تقييمات العملاء، وتوفير кластерات ديناميكية لإنشاء صور المنتجات.

ما هو الدور الذي تلعبه شركة Astronomer في تعزيز أداء وتوسيع تطبيقات الذكاء الاصطناعي والتعلم الآلي؟

التوسيع هو تحدي كبير للأعمال التي تستخدم الذكاء الاصطناعي التوليدي في عام 2024. عند الانتقال من البروتوتايب إلى الإنتاج، يتوقع المستخدمون أن تكون تطبيقات الذكاء الاصطناعي التوليدي موثوقة وأداءها جيدًا، وأن تكون النتائج التي تنتجها موثوقة. يجب أن يتم ذلك بطريقة فعالة من حيث التكلفة، ويجب على جميع الشركات أن تكون قادرة على استغلال إمكاناتها. مع هذا في الاعتبار، يمكن أن يتم توسيع المهام بشكل أفقي لprocessing عدد كبير من مصادر البيانات. أسترو يمكن أن يتوسع النشر والclusers التي تستضيفها بشكل مرن، وتوفير تنفيذ المهام القائمة على الطوابئ مع أنواع الآلات المخصصة يوفر موثوقية أكبر واستخدامًا فعالًا للموارد الحاسوبية. لمساعدتك في جزء الكفاءة التكلفة من اللغز، تقدم أسترو ميزات التوسيع إلى الصفر والhibernation، مما يساعد على控制 التكاليف المتزايدة وتقليل النفقات السحابية. كما نقدم شفافية كاملة حول تكلفة المنصة. فريق البيانات الخاص بي يولد تقارير عن الاستهلاك التي نجعلها متاحة يوميًا لزبائننا.

ما هي بعض الاتجاهات المستقبلية في الذكاء الاصطناعي وعلوم البيانات التي أنت متحمس لها، وكيف تحضر شركة Astronomer لهذه الاتجاهات؟

الذكاء الاصطناعي القابل للشرح هو مجال تطوير مهم جدًا ومثير. أن تكون قادرًا على النظر إلى داخل أعمال النماذج الكبيرة هو شيء غريب تقريبًا. وأنا أيضًا مهتم بمشاهدة كيفية تعامل المجتمع مع تأثير نموذج التدريب والتعديل على البيئة. في شركة Astronomer، نواصل تحديث سجلنا بجميع التكاملات الحديثة، بحيث يمكن لفريق البيانات والتعلم الآلي الاتصال بأفضل خدمات النماذج وأكثر منصات الحوسبة كفاءة دون أي جهد شاق.

كيف تتخيل دمج أدوات الذكاء الاصطناعي المتقدمة مثل النماذج اللغوية الكبيرة مع أنظمة إدارة البيانات التقليدية خلال السنوات القليلة القادمة؟

لقد رأينا كلًا من Databricks وSnowflake يعلنان最近 عن كيفية دمج استخدام وتطوير النماذج اللغوية الكبيرة داخل منصاتهم. سيفعل منصات قواعد البيانات والتعلم الآلي الأخرى نفس الشيء. من الرائع أن نرى مهندسي البيانات لديهم إمكانية الوصول إلى هذه الأساليب القوية بسهولة، مباشرة من سطر الأوامر أو سطر SQL.

أنا مهتم بشكل خاص بكيفية دمج قواعد البيانات العلائقية في التعلم الآلي. أنا دائمًا أنتظر أن يتم دمج أساليب التعلم الآلي في معيار SQL، لكن من أجل بعض الأسباب، لم تتوافق هذه التخصصات قط. ربما هذه المرة ستكون مختلفة.

أنا متحمس جدًا لمستقبل النماذج اللغوية الكبيرة لمساعدة عمل مهندس البيانات.まず، النماذج اللغوية الكبيرة قد نجحت بالفعل في توليد الشفرة، على الرغم من أن الجهود المبكرة لتزويد علماء البيانات بالاقتراحات التي يقدمها الذكاء الاصطناعي كانت مختلطة: Hex رائعة، على سبيل المثال، في حين أن Snowflake غير ملهمة حتى الآن. لكن هناك إمكانية هائلة لتغيير طبيعة عمل فرق البيانات، أكثر من المطورين. لماذا؟ لمهندسي البرمجيات، الاقتراح هو اسم الوظيفة أو الوثائق، لكن لمهندسي البيانات هناك أيضًا البيانات. هناك سياق كبير يمكن أن تعمل معه النماذج لتقديم اقتراحات مفيدة ودقيقة.

ما هو النصيحة التي تقدمها لمهندسي البيانات والذكاء الاصطناعي الطموحين الذين يريدون أن يتركوا تأثيرًا في الصناعة؟

تعلم من خلال الفعل. من السهل جدًا بناء التطبيقات هذه الأيام، وتحسينها بالذكاء الاصطناعي. لذا بناء شيء رائع، وارسله إلى صديق لصديق يعمل في شركة تحترمها، أو ارسله إلي، وأنا أعدك أن أنظر إليه!

الخدعة هي العثور على شيء تهتم به وfinding مصدر جيد لبيانات ذات الصلة. كان صديقي قد قام بتحليل مثير للاهتمام للمواسم الغير عادية للبيسبول التي تعود إلى القرن التاسع عشر واكتشف قصصًا تستحق أن يتم صناعة فيلم منها. وقد قام بعض مهندسي شركة Astronomer ببناء منصة لإنشاء أنابيب بيانات ذاتية التعافي خلال عطلة نهاية الأسبوع. لا أستطيع أن أتخيل حتى محاولة القيام بشيء مثل ذلك قبل بضع سنوات، لكن مع مجهود بضعة أيام فقط، فازنا بمسابقة شركة Cohere و بنينا أساس ميزة جديدة رئيسية في منصتنا.

شكرًا على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا Astronomer.