شاهر ازولاي، الرئيس التنفيذي والمؤسس المشارك لشركة جروندكوفير

شاهر ازولاي، الرئيس التنفيذي والمؤسس المشارك لشركة جروندكوفير، هو قائد بحث وتطوير متسلسل. يأتي شاهر بخبرة في عالم الأمن السيبراني والتعلم الآلي بعد العمل كقائد في شركات مثل أبل ودي تو وكيموتيف تكنولوجيز. قضى شاهر العديد من السنوات في قسم السيبرانية بمكتب رئيس الوزراء الإسرائيلي ويتحصل على ثلاث درجات في الفيزياء والهندسة الكهربائية وعلوم الحاسوب من معهد إسرائيل التكنولوجي وتل أبيب. يسعى شاهر لاستخدام المعارف التكنولوجية من هذا الخلفية الغنية وجلبها إلى ساحة معركة الحوسبة السحابية الحديثة بأكثر الطرق ابتكارا وجعل عالم التطوير مكانًا أفضل.

جروندكوفير هي منصة مراقبة أصلية بالسحابة مصممة لتقديم فرق الهندسة رؤية كاملة ووقتية لنظمها دون تعقيد أو تكلفة أدوات المراقبة التقليدية. مبنية على تقنية إيببف، تقوم بجمع وترابط السجلات والأرقام والرسومات والأحداث عبر بيئات السحابة الأصلية وكونتينر، دون أي تغييرات في الكود، مما يتيح تحليل أسباب الفشل بشكل أسرع ووضوح أكبر للنظام. تؤكد المنصة على التسعير المتوقع والتركيب المرن الذي يحافظ على البيانات في سحابة العميل ومراقبة شاملة تغطي البنية التحتية والتطبيقات وعمليات العمل الحديثة التي تعتمد على الذكاء الاصطناعي.

عندما ننظر إلى رحلتك – من قيادة فرق البحث والتطوير الأمني بمكتب رئيس الوزراء الإسرائيلي إلى إدارة مبادرات التعلم الآلي في أبل – ما هي الخبرات التي دفعتك في النهاية إلى تأسيس جروندكوفير، وعند ما عرفت لأول مرة الفجوة في المراقبة لنظم الذكاء الاصطناعي الحديثة؟

الدافع لتأسيس جروندكوفير جاء من تجربتي في أبل ودي تو. حتى مع الميزانيات الكبيرة، كنا عالقين في اختيار بين دفع ثمن باهظ لتسجيل كل شيء أو عينة وطيران أعمى. في ذلك الوقت، كنا نبحث عن تقنية تحل ذلك. عندما واجهنا بروتوكول بيركلي الممتد (إيببف)، كان واضحًا أنه سيتغير كل شيء. إيببف يسمح لنا بمشاهدة كل ما يحدث في النواة دون الاعتماد على تغييرات التطبيق. لم أستطع فهم لماذا أدوات المراقبة لا تستفيد من ذلك.

كيف أثرت خلفيتك في الأمن السيبراني والأنظمة المدمجة وبحث وتطوير التعلم الآلي على رؤية جروندكوفير، وما هي التحديات المبكرة التي واجهتها عند بناء شركة تركز على المراقبة لنظم التطبيقات والعمليات التي تعتمد على الذكاء الاصطناعي؟

خلفيتي الأمنية شكلت الحمض النووي للشركة. في عالم الاستخبارات، تفترض أنك لا تتحكم في التطبيق. هذا النهج هو سبب عدم حاجة جروندكوفير إلى أدوات مراقبة. أعرف من الخبرة أن طلب تعديل الكود من المطورين هو أسرع طريقة لمنع تبني التكنولوجيا.

كيف تعرف المراقبة لنظم الذكاء الاصطناعي، وما الذي يجعله مختلفًا عن المراقبة التقليدية أو مراقبة التعلم الآلي؟

مراقبة الذكاء الاصطناعي هي ممارسة仪器 ومراقبة الأنظمة الإنتاجية التي تستخدم نماذج لغة كبيرة لالتقاط السياق الكامل لكل استدلال: الاستعلام، السياق، الاستكمال، استخدام الرمز، التأخير، الأخطاء، بيانات النموذج، ومثاليًا إشارات جودة متأخرة أو إشارات جودة.

ما هي التحديات التي تطرحها التطبيقات التي تعتمد على الذكاء الاصطناعي والتي تجعل أدوات المراقبة التقليدية غير كافية؟

نظم الذكاء الاصطناعي تطرح عدة تحديات تكشف عن حدود الأدوات التقليدية:

• عمليات معقدة متعددة الخطوات – انتقلنا من تدفقات بسيطة “اتصل بنموذج، احصل على استجابة” إلى وكلاء متعددة الخطوات، خطوط أنابيب متعددة الخطوات، وتوليد معزز بالاسترجاع، واستخدام أدوات. فشل صامت في أي من هذه الخطوات، مثل الاسترجاع أو التغيير أو الاستدعاء أو استدعاء النموذج، يمكن أن يكسر التجربة بأكملها. المراقبة التقليدية عادة لا توفر لك رؤية شاملة ل这些 السلاسل مع الاستعلامات والاستجابات المضمنة.
• تطوير سريع للعلبة الذكية – الفرق تضافة نماذج جديدة وأدوات وموردين بسرعة لم يروها من قبل. في العديد من الشركات، لا أحد يمكن أن يلخص بثقة النماذج التي في الإنتاج في أي لحظة معينة. المراقبة الكلاسيكية تفترض أن لديك وقتًا لتجهيز واجهات برمجة التطبيقات وإعادة نشر وتنقية ما تقيس بدقة. هذا ببساطة لا يمتثل لسرعة تبني الذكاء الاصطناعي.
• اقتصاديات قائمة على الرموز والحصص – التسعير والحدود المرتبطة بالرموز والسياق الطويل، والتي غالبًا ما تتحكم فيها المطورون أو الاستعلامات أو سلوك المستخدم، وليس العمليات المركزية. الأدوات التقليدية لا تُنشأ لإظهار “من احترق كم عدد الرموز على أي نموذج، من أجل أي عملية، عند أي تأخير”.
• صحة семантиكية بدلاً من نجاح ثنائي – نموذج الذكاء الاصطناعي يمكن أن يعود ب200 ويتخيل vẫn أو يبتعد عن استعلامك أو ينتهك السياسة. الأدوات التقليدية ترى ذلك كنجاح. تحتاج إلى مراقبة يمكن أن تظهر الاستعلامات والاستجابات وتوفر سياقًا كافيًا لفحص السلوك.
• بيانات مدخلة حساسة تتدفق إلى أطراف ثالثة – الذكاء الاصطناعي يدعو المستخدمين إلى مشاركة معلومات حساسة جدًا من خلال واجهات تشبه المحادثة. الآن أنت مسؤول عن هذه البيانات، حيث يتم تخزينها، وأي موردين يشاركونها. هذا له آثار كبيرة على الالتزام باللوائح، مكانة البيانات، وثقة العملاء.

كل هذا يعني أن نظم الذكاء الاصطناعي تتطلب مراقبة تكون على دراية بالذكاء الاصطناعي، غنية السياق، وأقل اعتمادًا على التجهيز اليدوي مقارنة بالأدوات التي يستخدمها معظم الفرق اليوم.

ما هي الإشارات أو المقاييس الأكثر أهمية لفهم أداء وجودة نظم الذكاء الاصطناعي، بما في ذلك التأخير، استخدام الرموز، وسلوك الاستعلام والاستجابة؟

هناك فئات من الإشارات التي تهم كثيرًا في الممارسة:

التأخير والانتاجية

• التأخير من النهاية إلى النهاية لكل طلب، بما في ذلك وقت النموذج ووقت التطبيق المحيط.
• التأخيرات الذيلية (P90، P95، P99) لكل نموذج وكل عملية.
• الانتاجية حسب النموذج، الطريق، والخدمة، حتى تعرف أين يذهب الحمل فعليًا.

استخدام الرموز ومحركات التكلفة

• الرموز المدخلة والمخرجة لكل طلب، مُقسمة حسب النموذج.
• استخدام الرموز المجمعة بمرور الوقت لكل نموذج، فريق، مستخدم، وعمليات.
• أحجام السياق لأنابيب الاسترجاع الكثيفة حتى تتمكن من رؤية متى تنفجر الاستعلامات.
• هذا هو ما يسمح لك بالإجابة على “من هو الذي ينفق فعليًا ميزانيتنا للذكاء الاصطناعي وعلى ماذا”؟

سلوك الاستعلام والاستجابة

• حمولات الاستعلام والاستجابة الفعلية على مسارات ممثلة، بما في ذلك استدعاءات الأدوات ومسارات التفكير.
• أي أدوات اخترتها الذكاء الاصطناعي واستدعتها وتسلسلها.
• التنوع في الاستجابات لاستعلامات مماثلة حتى تتمكن من معرفة مدى استقرار السلوك.

الموثوقية والأخطاء

• معدلات الأخطاء الخاصة بالنموذج وأنواع الأخطاء (أخطاء الموردين، انتهاء الوقت، مشاكل المصادقة، أخطاء الحصص).
• أخطاء في سير العمل المحيط، مثل انتهاء وقت الأداة أو أخطاء الاسترجاع، معطلة مع استدعاء الذكاء الاصطناعي.

سياق البنية التحتية الكلاسيكي

• أرقام معالج الحاوية، الذاكرة، وشبكة الخدمات التي توجيه مكالمات الذكاء الاصطناعي.
• سجلات مترابطة تصف ما كان التطبيق يحاول فعله.

عندما يمكنك رؤية كل ذلك في مكان واحد، تتغير مراقبة الذكاء الاصطناعي من “أنا أعرف شيئًا بطيئًا أو مكلفًا” إلى “أنا أعرف بالضبط أي نموذج، نمط استعلام، وخدمة مسؤولة، ولماذا”.

كيف يمكن للمراقبة مساعدة الفرق على اكتشاف فشلات صامتة مثل انحراف الاستعلام، أو هلوسات، أو تدهور تدريجي في جودة الإخراج؟

الفشلات الصامتة في نظم الذكاء الاصطناعي عادة ما تحدث عندما يبدو كل شيء “أخضر” على مستوى البنية التحتية، لكن السلوك الفعلي يبتعد. المراقبة تساعد بطرق عديدة:

• تتبع سير العمل الكامل، وليس فقط استدعاء النموذج – من خلال التقاط مسار كامل الطلب من العميل إلى الخدمة إلى الاسترجاع إلى النموذج إلى الأدوات، يمكنك رؤية حيث تغير السلوك. على سبيل المثال، قد بدأ الاسترجاع في إرجاع وثائق أقل، أو استدعاء أداة يفشل بشكل متقطع، والنموذج يعتمد علىImprovises.
• الحفاظ على الاستعلامات والسياق والاستجابات في مجال الرؤية – عندما يمكنك فحص الاستعلامات والاستجابات جنبًا إلى جنب مع المسارات، يصبح من الأسهل بكثير رؤية الحالات التي يتغير فيها سلوك جديد لنسخة استعلام أو تعليمات نظام أو مصدر سياق، حتى لو ظل التأخير ومعدلات الأخطاء على حالها.
• التصفية والتقسيم على شروط семантиكية – بمجرد حصولك على تيلغرافي غني للذكاء الاصطناعي، يمكنك تصفية لأسفل إلى أشياء مثل “مكالمات البيدروك أكثر من ثانية”، “الطلبات التي تستخدم هذه عائلة النماذج”، أو “المسارات التي تشمل هذا الطريق المحدد”، ثم قراءة الاستعلامات والاستجابات لمعرفة ما إذا كان النموذج يبتعد أو يخدع في سيناريو معين.
• تنبيه على معايير الأعمال – يمكنك تعريف معايير مثل “أي مكالمة للذكاء الاصطناعي أكثر من ثانية تنتهك واجهة المستخدم لدينا” وتفعيل التنبيهات عند تحقيق هذه الشروط. بمرور الوقت، يمكن ربط معايير مماثلة بدرجات جودة أو فحوصات سياسة حتى تتلقى تنبيهات عند تدهور الجودة، وليس فقط عند فشل البنية التحتية.

لأن طبقة المراقبة لديها وصول إلى إشارات الذكاء الاصطناعي الكلاسيكي والسجلات والأرقام والرسومات، تصبح مكانًا طبيعيًا لالتقاط القضايا التي قد تتحول دون أن تلاحظها إلى تدهور في تجربة المستخدم.

كيف تدعم نهج جروندكوفير تشخيص التأخير غير المتوقع أو السلوك غير المتوقع داخل سير عمل وكلاء متعددة الخطوات ومكالمات الأدوات؟

جروندكوفير يتبنى نهجًا مصممًا لنظم الذكاء الاصطناعي الحديثة. نستخدم مستشعرًا قائمًا على إيببف على مستوى النواة لمراقبة حركة المرور عبر الخدمات الميكروية دون أي تغييرات في الكود أو إعادة نشر. بمجرد إدخال سير عمل للذكاء الاصطناعي، يمكننا اكتشاف هذه المكالمات تلقائيًا. إذا بدأنا استخدام نموذج جديد مثل أنثروبك أو أوبن آي أو بيدروك غدًا، فإن جروندكوفير يلتقط هذا المرور تلقائيًا.

ذلك يعطيك:

• مسارات نهاية إلى نهاية لسير العمل متعدد الخطوات – ترى مسار كامل الطلب عبر الخدمات، بما في ذلك حيث يتم استخدام الذكاء الاصطناعي أو الأداة.
• سياق عميق على كل مكالمة للذكاء الاصطناعي – كل مكالمة تتضمن النموذج المستخدم، التأخير، استخدام الرموز، الاستعلامات، الاستجابات، وسجلات البنية التحتية المترابطة.
• تصفية قوية على التأخير والشروط – على سبيل المثال، يمكنك تصفية جميع مكالمات كلود 3.5 التي تزيد عن ثانية واحدة وتصحيح المسارات التي انتهكت معايير الخدمة لديك.
• تنبيهات ولوحات تحكم مرتبطة بسلوك الذكاء الاصطناعي – بمجرد توفر البيانات، يمكنك إنشاء تنبيهات لانتهاكات معايير الخدمة أو بناء لوحات تتبع التأخير والانتاجية وusage الرموز والأخطاء.

لأن كل شيء يتم جمعه على الحافة بواسطة إيببف وتخزينه في سحابتك الخاصة، تحصل على رؤية دقيقة دون إضافة أدوات مراقبة داخل كل وكيل أو مكالمة أداة.

ما هي مخاطر الأمان والامتثال التي تظهر في عمليات نشر الذكاء الاصطناعي، وكيف يمكن للمراقبة أن تقلل من هذه المخاطر؟

عمليات نشر الذكاء الاصطناعي تطرح بعض المخاطر الفريدة:

• مدخلات المستخدم غير المقيدة – يمكن للمستخدمين كتابة معلومات حساسة جدًا في واجهات تشبه المحادثة التي تعتمد على الذكاء الاصطناعي. قد تتضمن هذه البيانات بيانات شخصية أو بيانات العملاء أو معلومات خاضعة للتنظيم التي لم تكن تعني جمعها.
• موردي النماذج من أطراف ثالثة – بمجرد إرسال هذه البيانات إلى مورد نموذج خارجي، تكون مسؤولاً عن مكان ذهبت، وكيف يتم تخزينها، وأي موردين فرعيين يشاركونها. هذا له آثار كبيرة على الالتزام باللوائح، مكانة البيانات، وثقة العملاء.
• التيلغرافي كنسخة ثانية من البيانات الحساسة – إذا كانت بنية مراقبتك السحابية تُرسل حمولات كاملة إلى مورد سحابي، لديك الآن نسخة أخرى من هذه البيانات الحساسة التي تقع خارج بيئتك.

هندسة جروندكوفير مصممة للتعامل مع هذه المخاوف بالضبط:

• نستخدم نموذج “جلب سحابتك” حيث يتم تشغيل خلفية المراقبة الكاملة داخل حساب سحابتك، في حساب فرعي، كخطة بيانات完全ة. يتم تشغيل الطائرة التحكم التي تُدارة وتوسعها بواسطةنا، لكننا لا نصل أو نخزن أو نمتلك بيانات التيلغرافي الخاصة بك.
• بسبب khảنا لالتقاط الحمولات بأمان في بيئتك الخاصة، يمكنك مراقبة الاستعلامات والاستجابات وسير العمل دون أن تغادر هذه البيانات سحابتك أبدًا. لا توجد مخازن خارجية لبيانات تتبع الذكاء الاصطناعي ولا مخاوف إضافية بشأن إغراق البيانات.
• باستخدام هذه الرؤية، يمكنك رؤية من يرفع ماذا وأين تتدفق، وكشف استخدام غير متوقع للبيانات الحساسة، وفرض سياسات حول النماذج والمناطق المسموح بها.

بمعنى آخر، تصبح المراقبة ليس فقط أداة موثوقية وتكلفة، ولكن أيضًا نقطة تحكم رئيسية للخصوصية ومكانة البيانات والامتثال.

كيف تظهر التحديات التشغيلية عند تصعيد المنظمات من دمج الذكاء الاصطناعي واحد إلى العديد من الخدمات التي تعتمد على الذكاء الاصطناعي، حول الرؤية والموثوقية والتكلفة؟

الدمج الأول عادة ما يكون نموذج واحد في سير عمل واحد. في هذه المرحلة، يبدو كل شيء قابلًا للإدارة. بمجرد أن يرى الفرق القيمة، ينتشر الاستخدام ويظهر عدة تحديات:

• انتشار النماذج والموردين – الفرق تختبر نماذج جديدة باستمرار. يصبح من الصعب معرفة أي منها في الإنتاج وكيف يتم استخدامه.
• مفاجآت التكلفة من استخدام الرموز – استهلاك الرموز ينمو مع طول السياق و複雑ية سير العمل. بدون رؤية لاستخدام الرموز لكل نموذج وسير العمل، يصبح إدارة التكاليف صعبًا.
• اعتماد الموثوقية على موردين خارجيين – واجهات المستخدم تصبح حساسة للتأخير أو الأخطاء في النموذج، مما يمكن أن يُخل بمعايير الخدمة حتى عندما تكون البنية التحتية صحية.
• الديون التجهيزية المتزايدة – المراقبة التقليدية تفترض أن لديك وقتًا لإضافة أدوات مراقبة. في عجلة الذكاء الاصطناعي، نادرًا ما يكون لدى المطورين وقت لذلك.

جروندكوفير يعالج هذه من خلال الاكتشاف التلقائي لحركة المرور الذكية ومنحك:

• رؤية مركزية لما هي النماذج والموردين المستخدمين.
• لوحات تظهر التأخير والانتاجية وusage الرموز بمرور الوقت.
• ترابط بين سلوك الذكاء الاصطناعي والخدمات التي تعتمد عليه.
• تنبيهات لانتهاكات معايير الذكاء الاصطناعي.

هذا يجعل من الأسهل تصعيد من “ميزة الذكاء الاصطناعي الرائعة” إلى “الذكاء الاصطناعي منسوج في عشرات الخدمات الحيوية” دون فقدان السيطرة.

متى نتطلع، كيف تتوقع أن تتطور مراقبة الذكاء الاصطناعي خلال السنوات الخمس القادمة مع تسارع الذكاء الاصطناعي العامل والتنسيق المتعدد للنماذج والضغوط التنظيمية؟

نحن ما زلنا في الأيام الأولى. خلال السنوات الخمس القادمة، أتوقع عدة تحولات كبيرة:

• من مستوى الطلب إلى فهم الوكيل – سوف تتوسع المراقبة لالتقاط تسلسل الأدوات ومسارات التفكير و منطق الإعادة، وليس فقط مكالمات النماذج.
• إشارات семантиكية وأدوات سياسة أكثر ثراء – سوف تصبح فحوصات الجودة الآلية للاختراعات ومخاطر السلامة ومطابقة العلامة التجارية معايير قياسية.
• ربط أوثق بالحوكمة والخصوصية – مع نمو التنظيم، سوف تخدم المراقبة أيضًا كطبقة تنفيذ ومراجعة ل مكانة البيانات والاحتفاظ بها واستخدام النماذج المعتمدة.
• تحسين متعددة النماذج ومتعددة الموردين – سوف توجّه الفرق حركة المرور عبر النماذج بشكل ديناميكي بناءً على الأداء والتكلفة، بموجب بيانات المراقبة في الوقت الفعلي.
• أقل من التجهيز اليدوي – سوف تصبح تقنيات مثل جمع إيببف والاكتشاف التلقائي هي الافتراضي، بحيث يمكن للفرق أن تبتكر بدون تباطؤ.

باختصار، سوف تتطور مراقبة الذكاء الاصطناعي من “لوحات مرغوبة للذكاء الاصطناعي” إلى الجهاز العصبي المركزي الذي يربط الموثوقية ومراقبة التكلفة وحوكمة البيانات وجودة المنتج عبر كل ما تفعله المنظمة مع الذكاء الاصطناعي.

شكرًا على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يمكنهم زيارة جروندكوفير.