فرق البيانات ميتة، عيش فرق البيانات

نعم، العنوان مخادع ومثير للجدل، لكنني كمسؤول تقني مع سنوات عديدة في مجال البيانات، شهدت تحولا يبرر الدراما. الفريق التقليدي “لفرق البيانات” – طاقم الخلفية الذي يضغط على التقارير واللوحات – هو في الواقع ميت. في مكانه، ظهر نوع جديد من فرق البيانات: قوة مدفوعة بالذكاء الاصطناعي، ومدفوعة بالمنتجات، وتأثير مباشر على الإيرادات. لم يعودوا مركزًا للتكلفة، ولكن مجموعة توليد الأرباح.

الرحلة من ذكاء الأعمال إلى التعلم الآلي

لم تكن هناك فترة طويلة منذ أن كانت فرق البيانات مترادفة مع ذكاء الأعمال (BI). كنا المؤرخين لبيانات الشركة، نعيش في SQL والجداول، ومكلفين بالإجابة على “ماذا حدث في الربع الماضي؟” مع ظهور تقنيات البيانات الكبيرة مثل Hadoop واصبح مصطلح “عالم البيانات” وظيفة جديدة وجذابة، تطورت فرق البيانات. في منتصف عام 2010، كنا نفعل أكثر من التقارير؛ غزونا مجال تجسير البيانات والتحليلات التفاعلية، وإنتاج لوحات ديناميكية لجميع الإدارات. كان العمل يتعلق بتمشيط البيانات، وخلط مجموعات البيانات من مصادر واشكال منفصلة، ومحاولة لفهم المعرفة بالمنطقة.

ثم جاءت أواخر عام 2010 مع عصر التعلم الآلي. بدأت فرق البيانات في توظيف عالمی البيانات لإنشاء نماذج تنبؤية واكتشاف رؤى في مجموعات بيانات ضخمة. انتقلنا من وصف الماضي إلى توقع المستقبل: نماذج انحراف، ومحركات التوصية، وتوقعات الطلب – اسمها. ولكن حتى ذلك الحين، كانت مخرجاتنا عبارة عن شرائح وملفات تعليمية، وليس منتجات حية. كنا نعمل كمكتب داخلي، وننصح الأعمال من خلال التحليل. بعبارة أخرى، كنا مراكز تكلفة – قيمة، نعم، ولكن على بعد خطوة واحدة من المنتج الأساسي والإيرادات.

في أفضل الحالات، تم توزيع فرق التعلم الآلي إلى وحدات منفصلة أو دمجها في مجموعات المنتجات، بحيث يمكن دمج نماذجها وافتراضاتها بشكل كامل في المنصات. أدى الانقسام العظيم إلى مشاريع فاشلة عديدة، واستثمارات غارقة، وفرص مفقودة.

GenAI: من وظيفة الدعم إلى مركز الأرباح

ثم جاء GenAI وغيّر كل شيء. إطلاق نماذج اللغة الكبيرة القوية، مثل عائلة GPT ومتغيرات مفتوحة المصدر مثل Llama، قلبت المناظر بشكل فعلي خلال ليلة واحدة. فجأة، لم تكن فرق البيانات تحليل الأعمال فقط، بل أصبحت جزءًا لا يتجزأ من بناء المنتجات والخبرات التي تعتمد على الذكاء الاصطناعي. عندما تنجح في دمج LLM في تطبيق مواجه للعميل أو في تدفق عمل داخلي، لم تكن مجرد إطلاع على الأعمال؛ كنت تدفعها. يمكن لنظام GenAI المنفذ جيدًا توفير دعم العملاء الآلي، وإنشاء محتوى تسويقي، وتailor تجارب المستخدم، أو حتى توفير البيانات اللازمة لإطلاع ونشر أنظمة الذكاء الاصطناعي الناشئة. تؤثر هذه القدرات بشكل مباشر على تدفقات الإيرادات. في الواقع، انتقلت مخرجات عمل فريق البيانات من شرائح PowerPoint إلى تطبيقات حية مدفوعة بالذكاء الاصطناعي.

بدأت فرق GenAI مع مجموعات الابتكار، وتقديم أدلة مفهوم تنتج “عامل الدهشة”. وقريباً، أصبح الجميع مهندسًا في الذكاء الاصطناعي، وانتشرت تكنولوجيا المعلومات الظل عبر المنظمات.

وجدت فرق البيانات نفسها تواجه سؤالا جديدا: “متى ستصبح مركزًا للأرباح؟” مع بدء مهندسي الذكاء الاصطناعي في إنشاء أدوات رائعة، أصبح واضحًا أن الوقت قد حان لدمج فريقين: أولئك الذين يتحكمون في البيانات وأولئك الذين يبنيون التطبيقات.

فكر في شركة تجارية تطرح chatbot مدفوعًا بالذكاء الاصطناعي لتعامل مع استفسارات المبيعات، أو بنك يطلق مستشارًا استثماريًا مدفوعًا بالذكاء الاصطناعي. هذه ليست مشاريع جانبية تقليدية – إنها منتجات رقمية تُحدث قيمة للعميل وتوليد الإيرادات. ومع ذلك، في الوقت نفسه، لإنشاء هذه الأنظمة في النطاق، تحتاج فرق هندسة الذكاء الاصطناعي إلى الوصول إلى البيانات وتشغيلها التي أعدوها فرق البيانات التقليدية.

لاحظت المديرين التنفيذيين ذلك. توقعات فرق البيانات في الأفق الآن، مع مجلس الإدارة والرؤساء التنفيذيين الذين ينتظرون منا تقديم التوجيه التالي لنمو مدفوع بالذكاء الاصطناعي. لقد انتقلنا من كوننا محللين خلف الكواليس إلى مبتكري الخط الأمامي. إنه موقف مثير، لكنه يأتي مع ضغط شديد لتحقيق النتائج في النطاق.

من الاستكشاف إلى المنتج – باب منفذ واحد

التغيير من التحليل الاستكشافي إلى الذكاء الاصطناعي الموجه للمنتج هو عميق ولا يمكن逆ه. لماذا لا يمكن逆ه؟ لأن تأثير GenAI على الأعمال يثبت أنه كبير جدًا لترجيعه إلى مجرد لعبة البحث والتطوير. وفقًا لمسح عالمي حديث، 96% من قادة تكنولوجيا المعلومات دمجوا بالفعل الذكاء الاصطناعي في العمليات الأساسية – مقارنة بـ 88% فقط في السنة السابقة. بعبارة أخرى، تقريبًا كل مؤسسة انتقلت من التجربة مع الذكاء الاصطناعي إلى دمجه في تدفقات العمل الحيوية. بمجرد أن تعبر عتبة حيث يقدم الذكاء الاصطناعي قيمة في الإنتاج، لا يمكن العودة.

يغير هذا التركيز الجديد على الذكاء الاصطناعي إيقاع وعقلية فرق البيانات. في الماضي، كنا نتمتع بفترة استكشاف مشاريع طويلة وتنفيذ تحليل مفتوح. اليوم، إذا كنا نبني ميزة الذكاء الاصطناعي، فيجب أن تكون جاهزة للإنتاج، ومطابقة، وموثوقة – مثل أي منتج مواجه للعميل. دخلنا ما يسمى “عصر الذكاء الاصطناعي المستقل” من علم البيانات. السؤال الذي يوجه عملنا لم يعد “ما هي الرؤى التي يمكننا اكتشافها؟” ولكن “ما النظام الذكي يمكننا بناؤه والذي يتصرف على الرؤى في الوقت الفعلي؟”

نظم GenAI لا ت回答 الأسئلة فقط؛ بل بدأت في اتخاذ القرارات. إنه باب منفذ واحد: بعد تجربة هذا النوع من الاستقلالية والتأثير، لن تقبل الشركات بالتقارير الثابتة وعمليات اتخاذ القرارات اليدوية. الآن أكثر من أي وقت مضى، تحتاج فرق البيانات إلى أن تكون موجهة نحو أصحاب المصلحة والمنتجات.

الحقيقة الصعبة: لماذا تفشل معظم مبادرات GenAI

في منتصف كل هذا الحماس، هناك حقيقة مخدرة: معظم مبادرات GenAI تفشل. يturned يظهر أن نشر GenAI بنجاح هو تحدي شديد الصعوبة. دراسة حديثة من معهد ماساتشوستس للتكنولوجيا وجدت أن 95% من مشاريع تجريبية GenAI في الشركات لا تقدم أبدًا عائدًا على الاستثمار قابل للقياس. فقط حوالي 5% من مشاريع الذكاء الاصطناعي تحقق مكاسب إيرادات سريعة أو تأثير أعمال هام. هذا ليس نتيجة لعدم وجود إمكانات – بل نتيجة لتعقيد القيام بالذكاء الاصطناعي بشكل صحيح.

بالنظر إلى أسباب الفشل، ترسم الأبحاث الصورة بوضوح. تتعثر العديد من المشاريع لأنها تتبع حالات استخدام مثيرة للاهتمام بدلاً من الاستثمار في الأساسيات المملة للتكامل والتحقق والمراقبة. يفشل البعض الآخر بسبب متلازمة “القمامة داخل، القمامة خارج” – جودة البيانات الرديئة وأنابيب البيانات المنفصلة تدمر المشروع قبل أن يصل الذكاء الاصطناعي إلى القيام بعمله. في كثير من الأحيان، ليس نموذج الذكاء الاصطناعي هو الذي يعيب، بل البيئة المحيطة. كما يقول الباحثون، لا يفشل GenAI في المختبر؛ يفشل في المؤسسة عندما يصطدم بأهداف غامضة وبيانات رديئة وجمود مؤسسي. في الممارسة، تتعثر معظم مشاريع الذكاء الاصطناعي في مرحلة概念 الإثبات وأبدًا لا تخرج إلى النشر الكامل.

ما يفصل 5% من مشاريع الذكاء الاصطناعي الناجحة عن 95% التي تعثرت

ما يفصل الفائزين من الخاسرون؟ في تجاربي (وكما تؤكده الأبحاث)، يركز الرابحون على القدرات التأسيسية – البيانات، والحوكمة، والبنية التحتية. GenAI ليس سحرًا؛ إنه مبني على البيانات. بدون أنابيب بيانات جيدة التوجيه ومحكمة الحوكمة تغذي نماذجك، حتى أفضل الذكاء الاصطناعي سينتج نتائج غير منتظمة. كما قال Summit Partners في تحليل حديث: “ينحصر نجاح أي نظام أو عملية تستخدم الذكاء الاصطناعي في جودة وتركيب وسهولة الوصول إلى البيانات التي تغذيها”.

بمعنى praktisch، هذا يعني أن المنظمات يجب أن تعمل بشكل مزدوج على هندسة البيانات والحوكمة مع تبني GenAI. هل لديك مخازن بيانات موحدة ويمكن الوصول إليها التي يمكن للذكاء الاصطناعي سحبها (أنا أعني جميع مخازن البيانات، بما في ذلك مراكز البيانات، والهيبرسكالرز، ونظم السaaS من الطرف الثالث، وغيرها)? هل تم تنظيف تلك البيانات وتنظيمها وامتثالها لللوائح؟ هل هناك سلالة بيانات واضحة وقابلية للتحقق (بحيث تثق بمخرجات الذكاء الاصطناعي وتعرف كيف تم الحصول عليها)? هذه الأسئلة هي الآن في المقدمة.

GenAI يضطر الشركات إلى تنظيم بيت البيانات أخيرًا

أخذت الحوكمة أيضًا معنى جديد. عندما يمكن لنموذج الذكاء الاصطناعي أن ينتج إجابة خاطئة (أو إجابة مسيئة)، لا تكون الحوكمة خيارًا – إنها إلزامية. التحكمات مثل الإصدار، واختبارات التحيز، ومراجعة الإنسان في الحلقة، وإجراءات الأمان الصارمة حول مدخلات البيانات الحساسة هي أساسية. بدون حوكمة صارمة وأهداف محددة، حتى أداة الذكاء الاصطناعي القوية ستواجه صعوبة في الحصول على زخم في الأعمال.

ولن ننسى البنية التحتية. نشر GenAI في النطاق يتطلب قوة حسابية كبيرة و هندسة صارمة. النماذج تحتاج إلى أن يتم تقديمها في الوقت الفعلي، عبر ملايين الاستفسارات مع انخفاض التأخير. غالبًا ما تحتاج إلى وحدات معالجة الرسومات أو أجهزة متخصصة، بالإضافة إلى المراقبة المستمرة والاحتفاظ وإدارة دورة الحياة. باختصار، تحتاج إلى بنية تحتية للذكاء الاصطناعي على مستوى الصناعة التي تكون آمنة ويمكن توسيعها ومتينة. هذا هو حيث يأتي مفهوم الذكاء الاصطناعي الخاص كإطار يوحّد البنية التحتية مع البيانات والحوكمة. يُشير الذكاء الاصطناعي الخاص إلى تطوير الذكاء الاصطناعي داخل بيئة خاضعة للرقابة وآمنة، مما يضمن أمان البيانات وامتثالها.

النقطة الأساسية هي أن نجاح GenAI يعتمد على وئام ثلاثة ركائز: البيانات، الحوكمة، والبنية التحتية. بدون واحدة، تتحمل مخاطر الانضمام إلى 95% من المشاريع التي لا تتجاوز مرحلة العرض التوضيحي.

لماذا لا يستطيع مهندسو الذكاء الاصطناعي فعل ذلك بمفردهم

مع هذه المتطلبات، من الواضح أن توظيف عدد قليل من مهندسي الذكاء الاصطناعي الموهوبين ليس علاجًا سحريًا. لقد تعلمنا هذه الدروس على مدى السنوات القليلة الماضية في صناعة البيانات. في أيام بداية انفجار علوم البيانات، حاولت الشركات العثور على “unicorn” عالمی البيانات الذين يمكنهم فعل كل شيء – بناء النماذج، وكتابة الشفرة، وتحليل البيانات والتشغيل. تم دحض هذا الخيال منذ ذلك الحين. كما قال أحد عالمی البيانات المحترفين، “نموذج يقع في دفتر ملاحظات لا يفعل في الواقع أي شيء للأعمال”. تحتاج إلى دمج ذلك النموذج في تطبيق أو عملية لإنشاء قيمة. ويفعل ذلك يتطلب جهدًا جماعيًا يمتد عبر مهارات متعددة.

في أواخر عام 2010، شاهدنا فرق البيانات تتنوع إلى أدوار متميزة: بدأ مهندسو البيانات في بناء أنابيب قوية، وركز مهندسو التعلم الآلي على إنتاج النماذج، وادار مهندسو التحليلات طبقة التحليلات، وغيرها.

اليوم، يرفع GenAI العارضة إلى أعلى مستوى. نعم، تحتاج إلى أخصائيي الذكاء الاصطناعي (مهندسي التحفيز، ومتخصصي ضبط LLM، وغيرهم) ولكن هؤلاء الأخصائيون سوف يصطدمون بالجدار إذا لم يكن لديهم أنابيب بيانات ناضجة وإطارات حوكمة ومنصات آمنة للعمل معها. يمكن لمهندس الذكاء الاصطناعي إنشاء نموذج لغة رائع في صندوق رمل، لكن تحويل ذلك إلى منتج يستخدمه الآلاف أو الملايين يتطلب التعاون مع فرق الأمان، وضباط الامتثال، ومهندسي البيانات، ومهندسي موثوقية الموقع، وغيرهم.

الذكاء الاصطناعي هو رياضة جماعية. من الم诱ي أن تفكر أنك يمكنك وضع نموذج متقدم في شركتك وفجأة أن تصبح شركة مدفوعة بالذكاء الاصطناعي. الشركات التي تنجح مع الذكاء الاصطناعي هي تلك التي بنت فرقًا متعددة التخصصات، أو “مصانع الذكاء الاصطناعي”، التي تجمع بين جميع هذه القطع. لقد تطورت فرق البيانات بنجاح إلى فرق منتجات الذكاء الاصطناعي الكاملة، التي تجمع بين الخبرة في البيانات والنمذجة والهندسة والعمليات. هم يبنيون ويوزعون أدواتهم بطريقة مدفوعة بالبيانات وقيادة المنتج، مع توليد القيمة مضمن في كل معيار أداء.

الجيل القادم من فرق البيانات

ماذا يخبئ المستقبل لفرق “البيانات” الجديدة؟ هنا نظرة على ما يأتي لفرق البيانات في السنوات القليلة القادمة:

• أقل من عمليات ETL/ELT اليدوية: سوف تتناقص عمليات تمشيط البيانات المملة. مع المزيد من أنابيب البيانات الآلية ومساعدة الذكاء الاصطناعي، لن تقضي فرق البيانات نصف وقتها في تنظيف وتنقل البيانات. سوف يتم التعامل مع عمل تمشيط البيانات الشاق من قبل الأنظمة الذكية، مما يسمح للإنسان بالتركيز على تصميم الجودة الأعلى.
• أقل لوحات: عصر تعديل مرشحات اللوحة بلا نهاية يفوت. سوف يسمح الذكاء الاصطناعي بالاستفسار الطبيعي للغة والاستفسارات الديناميكية. بدلاً من لوحات مُعدة مسبقًا لكل سؤال، سوف يحصل المستخدمون على إجابات محادثات من الذكاء الاصطناعي (مع بيانات المصدر المرفقة). سوف تقضي فرق البيانات وقتًا أقل في تطوير التقارير الثابتة وأكثر في تدريب الذكاء الاصطناعي على توليد رؤى في الوقت الفعلي.
• المزيد من تطوير المنتجات الأصلية بالذكاء الاصطناعي: سوف تكون فرق البيانات في قلب الابتكار في المنتجات. سواء كان تطوير ميزة جديدة مواجهة للعميل أو أداة داخلية مدفوعة بالذكاء الاصطناعي تُحسّن العمليات، سوف تعمل هذه الفرق كفرق منتجات. سوف يطبقون ممارسات تطوير البرمجيات، واختبار سريع، واختبار أ/ب، وتصميم تجربة المستخدم – وليس فقط تحليل البيانات. كل فريق بيانات سوف يصبح، في الواقع، فريق منتجات الذكاء الاصطناعي يُقدم قيمة أعمال مباشرة.
• وكلاء مستقلون على الصعود: في المستقبل القريب، سوف تنشر فرق البيانات وكلاء الذكاء الاصطناعي المستقلين للتعامل مع القرارات الروتينية والمهام. بدلاً من مجرد توقع النتائج، سوف يكون لهذه الوكلاء صلاحية اتخاذ بعض الإجراءات (مع الإشراف). تخيل وكلاء عمليات الذكاء الاصطناعي يمكنهم اكتشاف شذوذ وتحديث تذكرة تصحيح تلقائيًا، أو وكلاء مبيعات الذكاء الاصطناعي يمكنهم ضبط أسعار التجزئة في الوقت الفعلي. سوف تكون فرق البيانات مسؤولة عن بناء وإدارة هذه الوكلاء، ودفع حدود ما يمكن للآلية تحقيقه.

في ضوء هذه التغييرات، قد يقال بصدق “فرق البيانات كما كنا نعرفها ميتة”. لقد استبدل محركو الجدول واللوحات ب شيء جديد: فرق مدفوعة بالذكاء الاصطناعي التي تتقن البيانات والشفرة والاستراتيجية التجارية. ولكن بدلاً من أن يكون هذا مرثية، إنه احتفال. الجيل الجديد من فرق البيانات يبدأ فقط، وهي أكثر قيمة من أي وقت مضى.

لذلك، تذكر، مهندس البيانات ميت، عيش مهندس البيانات! فرق البيانات كما كنا نعرفها قد انتهت، ولكن عيش الفرق الجديدة – قد تحكم في هذا العالم الموجه بالذكاء الاصطناعي بالرؤية والمسؤولية والجسارة.