فرق البيانات ميت، يعيش فرق البيانات

نعم، العنوان مُصمم ليكون مثيرًا ومثيرًا للجدل، ولكن كمتخصص في مجال تكنولوجيا المعلومات مع سنوات عديدة من الخبرة، لقد شهدت تحولًا يبرر الدراما. الفريق التقليدي “لفرق البيانات” – طاقم الخلفية الذي يقوم بضغط التقارير واللوحات – هو في الواقع ميت. في مكانه، ي出现 نوع جديد من فرق البيانات: فريق قوي مدفوع بالذكاء الاصطناعي، مع تأثير مباشر على الإيرادات. لم يعودوا مركز تكلفة، بل مجموعة تدرّ الإيرادات.

الرحلة من الذكاء التجاري إلى التعلم الآلي

ليس من بعيد، كانت فرق البيانات مترادفة مع الذكاء التجاري (BI). كنا نحن المؤرخون لبيانات الشركة، نعيش في SQL والجداول، مكلفين بالإجابة على “ما حدث في الربع الماضي؟” مع ظهور تقنيات البيانات الكبيرة مثل Hadoop وتحول مصطلح “عالم البيانات” إلى وظيفة جديدة، تطورت فرق البيانات. في منتصف العقد الأول من القرن الحادي والعشرين، كنا نفعل أكثر من مجرد تقارير؛ غزونا مجال تجسير البيانات والتحليلات التفاعلية، بإنتاج لوحات ديناميكية لجميع الإدارات. كان العمل يتعلق بتمشيط البيانات، ومزج مجموعات البيانات من مصادر واشكال مختلفة، ومحاولة فهم المعرفة بالقطاع.

ثم جاءت أواخر العقد الأول من القرن الحادي والعشرين مع عصر التعلم الآلي. بدأت فرق البيانات في توظيف عالمی البيانات لإنشاء نماذج تنبؤية واكتشاف رؤى في مجموعات بيانات ضخمة. انتقلنا من وصف الماضي إلى توقع المستقبل: نماذج انحراف، محركات التوصية، توقعات الطلب – يمكنك تسميتها. ولكن حتى ذلك الحين، كانت مخرجاتنا عبارة عن عروض تقديمية وآراء، وليس منتجات حية. كنا نعمل كمكتب خدمي داخلي، ننصح الأعمال من خلال التحليل. بعبارة أخرى، كنا مراكز تكلفة – قيمة، نعم، ولكن بخطوة واحدة عن المنتج الأساسي والإيرادات.

في أفضل الحالات، تم توزيع فرق التعلم الآلي إلى وحدات منفصلة أو دمجها داخل مجموعات المنتجات، بحيث يمكن دمج نماذجها وافتراضاتها بشكل كامل في المنصات. أدت هذه الفجوة الكبيرة إلى العديد من المشاريع الفاشلة، والاستثمارات الغارقة، والفرص المفقودة.

GenAI: من وظيفة دعم إلى مركز ربح

ثم جاء GenAI وغيّر كل شيء. إطلاق نماذج اللغة الكبيرة القوية، مثل عائلة GPT ومتغيراتها المفتوحة المصدر مثل Llama، قلبت المناظر بشكل فعلي خلال ليلة واحدة. فجأة، لم تكن فرق البيانات تحليل الأعمال فحسب، بل أصبحت جزءًا لا يتجزأ من بناء منتجات وخبرات الذكاء الاصطناعي. عندما تنجح في دمج نموذج LLM في تطبيق مواجه للعميل أو في سير عمل داخلي، لم تكن تحلل الأعمال فحسب، بل تقودها. يمكن لنظام GenAI المنفذ بشكل جيد أن يؤتمة دعم العملاء، وينشئ محتوى تسويقي، ويعمل على تخصيص تجارب المستخدم، أو حتى يوفر البيانات اللازمة لإعلام وتدريب أنظمة الذكاء الاصطناعي الناشئة. تؤثر هذه القدرات بشكل مباشر على تدفقات الإيرادات. في الواقع، انتقلت منتجات عمل فرق البيانات من شرائح باور بوينت إلى تطبيقات مدفوعة بالذكاء الاصطناعي حية.

بدأت فرق GenAI مع مجموعات الابتكار، وتقديم براهين مفهوم توليد “عامل الدهشة”. وقريباً، كان الجميع مهندسًا للذكاء الاصطناعي، وانتشرت تكنولوجيا المعلومات الظل عبر المنظمات.

وجدت فرق البيانات نفسها قريباً تواجه سؤالاً جديداً: “متى ستصبح مركز ربح؟” مع بدء مهندسي الذكاء الاصطناعي في إنشاء أدوات رائعة، كان واضحًا أن الوقت قد حان لدمج فريقين: أولئك الذين يتحكمون في البيانات وأولئك الذين يبنيون التطبيقات.

فكر في شركة تجارية تطرح روبوت محادثات GenAI لمعالجة استفسارات المبيعات، أو بنك يطلق مستشارًا استثماريًا مدفوعًا بالذكاء الاصطناعي. هذه ليست مشاريع تكنولوجيا المعلومات التقليدية – إنها منتجات رقمية تُحدث قيمة للعملاء وتوليد الإيرادات. ومع ذلك، في نفس الوقت، لإنشاء هذه الأنظمة بمقياس كبير، تحتاج فرق هندسة الذكاء الاصطناعي إلى القدرة على الوصول إلى تشغيل البيانات التي أعدوها الفرق التقليدية.

لاحظ المسؤولون التنفيذيون ذلك. تطلعات فرق البيانات في الأفق الآن، مع مجلس الإدارة والرؤساء التنفيذيين ينتظرون منا تقديم القسم التالي من نمو الدفع بالذكاء الاصطناعي. انتقلنا من كوننا محللين خلف الكواليس إلى مبتكري الخط الأمامي. إنها وضع مثير ومليء بالضغط لتقديم النتائج بمقياس كبير.

من الاستكشاف إلى المنتج – باب واحد الاتجاه

الانتقال من التحليل الاستكشافي إلى الذكاء الاصطناعي الموجه للمنتج هو عميق وغير قابل للعكس. لماذا غير قابل للعكس؟ لأن تأثير GenAI على الأعمال يثبت أنه كبير جدًا لدرجة لا يمكن إعادة توجيهه إلى مجرد لعبة بحثية. وفقًا لمسح عالمي حديث، 96% من قادة تكنولوجيا المعلومات دمجوا الذكاء الاصطناعي في عملياتهم الأساسية – مقارنة بـ 88% فقط في العام السابق. بعبارة أخرى، تقريبًا كل مؤسسة انتقلت من تجربة الذكاء الاصطناعي إلى دمجه في سير العمل الحرج. بمجرد عبور عتبة حيث يقدم الذكاء الاصطناعي قيمة في الإنتاج، لا يوجد عودة.

يتغير هذا التركيز الجديد على الذكاء الاصطناعي إيقاع وعقلية فرق البيانات. في الماضي، كنا نمتلك فخامة مشاريع الاكتشاف الطويلة والمفتوحة. اليوم، إذا كنا نبني ميزة الذكاء الاصطناعي، فيجب أن تكون جاهزة للإنتاج، ومتوافقة، وموثوقة – مثل أي منتج مواجه للعميل. دخلنا ما يسمى “عصر الذكاء الاصطناعي المستقل” للعلوم البيانية. السؤال الذي يوجه عملنا لم يعد “ما هي الرؤى التي يمكننا اكتشافها؟” بل “ما النظام الذكي الذي يمكننا بناؤه والذي يتصرف على أساس الرؤى في الوقت الفعلي؟”

نظم GenAI لا ت回答 الأسئلة فقط؛ بل بدأت في اتخاذ القرارات. إنه باب واحد الاتجاه: بعد تجربة هذا النوع من الاستقلالية والتأثير، لن ترضي الشركات بالتقارير الثابتة وعمليات اتخاذ القرار اليدوية. الآن أكثر من أي وقت مضى، تحتاج فرق البيانات إلى أن تكون متوجهة نحو أصحاب المصلحة والمنتجات.

الحقيقة الصعبة: لماذا تفشل مبادرات GenAI الأكثرها

في منتصف كل هذا الحماس، هناك واقع محزن: معظم مبادرات GenAI تفشل. يturned يظهر أن نشر GenAI بنجاح هو تحد كبير جدًا. دراسة حديثة من معهد ماساتشوستس للتكنولوجيا وجدت أن 95% من مشاريع تجربة GenAI في المؤسسات لا تقدم عائدًا على الاستثمار قابل للقياس. فقط حوالي 5% من تجارب الذكاء الاصطناعي تحقق مكاسب إيرادات سريعة أو تأثير أعمال هام. هذا ليس بسبب نقص الإمكانات – إنه بسبب تعقيد فعل الذكاء الاصطناعي بشكل صحيح.

بالحفر في أسباب الفشل، ترسم الأبحاث من معهد ماساتشوستس للتكنولوجيا صورة واضحة. تتعثر العديد من المشاريع بسبب “الهوس على العمل الشاق” – الفرق تلاحق حالات استخدام تجريبية مثيرة بدلاً من الاستثمار في الأساسيات المملة للتكامل والتحقق والمراقبة. تفشل أخرى بسبب متلازمة “القمامة داخل، قمامة خارج” – جودة البيانات السيئة وأنابيب البيانات المنفصلة تدمر المشروع قبل أن يصل الذكاء الاصطناعي إلى القيام بعمله. في كثير من الأحيان، ليس نموذج الذكاء الاصطناعي هو الذي يعيب، بل البيئة المحيطة. كما يقول الباحثون، لا يفشل GenAI في المختبر؛ إنه يفشل في المؤسسة عندما يصطدم بأهداف غامضة وبيانات رديئة وجمود تنظيمي. في الممارسة، تتعثر معظم تجارب الذكاء الاصطناعي في مرحلة概念 البرهان و никогда لا تخرج إلى نشر الإنتاج الكامل.

هذا الفحص الواقعي هو درس قيم. إنه يخبرنا أن حتى مع كون فرق البيانات الآن في مركز الضوء، معظمهم يصارعون لتحقيق التوقعات المرفوعة. من أجل نجاح GenAI بمقياس كبير، يجب أن نعبر عتبة أعلى بكثير مما كنا نفعل في أيام الذكاء التجاري القديمة.

ما وراء الدفعات الذكية: البيانات والحوكمة والبنية التحتية مهمة

ما يفصل 5% من مشاريع الذكاء الاصطناعي التي تنجح عن 95% التي تعثُر؟ من تجربتي (وكما تؤكد الأبحاث)، الرابحون يركزون على القدرات التأسيسية – البيانات والحوكمة والبنية التحتية. GenAI ليس سحرًا؛ إنه مبني على البيانات. بدون أنابيب بيانات جيدة التوجيه وحوكمة البيانات، حتى أفضل نموذج للذكاء الاصطناعي سوف ينتج نتائج غير منتظمة. Summit Partners قال ذلك جيدًا في تحليل حديث: “نجاح أي نظام أو عملية تستخدم الذكاء الاصطناعي يعتمد على جودة وتركيب وسهولة الوصول إلى البيانات التي تغذيها.”

في المصطلحات العملية، يعني ذلك أن المنظمات يجب أن تزيد من التركيز على هندسة البيانات والحوكمة مع تبني GenAI. هل لديك مخازن بيانات موحدة ويمكن الوصول إليها التي يمكن للذكاء الاصطناعي أن يعتمد عليها (أنا أعني جميع مخازن البيانات، بما في ذلك مراكز البيانات، والأنظمة الضخمة، والأنظمة السحابية، والأنظمة السحابية، والأنظمة السحابية، وغيرها)? هل تم تنظيف هذه البيانات، وتنظيمها، وضمان مطابقتها لللوائح؟ هل هناك سجل واضح للبيانات ويمكن تتبعه (بحيث تثق بخرج الذكاء الاصطناعي وتعرف كيف تم الحصول عليها)? هذه الأسئلة هي الآن في المقدمة.

GenAI يضطر الشركات إلى تنظيم منازلهم البيانات أخيرًا

أخذت الحوكمة أيضًا أهمية جديدة. عندما يمكن لنموذج الذكاء الاصطناعي أن يولد جوابًا خاطئًا (أو مخالفًا)، فإن الحوكمة الصارمة ليست اختيارية – إنها ضرورية. التحكمات مثل الإصدار، واختبار التحيز، ومراجعة الإنسان في الحلقة، وقيود الأمان الصارمة حول مدخلات البيانات الحساسة هي أساسية. بدون حوكمة صحيحة، وتنمية واضحة للأهداف، حتى أداة الذكاء الاصطناعي القوية سوف تعاني في الحصول على زخم في الأعمال.

ولا ننسى البنية التحتية. نشر GenAI بمقياس كبير يتطلب قدرة حاسوبية كبيرة و هندسة صارمة. النماذج تحتاج إلى أن يتم تقديمها في الوقت الفعلي، عبر ملايين الاستفسارات مع زمن تأخير منخفض. غالبًا ما تحتاج إلى وحدات معالجة الرسومات أو أجهزة متخصصة، بالإضافة إلى مراقبة مستمرة، و الاحتفاظ، و إدارة دورة الحياة. باختصار، تحتاج إلى بنية تحتية للذكاء الاصطناعي على مستوى الصناعة، وهي آمنة ويمكن توسيعها ومتينة. هذا هو حيث يأتي مفهوم الذكاء الاصطناعي الخاص كإطار يجمع بين البنية التحتية والبيانات والحوكمة. الذكاء الاصطناعي الخاص يشير إلى تطوير الذكاء الاصطناعي في بيئة خاضعة للرقابة وآمنة، مما يضمن أمان البيانات والامتثال.

النقطة الأساسية هي أن نجاح GenAI يعتمد على توافق ثلاثة ركائز: البيانات، الحوكمة، والبنية التحتية. بدون واحدة من هذه الركائز، تتهدّد بفقدان المشروع في مرحلة العرض.

لماذا لا يستطيع مهندسو الذكاء الاصطناعي فعل ذلك بمفردهم

مع هذه المتطلبات، من الواضح أن مجرد توظيف عدد من مهندسي الذكاء الاصطناعي الموهوبين ليس حلًا سحريًا. لقد تعلمنا هذه الدرس على مدى السنوات القليلة الماضية في صناعة البيانات. في أيام بداية ازدهار علوم البيانات، حاولت الشركات العثور على “عالم البيانات الوحيد” الذي يمكنه فعل كل شيء – بناء النماذج، وكتابة الشفرة، وتنظيم البيانات والتشغيل. هذا الخراف يفقد الصحة الآن. كما قال أحد عالمی البيانات المخضرمين، “نموذج موجود في دفتر ملاحظات لا يفعل شيئًا للعمل.” تحتاج إلى دمج هذا النموذج في تطبيق أو عملية لإنشاء قيمة. هذا يتطلب جهدًا فرقيًا يمتد عبر مهارات متعددة.

في أواخر العقد الأول من القرن الحادي والعشرين، رأينا فرق البيانات تتنوع إلى أدوار متميزة: مهندسو البيانات يبنيون أنابيب قوية، ومهندسو التعلم الآلي يركزون على إنتاج النماذج، ومهندسو التحليلات يديرون طبقة التحليلات، وغيرها.

اليوم، يرفع GenAI العلامة إلى أعلى مستوى. نعم، تحتاج إلى متخصصي الذكاء الاصطناعي (مهندسي الدفعات، ومحسّنات LLM، وغيرهم) ولكن هؤلاء المتخصصون سوف يصطدمون بالجدار إذا لم يكن لديهم أنابيب بيانات ناضجة، وإطارات حوكمة، ومنصات آمنة للعمل معها. يمكن لمهندس الذكاء الاصطناعي أن يبرز نموذج لغة رائعًا في صندوق رمل، ولكن تحويل ذلك إلى منتج يستخدمه الآلاف أو الملايين يتطلب التعاون مع فرق الأمان، وضباط الامتثال، ومهندسي البيانات، ومهندسي موثوقية الموقع، وغيرهم.

الذكاء الاصطناعي هو رياضة فريق. من الم诱ي أن تفكر أنك يمكنك إسقاط نموذج متقدم في عملك وفجأة أن تصبح مؤسسة مدفوعة بالذكاء الاصطناعي. الشركات التي تنجح مع الذكاء الاصطناعي هي تلك التي بنَت فرقًا متعددة الوظائف، أو “مصانع الذكاء الاصطناعي”، التي تجمع بين جميع هذه القطع. فرق البيانات لديهم تطوّروا بشكل فعال إلى فرق منتجات الذكاء الاصطناعي الكاملة، التي تجمع بين خبرة البيانات، والنمذجة، والهندسة، والعمليات. هم يبنيون ونشر أدواتهم بطريقة مدفوعة بالبيانات، ومنتجة للقيمة، مع توليد القيمة مضمن في كل معيار الأداء الرئيسي.

الجيل التالي من فرق البيانات

ماذا يخبئ المستقبل لفرق “البيانات” الجديدة؟ هنا نظرة على ما يأتي لفرق البيانات في السنوات القليلة القادمة:

• أقل من عمليات ETL/ELT اليدوية: سوف تتناقص عمليات تمشيط البيانات المرهقة. مع المزيد من الأنابيب التلقينية للبيانات ودعم الذكاء الاصطناعي، لن تقضي الفرق نصف وقتها في تنظيف وتنقل البيانات. سوف يتم التعامل مع عمل تمشيط البيانات بشكل متزايد بواسطة الأنظمة الذكية، مما يسمح للإنسان بالتركيز على التصميم والتحكم الجودة على مستوى أعلى.
• أقل لوحات: عصر تعديل لوحات الفلاتر بشكل لا نهاية يفقد زخمه. سوف يسمح الذكاء الاصطناعي بالاستفسارات بلغة طبيعية وتقديم رؤى ديناميكية. بدلاً من لوحات مُعدّة مسبقًا لكل سؤال، سوف يحصل المستخدمون على إجابات محادثية من الذكاء الاصطناعي (مع البيانات المصدر). سوف تقضي فرق البيانات أقل وقتًا في تطوير التقارير الثابتة وأكثر وقتًا في تدريب الذكاء الاصطناعي على توليد رؤى في الوقت الفعلي.
• مزيد من تطوير المنتجات الأصيلة للذكاء الاصطناعي: سوف تكون فرق البيانات في قلب ابتكار المنتجات. سواء كان تطوير ميزة جديدة للذكاء الاصطناعي مواجهة للعميل أو أداة داخلية مدفوعة بالذكاء الاصطناعي لتحسين العمليات، سوف تعمل هذه الفرق كفرق منتجات. سوف يطبقون ممارسات تطوير البرمجيات، واختبار سريع، وتصميم تجربة المستخدم – وليس فقط تحليل البيانات. كل فريق بيانات سوف يصبح، في الواقع، فريق منتجات الذكاء الاصطناعي يقدم قيمة أعمال مباشرة.
• وكلاء مستقلون على الصعود: في المستقبل القريب، سوف تنشر فرق البيانات وكلاء الذكاء الاصطناعي المستقلين لمعالجة القرارات الروتينية والمهام. بدلاً من مجرد توقع النتائج، سوف يكون لهذه الوكلاء صلاحية اتخاذ بعض الإجراءات (مع الإشراف). تخيل وكلاء عمليات الذكاء الاصطناعي يمكنهم اكتشاف شذوذ وتحديث تذكرة تصحيحية تلقائيًا، أو وكلاء مبيعات الذكاء الاصطناعي يمكنهم ضبط أسعار التجزئة في الوقت الفعلي. سوف تكون فرق البيانات مسؤولة عن بناء وإدارة هذه الوكلاء، ودفع حدود ما يمكن أن يتحققه التutomatisation.

في ضوء هذه التغييرات، قد يقول أحدهم بالفعل “فرق البيانات كما كنا نعرفها ميتة”. لم يعد المحللون والفنيون الذين يعملون على الجداول واللوحات، بل شيء جديد: فرق أولوية الذكاء الاصطناعي التي تتحدث لغة البيانات، والشفرة، والاستراتيجية التجارية. ولكن بعيدًا عن كونها مرثية، هذه هي احتفالية. الجيل الجديد من فرق البيانات يبدأ فقط، وأكثر قيمة من أي وقت مضى

لذا، تذكر، مهندس البيانات ميت، يعيش مهندس البيانات! فرق البيانات كما كنا نعرفها انتهت، ولكن يعيش الفريق الجديد – ليحكم في هذا العالم مدفوع بالذكاء الاصطناعي بالرؤية، والمسؤولية، والجسارة.