צוותי נתונים מתים, יחי צוותי נתונים

כן, הכותרת מעוררת ופרובוקטיבית, אבל כמנכ”ל עם שנים רבות בתחום הנתונים, עדיתי להתפתחות שמצדיקה את הדרמה. ה”צוות נתונים” המסורתי – צוות הלשכה האחורית המנתח דוחות ולוחות מחוונים – בעצם מת. במקומו, סוג חדש של צוות נתונים צומח: צוות המונע על ידי AI, עם השפעה ישירה על ההכנסות. הם אינם עוד מרכז עלות, אלא קבוצה המייצרת רווח.

המסע מבינת עסקים ללמידת מכונה

לא מזמן, צוותי נתונים היו זהים עם בינת עסקים (BI). היינו ההיסטוריונים של נתוני החברה, חיים ב-SQL ובגיליונות אלקטרוניים, מוטלים עלינו לענות על “מה קרה ברבעון האחרון?” כאשר טכנולוגיות ביג דאטה כמו Hadoop צצו והמונח “מדען נתונים” הפך למשרה החדשה וה”סקסית”, צוותי נתונים התפתחו. באמצע שנות ה-2010, עשינו יותר מדיווח; התקדמנו ל ויזואליזציה של נתונים וניתוחים אינטראקטיביים, והפיקנו לוחות מחוונים דינאמיים עבור כל מחלקה. העבודה הייתה על ניתוב נתונים, ערבוב סטים של נתונים ממקורות וצורות שונות, וניסיון להבין את הידע התחומי.

אז הגיעו שנות ה-2010 המאוחרות עם עידן הלמידה האוטומטית. צוותי נתונים החלו להעסיק מדעני נתונים כדי לבנות מודלים חיזויים ולחשוף תובנות בסטים עצומים של נתונים. עברנו מתיאור העבר לחיזוי העתיד; מודלים של נטישה, מנועי המלצות, תחזיות ביקוש – תארו לעצמכם. אבל אפילו אז, תוצאותינו היו מצגות ותובנות, לא מוצרים חיים. פעלנו כסוכנות שירותים פנימית, מייעצים לעסק באמצעות ניתוח. במילים אחרות, היינו מרכזי עלות – יקרים, כן, אבל צעד אחד מרוחק ממוצר הליבה וההכנסות.

במקרים הטובים, צוותי למידת מכונה התפזרו ליחידות נפרדות או הוטמעו בתוך קבוצות מוצר, כך שמודלים והסקה שלהם יכולים להיות משולבים לחלוטין בפלטפורמות. הפער הגדול הוביל לפרויקטים רבים שנכשלו, השקעות שטבעו והזדמנויות אבודות.

GenAI: מתפקיד תמיכה למרכז רווח

אז הגיע GenAI והכל השתנה. שחרורם של מודלי שפה גדולים וחזקים, כמו משפחת GPT וגרסאות קוד פתוח כמו Llama, היפכו את הנוף כמעט לילה. פתאום, צוותי נתונים לא רק ניתחו את העסק, אלא הפכו לחלק אינטגרלי מבניית מוצרים וחוויות AI. כאשר אתה משלב בהצלחה LLM ביישומון הפונה ללקוחות או בתהליך פנימי, אתה לא רק מודיע לעסק; אתה מניע אותו. מערכת GenAI מיושמת היטב יכולה לאוטומט את התמיכה הלקוחות, לייצר תוכן שיווקי, לאישון חוויות משתמש, או אפילו לספק את הנתונים הדרושים להדרכה ואימון מערכות AI אוטונומיות חדשות. יכולות אלו משפיעות ישירות על זרמי ההכנסות. למעשה, מוצר העבודה של צוות הנתונים עבר משקפים PowerPoint ליישומונים AI-מונעים חיים.

צוותי GenAI החלו עם קבוצות חדשנות, מספקים הוכחות קונספט שיצרו “פקטור wow”. ובמהרה, כולם היו מהנדסי AI, מפיצים IT בצללים ברחבי הארגונים.

צוותי נתונים עד מהרה מצאו עצמם מול שאלה חדשה: “מתי תהפוך למרכז רווח?” כאשר מהנדסי AI החלו ליצור כלים מדהימים, היה ברור שהגיע הזמן לאחד שני צוותים: אלו ששלטו בנתונים ואלו שבנו את היישומים.

תארו לעצמכם חברת קמעונאות המפעילה GenAI צ’אטבוט לטיפול בשאילות מכירות, או בנק המשקיע ביועץ השקעות AI-מונע. אלו אינם פרויקטים IT קלאסיים – אלו מוצרים דיגיטליים היוצרים ערך לקוחות ומייצרים הכנסות. עם זאת, בו-זמנית, כדי ליצור מערכות אלו בקנה מידה, צוותי הנדסת AI צריכים להיות מסוגלים לגשת ולהפעיל את הנתונים שצוותים מסורתיים הכינו.

מנהלים שמו לב. ציפיות מצוותי נתונים הן גבוהות עכשיו, עם דירקטוריונים ומנכ”לים המחפשים מאיתנו לספק את וקטור הצמיחה הבא של AI. עברנו מלהיות מנתחים מאחורי הקלעים ל חלוצי חדשנות. זו עמדה מרגשת להיות בה, אבל היא באה עם לחץ כבד לתת תוצאות בקנה מידה.

מחקר למוצר – דלת חד כיוונית

המעבר מניתוח חקר ל-AI מוצר-מרכזי הוא פורד ובלתי הפיך. למה בלתי הפיך? כי השפעת GenAI על העסקים מוכיחה שהיא גדולה מדי מכדי להחזיר ל-R&D. על פי סקר גלובלי אחרון, 96% ממנהלי IT כבר שילבו AI לתהליכים הליבה – עלייה מ-88% רק שנה קודם. במילים אחרות, כמעט כל חברה עברה מניסויים עם AI לשילובו בתהליכים ביקורתיים. פעם שאתה חוצה את הרף שבו AI מספק ערך בייצור, אין דרך חזרה.

התמקדות AI החדשה משנה את קצב ומנטליות צוותי נתונים. בעבר, היה לנו הפריבילגיה של פרויקטים ארוכים וניתוח פתוח. היום, אם אנו בונים תכונה AI, היא צריכה להיות מוכנה לייצור, תואמת ואמינה – כמו כל מוצר הפונה ללקוח. נכנסנו למה שחלקם קוראים “עידן האוטונומיה” של מדע נתונים. השאלה המנחה את עבודתנו איננה עוד “מה תובנות אנו יכולים לגלות?” אלא “מהי מערכת אינטליגנטית אנו יכולים לבנות שפועלת על תובנות בזמן אמת?”

מערכות GenAI אינן רק עונות על שאלות; הן מתחילות לקבל החלטות. זו דלת חד כיוונית: לאחר שחוויתם את סוג זה של אוטונומיה והשפעה, חברות לא יסתפקו בדוחות סטטיים וקבלת החלטות ידנית. עכשיו, מתמודדים עם צוותי נתונים יותר מתמיד צריכים להיות מחויבים לבעלי עניין ומוצר.

האמת הקשה: למה רוב יוזמות GenAI נכשלות

בין כל ההתלהבות, יש מציאות רצינית: רוב יוזמות GenAI נכשלות. מתברר שיישום GenAI מוצלח הוא מאתגר ביותר. מחקר MIT אחרון מצא ש 95% מפרויקטי GenAI בשלב ניסוי מעולם לא מספקים ROI מוגדר. רק כ-5% מניסויי AI אכן משיגים רווחים מהירים או השפעה עסקית משמעותית. זה לא בגלל מחסור בפוטנציאל – זה בגלל המורכבות של עשיית AI נכון.

חקירה לסיבות הכישלון, המחקר של MIT מצייר תמונה ברורה. הרבה פרויקטים מתרסקים כי “היפה על עבודה קשה” – צוותים רודפים אחרי מקרים שימושיים מרשימים במקום להשקיע ביסודות המשעממים של אינטגרציה, אימות ומעקב. אחרים נכשלים מהסינדרום הקלאסי “זבל פנימה, זבל החוצה” – איכות נתונים גרועה וצנרת נתונים מסולסלת מגיעה לפרויקט לפני ש-AI מספיק לעשות את עבודתו. לעיתים קרובות, זה לא המודל AI שפגום, אלא הסביבה המקיפה. כפי שהחוקרים אומרים, GenAI לא נכשל במעבדה; הוא נכשל בארגון כאשר הוא מתנגש עם מטרות עמומות, נתונים גרועים ותרדמה ארגונית. בפועל, רוב הניסויים של AI נעצרים בשלב ההוכחת קונספט ומעולם לא עוברים להטמעה מלאה.

המציאות הזו היא לקח יקר. היא מספרת לנו שאף על פי שצוותי נתונים עכשיו במרכז הזרקור, רובם מאבקים לעמוד בציפיות המוגברות. עבור GenAI להצליח בקנה מידה, אנו צריכים לחצות רף גבוה בהרבה ממה שעשינו בימי BI הישנים.

מעבר לפקודות חכמות: נתונים, ממשל ותשתית חשובים

מה מפריד בין 5% הפרויקטים של AI ששורדים ל-95% שנכשלים? לפי ניסיוני (וכפי שמחקר מאשר), המנצחים מתמקדים ב יכולות היסוד – נתונים, ממשל ותשתית. GenAI אינו קסם; הוא בנוי על נתונים. ללא צנרת נתונים מוכוונת ומוסדרת המזינה את המודלים, אפילו AI הטוב ביותר ייצר תוצאות אקראיות. Summit Partners אמרו זאת טוב בניתוח אחרון: “הצלחתו של כל מערכת או תהליך המשתמש ב-AI תלויה באיכות, מבנה ונגישות הנתונים המניעים אותו.”

במונחים מעשיים, זה אומר שארגונים חייבים להשקיע יותר בארכיטקטורת נתונים וממשל כאשר הם מאמצים GenAI. האם יש לכם אחסוני נתונים מאוחדים ונגישים ש-AI שלכם יכול לשאוב מהם (ואני מתכוון ל כל אחסוני הנתונים, כולל מרכזי נתונים, היפר-סקיילרים, מערכות SaaS של צד שלישי ועוד)? האם הנתונים האלו ניקיים, מסודרים ותואמים לרגולציות? האם יש שושלת נתונים ברורה ואודיטורית (כך שתוכל לבטוח בפלטים של AI ולדעת איך הם הגיעו לשם)? שאלות אלו עומדות עכשיו בחזית.

GenAI מאלץ חברות לסדר את בית הנתונים שלהן.

הממשל גם קיבל משמעות חדשה. כאשר מודל AI יכול לייצר תשובה שגויה (או מטרידה), ממשל חזק אינו אופציונלי – הוא חובה. בקרות כמו גרסאות, בדיקות הטיה, ביקורת אדם בלופ ואבטחה קפדנית סביב קלטי נתונים רגישים הן חיוניות. ללא ממשל תקין ויעדים ברורים, אפילו כלי AI חזק לא יוכל לקבל תאוצה בעסק.

ואל תשכחו את התשתית. פריסת GenAI בקנה מידה דורשת כוח חישוב משמעותי והנדסה קפדנית. מודלים צריכים להיות משרתים בזמן אמת, על פני אולי מיליוני שאילתות עם עיכוב נמוך. הם לעיתים קרובות זקוקים ל-GPU או חומרה מיוחדת, כמו גם ניטור מתמיד, אחזקה וניהול מחזור חיים. בקיצור, אתה צריך תשתית AI תעשייתית שהיא בטוחה, מסוקלת ועמידה. זהו המקום שבו מושג Private AI בא כמסגרת המאחדת תשתית עם נתונים וממשל. Private AI מתייחסת לפיתוח AI בסביבה בטוחה ומבוקרת, המבטיחה אבטחת נתונים והתאמה.

התוצאה הסופית היא שהצלחת GenAI תלויה בהרמוניה של נתונים, ממשל ו תשתית. ללא אחד מהם, אתה סוכן להצטרף ל-95% הפרויקטים שמעולם לא עוברים את שלב ההדגמה.

למה מהנדסי AI לא יכולים לעשות זאת לבד

נתון הדרישות, ברור שפשוט להעסיק מהנדסי AI מוכשרים אינו פתרון קסם. למדנו לקח זה במהלך השנים האחרונות בתעשיית הנתונים. בימיו הראשונים של הבום של מדע נתונים, חברות ניסו למצוא “יוניקורן” מדעני נתונים שיכולים לעשות הכל – לבנות מודלים, לכתוב קוד, לטפל בנתונים ובהטמעה. האגדה הזו כבר הופרכה. כפי שמדען נתונים ותיק אמר, “מודל היושב במחברת אינו עושה דברים לעסק.” אתה צריך לשבץ את המודל הזה לתוך יישומון או תהליך כדי שיצרו ערך. ועשיית זאת דורשת מאמץ קבוצתי החוצה מספר מיומנויות.

היום, GenAI מעלה את הרף עוד יותר. כן, אתה צריך מומחים AI (מהנדסי פקודות, מסנני LLM וכו’), אבל המומחים האלו ייתקלו בקיר אם לא יהיו להם צנרת נתונים בשל, מסגרות ממשל ופלטפורמות בטוחות לעבוד איתן. מהנדס AI יכול לגלות מודל שפה נהדר בסנדבוקס, אבל להפוך אותו למוצר שמשמש אלפים או מיליונים דורש שיתוף פעולה עם צוותי אבטחה, קציני תאימות, אדריכלי נתונים, מהנדסי אמינות אתר ועוד.

AI הוא ספורט קבוצתי. מפתה לחשוב שאתה יכול להוסיף מודל מתקדם לעסק שלך ופתאום להיות מונע על ידי AI. החברות שמצליחות עם AI הן אלו שבנו צוותים רב-תפקידיים, או “מפעלי AI”, שמאחדים את כל החלקים. צוותי הנתונים שלהם התפתחו באופן אפקטיבי ל צוותי מוצר AI מלאים, משלבים נתונים, מידול, הנדסה ו-אופס. הם בונים ומפריסים את הכלים שלהם בדרך נתונים-מונעת ומוצר-מונעת, עם יצירת ערך שזורה בכל KPI.

הדור הבא של צוותי נתונים

אז, מהו העתיד הצפוי ל”צוות נתונים” החדש? רמז למה שבא לצוותים אלו בשנים הבאות:

• פחות ETL/ELT ידני: עיבוד נתונים מגונה י