Vordenker

Daten-Teams sind tot, lang lebe die Daten-Teams

mm

Ja, die Überschrift ist klickbaitig und provokativ, aber als CTO mit vielen Jahren Erfahrung im Bereich Daten habe ich eine Transformation miterlebt, die den Dramatismus rechtfertigt. Das traditionelle „Daten-Team“ – die Backoffice-Crew, die Berichte und Dashboards auswertet – ist effektiv tot. An seiner Stelle entsteht ein neues Art von Daten-Team: ein AI-erstes, produktgetriebenes Kraftpaket mit direktem Umsatzeffekt. Sie sind nicht länger ein Kostenfaktor, sondern ein gewinnbringendes Team.

Die Reise von Business Intelligence zu Machine Learning

Vor nicht allzu langer Zeit waren Daten-Teams synonym mit Business Intelligence (BI). Wir waren die Historiker der Unternehmensdaten, lebten in SQL und Tabellenkalkulationen und waren damit betraut, Fragen wie „Was ist im letzten Quartal passiert?“ zu beantworten. Als Big-Data-Technologien wie Hadoop aufkamen und der Begriff „Data Scientist“ zum neuen sexy Job wurde, entwickelten sich die Daten-Teams weiter. Mitte der 2010er Jahre taten wir mehr als nur Berichte erstellen; wir wagten uns in die Datenvisualisierung und interaktive Analysen vor und produzierten dynamische Dashboards für jedes Department. Die Arbeit bestand darin, Daten zu wranglen, Datensätze aus disparaten Quellen und Formen zu mischen und zu versuchen, Domänenwissen zu verstehen.

Dann brachte das späte 2010er-Jahrzehnt die Ära des Machine Learning. Daten-Teams begannen, Data-Scientists einzustellen, um Vorhersagemodelle zu erstellen und Erkenntnisse in großen Datensätzen zu entdecken. Wir wechselten von der Beschreibung der Vergangenheit zur Vorhersage der Zukunft: Churn-Modelle, Empfehlungsmotoren, Nachfrageprognosen – nennen Sie es, wie Sie wollen. Aber auch damals waren unsere Ausgaben Slide-Decks und Erkenntnisse, nicht Live-Produkte. Wir funktionierten als interne Service-Büros, die das Unternehmen durch Analysen berieten. Mit anderen Worten, wir waren Kostenfaktoren – wertvoll, ja, aber einen Schritt entfernt von Kernprodukten und Umsatz.

In den besten Fällen wurden Machine-Learning-Teams in separate Einheiten oder in Produktgruppen eingebettet, sodass ihre Modelle und Inferenzen vollständig in Plattformen integriert werden konnten. Die große Kluft führte zu zahlreichen gescheiterten Projekten, versenkten Investitionen und verlorenen Chancen.

GenAI: Von Support-Funktion zu Profit-Center

Dann kam GenAI und alles änderte sich. Die Veröffentlichung leistungsstarker großer Sprachmodelle wie der GPT-Familie und Open-Source-Varianten wie Llama änderte die Landschaft virtuell über Nacht. Plötzlich waren Daten-Teams nicht mehr nur damit beschäftigt, das Unternehmen zu analysieren, sondern wurden integraler Bestandteil der Erstellung von AI-Produkten und -Erfahrungen. Wenn Sie ein LLM erfolgreich in eine Kundenanwendung oder einen internen Workflow integrieren, sind Sie nicht mehr nur damit beschäftigt, das Unternehmen zu informieren; Sie treiben es an. Ein gut implementiertes GenAI-System kann Kundenunterstützung automatisieren, Marketing-Inhalte generieren, Benutzeroberflächen personalisieren oder sogar die notwendigen Daten liefern, um aufkommende agierende AI-Systeme zu informieren und zu trainieren. Diese Fähigkeiten wirken sich direkt auf Umsatzströme aus. In der Tat hat sich das Arbeitsprodukt des Daten-Teams von PowerPoint-Folien zu Live-AI-Produkten verschoben.

GenAI-Teams begannen mit Innovationsgruppen, die Proof-of-Concepts lieferten, die einen „Wow-Faktor“ erzeugten. Und bald darauf war jeder ein AI-Ingenieur, der Schatten-IT über Organisationen verbreitete.

Daten-Teams fanden sich bald mit einer neuen Frage konfrontiert: „Wann werden Sie ein Profit-Center?“ Als AI-Ingenieure fantastische Tools erstellten, war es klar, dass es Zeit war, zwei Teams zu fusionieren: diejenigen, die die Daten kontrollierten, und diejenigen, die die Anwendungen erstellten.

Betrachten Sie ein Einzelhandelsunternehmen, das ein GenAI-Chatbot für den Umgang mit Verkaufsfragen einsetzt, oder eine Bank, die einen AI-getriebenen, personalisierten Investitionsberater startet. Diese sind keine traditionellen IT-Seitenprojekte – sie sind digitale Produkte, die Kundenwert schaffen und Umsatz generieren. Allerdings benötigen AI-Engineering-Teams, um diese Systeme im großen Maßstab zu erstellen, Zugang zu den Daten, die traditionelle Teams vorbereitet haben.

Führungskräfte haben es bemerkt. Die Erwartungen an Daten-Teams sind jetzt himmelhoch, mit Vorständen und CEOs, die von uns erwarten, den nächsten AI-getriebenen Wachstumsvektor zu liefern. Wir sind von hinter den Kulissen tätigen Analysten zu Front-Line-Innovatoren geworden. Es ist eine aufregende Position, aber sie bringt auch intensiven Druck mit sich, Ergebnisse im großen Maßstab zu liefern.

Von der Exploration zum Produkt – Eine Einbahnstraße

Der Wechsel von der exploratorischen Analyse zu produktzentrierten AI ist tiefgreifend und unwiderruflich. Warum unwiderruflich? Weil der Einfluss von GenAI auf das Unternehmen zu groß ist, um ihn wieder auf ein R&D-Spielzeug zu reduzieren. Laut einer jüngsten globalen Umfrage haben 96% der IT-Führungskräfte GenAI bereits in ihre Kernprozesse integriert – im Vergleich zu 88% im Vorjahr. Mit anderen Worten, fast jedes Unternehmen ist von der Experimentierung mit AI zu dessen Einbettung in mission-kritische Workflows übergegangen. Sobald Sie diese Schwelle überschritten haben, an der AI-Wert in der Produktion liefert, gibt es kein Zurück.

Diese neue AI-getriebene Ausrichtung ändert das Tempo und die Denkweise der Daten-Teams. In der Vergangenheit hatten wir das Luxus, lange Entdeckungsprojekte und offene Analysen durchzuführen. Heute, wenn wir ein AI-Feature erstellen, muss es produktionsbereit, konform und zuverlässig sein – wie jedes kundenorientierte Produkt. Wir sind in das eingetreten, was einige als „Autonome Ära“ der Datenwissenschaft bezeichnen. Die Frage, die unsere Arbeit leitet, lautet nicht mehr „Welche Erkenntnisse können wir entdecken?“, sondern „Welches intelligente System können wir bauen, das in Echtzeit auf Erkenntnisse reagiert?“

GenAI-Systeme beantworten nicht nur Fragen; sie beginnen, Entscheidungen zu treffen. Es ist eine Einbahnstraße: Nachdem man diese Art von Autonomie und Auswirkung erlebt hat, werden Unternehmen nicht mehr mit statischen Berichten und manueller Entscheidungsfindung zufrieden sein. Jetzt mehr denn je benötigen Daten-Teams eine Ausrichtung auf Stakeholder und Produkte.

Die harte Wahrheit: Warum die meisten GenAI-Initiativen scheitern

Mitten in all der Aufregung gibt es eine nüchterne Realität: Die meisten GenAI-Initiativen scheitern. Es stellt sich heraus, dass die erfolgreiche Einrichtung von GenAI extrem herausfordernd ist. Eine aktuelle MIT-Studie fand heraus, dass ein beeindruckender 95% der GenAI-Pilotprojekte nie einen messbaren ROI liefert. Nur etwa 5% der AI-Pilotprojekte erzielen tatsächlich schnelle Umsatzgewinne oder einen bedeutenden Geschäftseffekt. Dies liegt nicht an mangelndem Potenzial – es liegt an der Komplexität, AI richtig zu machen.

Wenn man in die Ursachen des Scheiterns eindringt, zeichnet die MIT-Forschung ein klares Bild. Viele Projekte stolpern, weil sie „Hype über harte Arbeit“ betreiben – Teams jagen nach beeindruckenden Demo-Anwendungsfällen, anstatt in die langweiligen Grundlagen der Integration, Validierung und Überwachung zu investieren. Andere scheitern am klassischen „Müll rein, Müll raus“-Syndrom – schlechte Datenqualität und siloartige Datenpipelines verurteilen das Projekt zum Scheitern, bevor die AI überhaupt ihre Arbeit tun kann. Oft ist es nicht das AI-Modell, das fehlerhaft ist, sondern die umgebende Umgebung. Wie die Forscher es ausdrücken, scheitert GenAI nicht im Labor; es scheitert im Unternehmen, wenn es mit vagen Zielen, schlechten Daten und organisatorischer Trägheit kollidiert. In der Praxis bleiben die meisten AI-Pilotprojekte auf der Proof-of-Concept-Phase und kommen nie zur vollständigen Produktionsbereitstellung.

Diese Realitätsprüfung ist eine wertvolle Lektion. Sie sagt uns, dass auch wenn Daten-Teams jetzt im Rampenlicht stehen, die meisten von ihnen kämpfen, um die erhöhten Erwartungen zu erfüllen. Um GenAI im großen Maßstab zu erfolgreich zu machen, müssen wir eine höhere Hürde überspringen als in den alten BI-Tagen.

Jenseits cleverer Prompts: Daten, Governance und Infrastruktur zählen

Was unterscheidet die 5% der AI-Projekte, die gedeihen, von den 95%, die scheitern? In meiner Erfahrung (und wie Forschung bestätigt) konzentrieren sich die Gewinner auf grundlegende Fähigkeiten – Daten, Governance und Infrastruktur. GenAI ist kein Zauber; es basiert auf Daten. Ohne hochwertige, gut regierte Datenpipelines, die Ihre Modelle füttern, werden sogar die besten AI-Modelle unvorhersehbare Ergebnisse liefern. Summit Partners drückten es in einer jüngsten Analyse gut aus: „Der Erfolg jedes Systems oder Prozesses, der AI verwendet, hängt von der Qualität, Struktur und Zugänglichkeit der Daten ab, die es antreibt.“

In praktischer Hinsicht bedeutet dies, dass Organisationen bei der Einführung von GenAI ihre Datenarchitektur und -governance verdoppeln müssen. Haben Sie einheitliche, zugängliche Datenlager, auf die Ihre AI zugreifen kann (und ich meine alle Datenlager, einschließlich Rechenzentren, Hyperscalern und Drittanbieter-SaaS-Systemen)? Ist diese Daten gereinigt, kuratiert und konform mit Vorschriften? Gibt es eine klare Datenherkunft und Prüfbarkeit (damit Sie AI-Ausgaben vertrauen und wissen, wie sie entstanden sind)? Diese Fragen stehen jetzt im Vordergrund.

GenAI zwingt Unternehmen, endlich ihr Datenhaus in Ordnung zu bringen.

Governance hat auch eine neue Bedeutung gewonnen. Wenn ein AI-Modell möglicherweise eine falsche Antwort (oder eine anstößige) liefern kann, ist robuste Governance nicht optional – es ist obligatorisch. Kontrollen wie Versionierung, Voreingenommenheitsprüfungen, menschliche Überprüfung und strenge Sicherheitsmaßnahmen für sensible Daten sind unerlässlich. Ohne ordnungsgemäße Governance, Schulung und klare Ziele wird sogar ein starkes AI-Tool Schwierigkeiten haben, im Unternehmen Fuß zu fassen.

Und lassen Sie uns die Infrastruktur nicht vergessen. Die Bereitstellung von GenAI im großen Maßstab erfordert erhebliche Rechenleistung und rigoroses Engineering. Modelle müssen in Echtzeit bereitgestellt werden, über möglicherweise Millionen von Abfragen mit niedriger Latenz. Sie benötigen oft GPUs oder spezielle Hardware sowie kontinuierliche Überwachung, Beibehaltung und Lebenszyklusverwaltung. Kurz gesagt, Sie benötigen eine industrielle AI-Infrastruktur, die sicher, skalierbar und widerstandsfähig ist. Hier kommt das Konzept von Private AI ins Spiel, das Infrastruktur mit Daten und Governance verbindet. Private AI bezieht sich auf die Entwicklung von AI in einer kontrollierten und sicheren Umgebung, um Datensicherheit und -konformität zu gewährleisten.

Das Fazit ist, dass der Erfolg von GenAI von der Harmonie von drei Säulen abhängt: Daten, Governance und Infrastruktur. Ohne eine davon riskieren Sie, zu den 95% der Projekte zu gehören, die nie über die Demo-Phase hinauskommen.

Warum AI-Ingenieure es nicht alleine schaffen

Angesichts dieser Anforderungen ist es klar, dass das bloße Einstellen einiger talentierter AI-Ingenieure kein Allheilmittel ist. Wir haben diese Lektion in den letzten Jahren in der Datenindustrie gelernt. In den frühen Tagen des Data-Science-Booms versuchten Unternehmen, „Einhorn“-Data-Scientists zu finden, die alles tun konnten – Modelle bauen, Code schreiben, Daten und Bereitstellung handhaben. Dieser Mythos wurde seitdem entkräftet. Wie ein erfahrener Data-Scientist es ausdrückte, „Ein Modell, das in einem Notebook sitzt, tut tatsächlich nichts für das Unternehmen.“ Sie müssen das Modell in eine Anwendung oder einen Prozess einbetten, damit es Wert schafft. Und das erfordert ein Team, das mehrere Fähigkeiten umfasst.

In den späten 2010er Jahren sahen wir, wie Daten-Teams in verschiedene Rollen diversifizierten: Daten-Ingenieure bauten robuste Pipelines, Machine-Learning-Ingenieure konzentrierten sich auf die Produktion von Modellen, Analytics-Ingenieure verwalteten die Analytics-Ebene und so weiter.

Heute erhöht GenAI die Latte noch höher. Ja, Sie benötigen AI-Spezialisten (Prompt-Ingenieure, LLM-Feinabstimmung usw.), aber diese Spezialisten werden an eine Grenze stoßen, wenn sie nicht über reife Datenpipelines, Governance-Rahmen und sichere Plattformen verfügen. Ein AI-Ingenieur kann ein großartiges Sprachmodell in einem Sandbox prototypisch erstellen, aber es in ein Produkt umzuwandeln, das von Tausenden oder Millionen verwendet wird, erfordert die Zusammenarbeit mit Sicherheitsteams, Compliance-Offizieren, Datenarchitekten, Site-Reliability-Ingenieuren und mehr.

AI ist ein Team-Sport. Es ist verlockend, zu denken, Sie könnten ein State-of-the-Art-Modell in Ihr Unternehmen fallen lassen und plötzlich ein AI-getriebenes Unternehmen haben. Die Unternehmen, die mit AI erfolgreich sind, sind diejenigen, die cross-funktionale Teams oder „AI-Fabriken“ aufgebaut haben, die all diese Teile zusammenbringen. Ihre Daten-Teams haben sich effektiv in Full-Stack-AI-Produkt-Teams entwickelt, die Daten, Modellierung, Engineering und Ops-Expertise kombinieren. Sie bauen und bereitstellen ihre Tools auf datengetriebene, produktgeführte Weise, mit Wertgenerierung in jedem KPI.

Die nächste Generation von Daten-Teams

Was hält die Zukunft für das neue „Daten-Team“ bereit? Hier ist ein Blick darauf, was in den nächsten Jahren kommt:

  • Weniger manuelle ETL/ELT: Langweilige Datenwrangling wird verschwinden. Mit mehr automatischen Datenpipelines und AI-gestützter Integration werden Teams nicht mehr die Hälfte ihrer Zeit mit Datenreinigung und -verschiebung verbringen. Die Schwerarbeit der Datenpräparation wird zunehmend von intelligenten Systemen übernommen, sodass Menschen sich auf höhere Design- und Qualitätskontrollen konzentrieren können.
  • Weniger Dashboards: Die Ära der endlosen Anpassung von Dashboard-Filtern ist im Verschwinden begriffen. AI ermöglicht eine natürlichere Sprachabfrage und dynamische Erkenntnislieferung. Anstatt vordefinierter Dashboards für jede Frage werden Benutzer konversationale Antworten von AI erhalten (mit Quelldaten). Daten-Teams werden weniger Zeit damit verbringen, statische Berichte zu entwickeln, und mehr Zeit damit, AI zu trainieren, um Erkenntnisse in Echtzeit zu liefern.
  • Mehr AI-native Produktentwicklung: Daten-Teams werden im Herzen der Produktinnovation stehen. Ob es darum geht, ein neues kundenorientiertes AI-Feature zu entwickeln oder ein internes AI-Tool, das den Betrieb optimiert, diese Teams werden als Produkt-Teams fungieren. Sie werden Software-Entwicklungspraktiken, schnelles Prototyping, A/B-Testing und User-Experience-Design anwenden – nicht nur Datenanalyse. Jedes Daten-Team wird effektiv ein AI-Produkt-Team werden, das direkten Geschäftswert liefert.
  • Autonome Agenten auf dem Vormarsch: In nicht allzu ferner Zukunft werden Daten-Teams autonome AI-Agenten bereitstellen, um Routineentscheidungen und -aufgaben zu übernehmen. Anstatt nur Ergebnisse vorherzusagen, werden diese Agenten autorisiert sein, bestimmte Aktionen auszuführen (mit Aufsicht). Stellen Sie sich vor, ein AI-Operations-Agent, der eine Anomalie erkennen und automatisch ein Remediation-Ticket öffnen kann, oder ein Sales-AI-Agent, der E-Commerce-Preise in Echtzeit anpasst. Daten-Teams werden für den Bau und die Verwaltung dieser Agenten verantwortlich sein und die Grenzen dessen erweitern, was Automatisierung erreichen kann.

Im Lichte dieser Veränderungen könnte man tatsächlich sagen: „Daten-Teams, wie wir sie kannten, sind tot.“ Die Tabellenkalkulations- und Dashboard-Experten haben einem neuen Typ von Daten-Team Platz gemacht: AI-ersten Teams, die in Daten, Code und Geschäftsstrategie flüssig sind. Aber weit davon entfernt, eine Trauerrede zu halten, ist dies eine Feier. Die neue Generation von Daten-Teams beginnt gerade, und sie sind wertvoller denn je.

Also, denken Sie daran: Der Daten-Ingenieur ist tot, lang lebe der Daten-Ingenieur! Die Daten-Teams, wie wir sie kannten, sind verschwunden, aber lang lebe die neuen Daten-Teams – mögen sie in dieser AI-getriebenen Welt mit Erkenntnis, Verantwortung und Kühnheit herrschen.

Sergio Gago ist CTO von Cloudera, mit über 20 Jahren Erfahrung in AI/ML, Quantencomputing und datengetriebenen Architekturen. Zuvor war er Managing Director von AI/ML und Quanten bei Moody's Analytics und hatte auch CTO-Rollen bei Rakuten, Qapacity und Zinio inne. Sergio ist ein starker Befürworter von vertrauenswürdiger Dateninfrastruktur und glaubt, dass AI bis 2030 zum Betriebssystem des Unternehmens werden wird.