Connect with us

Vordenker

Daten-Teams sind tot, es lebe die Daten-Teams

mm

Ja, die Überschrift ist klickbaitig und provokativ, aber als CTO mit vielen Jahren Erfahrung im Bereich Daten habe ich eine Transformation miterlebt, die den Dramatik rechtfertigt. Das traditionelle „Daten-Team“ – das Backoffice-Team, das Berichte und Dashboards auswertet – ist effektiv tot. An seiner Stelle entsteht eine neue Art von Daten-Team: ein AI-erstes, produktgetriebenes Kraftpaket mit direktem Umsatzeffekt. Sie sind nicht länger ein Kostenfaktor, sondern eine gewinnbringende Gruppe.

Die Reise von Business Intelligence zu Machine Learning

Vor nicht allzu langer Zeit waren Daten-Teams synonym mit Business Intelligence (BI). Wir waren die Historiker der Unternehmensdaten, lebten in SQL und Tabellenkalkulationen und waren damit beschäftigt, Fragen wie „Was ist im letzten Quartal passiert?“ zu beantworten. Als Big-Data-Technologien wie Hadoop aufkamen und der Begriff „Data Scientist“ zum neuen sexy Job wurde, entwickelten sich die Daten-Teams weiter. Mitte der 2010er Jahre taten wir mehr als nur Berichte erstellen; wir wagten uns in die Datenvisualisierung und interaktive Analytik vor und produzierten dynamische Dashboards für jede Abteilung. Die Arbeit bestand darin, Daten zu wranglen, Datensätze aus verschiedenen Quellen und Formen zu mischen und versucht, Domänenwissen zu verstehen.

Dann brachten die späten 2010er Jahre die Machine-Learning-Ära. Daten-Teams begannen, Data-Scientist zu beschäftigen, um Vorhersagemodelle zu erstellen und Erkenntnisse in großen Datensätzen zu gewinnen. Wir wechselten von der Beschreibung der Vergangenheit zur Vorhersage der Zukunft: Churn-Modelle, Empfehlungsmotoren, Nachfrageprognosen – nennen Sie es, wie Sie wollen. Aber selbst damals waren unsere Ausgaben Präsentationen und Erkenntnisse, nicht Live-Produkte. Wir funktionierten als interne Service-Büro, die das Geschäft durch Analysen beriet. Mit anderen Worten, wir waren Kostenstellen – wertvoll, ja, aber einen Schritt entfernt von Kernprodukt und Umsatz.

In den besten Fällen wurden Machine-Learning-Teams in separate Einheiten oder in Produktgruppen eingebettet, damit ihre Modelle und Inferenzen vollständig in Plattformen integriert werden konnten. Die große Kluft führte zu zahlreichen gescheiterten Projekten, versunkenen Investitionen und verlorenen Chancen.

GenAI: Von Support-Funktion zu Profit-Center

Dann kam GenAI und alles änderte sich. Die Veröffentlichung leistungsstarker großer Sprachmodelle wie der GPT-Familie und Open-Source-Varianten wie Llama veränderte die Landschaft virtuell über Nacht. Plötzlich waren Daten-Teams nicht länger nur damit beschäftigt, das Geschäft zu analysieren, sondern wurden integraler Bestandteil der Erstellung von KI-Produkten und -Erlebnissen. Wenn Sie ein LLM erfolgreich in eine kundenorientierte Anwendung oder einen internen Workflow integrieren, sind Sie nicht länger nur damit beschäftigt, das Geschäft zu informieren; Sie treiben es an. Ein gut implementiertes GenAI-System kann Kundensupport automatisieren, Marketing-Inhalte generieren, Benutzererlebnisse personalisieren oder sogar die Daten liefern, die erforderlich sind, um aufkommende agierende KI-Systeme zu informieren und zu trainieren. Diese Fähigkeiten wirken sich direkt auf Umsatzströme aus. In der Tat hat sich das Arbeitsprodukt der Daten-Teams von PowerPoint-Präsentationen zu Live-KI-Anwendungen verschoben.

GenAI-Teams begannen mit Innovationsgruppen, die Proof-of-Concepts lieferten, die den „Wow-Faktor“ erzeugten. Und bald darauf war jeder ein KI-Ingenieur, der Schatten-IT über Organisationen verbreitete.

Daten-Teams sahen sich bald mit einer neuen Frage konfrontiert: „Wann werden Sie zu einem Profit-Center?“ Als KI-Ingenieure beeindruckende Tools erstellten, war es klar, dass der Zeitpunkt gekommen war, zwei Teams zu fusionieren: diejenigen, die die Daten kontrollierten, und diejenigen, die die Anwendungen erstellten.

Betrachten Sie ein Einzelhandelsunternehmen, das einen GenAI-Chatbot für den Umgang mit Verkaufsabfragen bereitstellt, oder eine Bank, die einen KI-gesteuerten, personalisierten Anlageberater startet. Diese sind keine traditionellen IT-Seitenprojekte – sie sind digitale Produkte, die Kundenwert schaffen und Umsatz generieren. Allerdings müssen KI-Engineering-Teams, um diese Systeme im großen Maßstab zu erstellen, in der Lage sein, auf die Daten zuzugreifen und zu operationalisieren, die traditionellen Teams vorbereitet haben.

Führungskräfte haben es bemerkt. Die Erwartungen an Daten-Teams sind jetzt himmelhoch, mit Vorständen und CEOs, die von uns erwarten, den nächsten KI-gesteuerten Wachstumsvektor zu liefern. Wir sind von hinter den Kulissen stehenden Analysten zu Front-Line-Innovatoren geworden. Es ist eine aufregende Position, in der man sich befindet, aber sie kommt mit intensivem Druck, Ergebnisse im großen Maßstab zu liefern.

Von Exploration zu Produkt – Eine Einweg-Tür

Der Wechsel von explorativer Analyse zu produktzentrierter KI ist tiefgreifend und unwiderruflich. Warum unwiderruflich? Weil GenAIs Auswirkungen auf das Geschäft zu groß sind, um es wieder auf ein R&D-Spielzeug zu reduzieren. Laut einer jüngsten globalen Umfrage haben 96% der IT-Führungskräfte GenAI bereits in ihre Kernprozesse integriert – im Vergleich zu 88% im Vorjahr. Mit anderen Worten, fast jedes Unternehmen ist von der Experimentierung mit KI zur Einbettung in mission-kritische Workflows übergegangen. Sobald Sie diese Schwelle überschritten haben, an der KI in der Produktion Wert liefert, gibt es kein Zurück.

Diese neue KI-gesteuerte Ausrichtung ändert das Tempo und die Denkweise der Daten-Teams. In der Vergangenheit hatten wir das Luxus von langen Entdeckungsprojekten und offenen Analysen. Heute, wenn wir ein KI-Feature erstellen, muss es produktionsbereit, konform und zuverlässig sein – wie jedes kundenorientierte Produkt. Wir sind in das eingetreten, was einige als „Autonome Ära“ der Datenwissenschaft bezeichnen. Die Frage, die unsere Arbeit leitet, lautet nicht länger „Welche Erkenntnisse können wir gewinnen?“ sondern „Welches intelligente System können wir bauen, das in Echtzeit auf Erkenntnisse reagiert?“

GenAI-Systeme beantworten nicht nur Fragen; sie beginnen, Entscheidungen zu treffen. Es ist eine Einweg-Tür: Nachdem man diese Art von Autonomie und Auswirkung erlebt hat, werden Unternehmen nicht mehr mit statischen Berichten und manueller Entscheidungsfindung zufrieden sein. Jetzt mehr denn je müssen Daten-Teams stakeholder- und produktorientiert sein.

Die harte Wahrheit: Warum die meisten GenAI-Initiativen scheitern

Mitten in all der Aufregung gibt es eine nüchterne Realität: die meisten GenAI-Initiativen scheitern. Es stellt sich heraus, dass die erfolgreiche Bereitstellung von GenAI extrem herausfordernd ist. Eine jüngste MIT-Studie fand heraus, dass 95% der GenAI-Pilotprojekte von Unternehmen nie einen messbaren ROI liefern. Nur etwa 5% der KI-Pilotprojekte erzielen tatsächlich schnelle Umsatzgewinne oder einen bedeutenden Geschäftseffekt. Dies liegt nicht am Mangel an Potenzial – es liegt an der Komplexität, KI richtig zu machen.

Wenn man in die Gründe für das Scheitern eindringt, zeichnet die MIT-Forschung ein klares Bild. Viele Projekte stolpern, weil sie „Hype über harte Arbeit“ betreiben – Teams jagen nach beeindruckenden Demo-Anwendungsfällen, anstatt in die langweiligen Grundlagen von Integration, Validierung und Überwachung zu investieren. Andere scheitern am klassischen „Müll rein, Müll raus“-Syndrom – schlechte Datenqualität und siloartige Datenpipelines verurteilen das Projekt zum Scheitern, bevor die KI überhaupt ihre Arbeit tun kann. Oftmals ist es nicht das KI-Modell, das fehlerhaft ist, sondern die umgebende Umgebung. Wie die Forscher es ausdrücken, scheitert GenAI nicht im Labor; es scheitert im Unternehmen, wenn es mit vagen Zielen, schlechten Daten und organisatorischer Trägheit kollidiert. In der Praxis bleiben die meisten KI-Pilotprojekte auf der Proof-of-Concept-Phase und gelangen nie zur vollständigen Produktionsbereitstellung.

Diese Realitätsprüfung ist eine wertvolle Lektion. Sie sagt uns, dass selbst wenn Daten-Teams jetzt im Rampenlicht stehen, die Mehrheit von ihnen kämpft, um die erhöhten Erwartungen zu erfüllen. Damit GenAI im großen Maßstab erfolgreich sein kann, müssen wir eine viel höhere Hürde überspringen als in den alten BI-Tagen.

Jenseits cleverer Prompts: Daten, Governance und Infrastruktur sind wichtig

Was unterscheidet die 5% der KI-Projekte, die gedeihen, von den 95%, die scheitern? In meiner Erfahrung (und wie Forschung bestätigt) konzentrieren sich die Gewinner auf grundlegende Fähigkeiten – Daten, Governance und Infrastruktur. GenAI ist kein Zauber; es basiert auf Daten. Ohne hochwertige, gut regierte Datenpipelines, die Ihre Modelle speisen, werden sogar die besten KI-Systeme unvorhersehbare Ergebnisse liefern. Summit Partners drückten es in einer jüngsten Analyse gut aus: „Der Erfolg jedes Systems oder Prozesses, der KI verwendet, hängt von der Qualität, Struktur und Zugänglichkeit der Daten ab, die ihn antreiben.“

In praktischer Hinsicht bedeutet dies, dass Organisationen bei der Einführung von GenAI ihre Datenarchitektur und -governance verdoppeln müssen. Haben Sie einheitliche, zugängliche Datenlager, auf die Ihre KI zugreifen kann (und ich meine alle Datenlager, einschließlich Rechenzentren, Hyperscalern und externer SaaS-Systeme)? Sind diese Daten gereinigt, kuratiert und konform mit Vorschriften? Gibt es eine klare Datenherkunft und Prüfbarkeit (damit Sie KI-Ausgaben vertrauen und wissen, wie sie entstanden sind)? Diese Fragen stehen nun im Vordergrund.

GenAI zwingt Unternehmen, endlich ihre Daten in Ordnung zu bringen.

Governance hat auch eine neue Bedeutung gewonnen. Wenn ein KI-Modell potenziell eine falsche Antwort (oder eine anstößige) liefern kann, sind robuste Governance-Strukturen nicht optional – sie sind zwingend erforderlich. Kontrollen wie Versionierung, Voreingenommenheitsprüfungen, menschliche Überprüfung und strenge Sicherheitsmaßnahmen für sensible Daten sind unerlässlich. Ohne ordnungsgemäße Governance, Schulung und klare Ziele wird sogar ein starkes KI-Tool Schwierigkeiten haben, im Geschäft Fuß zu fassen.

Und lassen Sie uns die Infrastruktur nicht vergessen. Die Bereitstellung von GenAI im großen Maßstab erfordert erhebliche Rechenleistung und rigorose Ingenieurskunst. Modelle müssen in Echtzeit bereitgestellt werden, über möglicherweise Millionen von Abfragen mit geringer Latenz. Sie benötigen oft GPUs oder spezielle Hardware sowie kontinuierliche Überwachung, Wartung und Lebenszyklusmanagement. Kurz gesagt, Sie benötigen eine industrietaugliche KI-Infrastruktur, die sicher, skalierbar und widerstandsfähig ist. Hier kommt das Konzept von Private AI ins Spiel als Rahmenwerk, das Infrastruktur mit Daten und Governance verbindet. Private AI bezieht sich auf die Entwicklung von KI in einer kontrollierten und sicheren Umgebung, um Datensicherheit und -konformität zu gewährleisten.

Das Wesentliche ist, dass der Erfolg von GenAI von der Harmonie von drei Säulen abhängt: Daten, Governance und Infrastruktur. Ohne eine davon riskieren Sie, zu den 95% der Projekte zu gehören, die nie über die Demo-Phase hinausgehen.

Warum KI-Ingenieure es allein nicht schaffen

Angesichts dieser Anforderungen ist es klar, dass die bloße Einstellung von einigen talentierten KI-Ingenieuren kein Allheilmittel ist. Wir haben diese Lektion in den letzten Jahren in der Datenindustrie gelernt. In den frühen Tagen des Data-Science-Booms versuchten Unternehmen, „Einhorn“-Data-Scientist zu finden, die alles können – Modelle bauen, Code schreiben, Daten und Bereitstellung handhaben. Dieser Mythos wurde seitdem entzaubert. Wie ein erfahrener Data-Scientist es ausdrückte, „ein Modell, das in einem Notebook sitzt, tut tatsächlich nichts für das Geschäft.“ Sie müssen das Modell in eine Anwendung oder einen Prozess einbetten, damit es einen Wert schafft. Und das erfordert ein Team-Effort, der mehrere Fähigkeiten umfasst.

In den späten 2010er Jahren sahen wir, wie Daten-Teams in unterschiedliche Rollen diversifizierten: Daten-Ingenieure bauten robuste Pipelines, Machine-Learning-Ingenieure konzentrierten sich auf die Produktion von Modellen, Analytics-Ingenieure verwalteten die Analytics-Ebene und so weiter.

Heute erhöht GenAI die Latte noch höher. Ja, Sie benötigen KI-Spezialisten (Prompt-Ingenieure, LLM-Feinabstimmer usw.), aber diese Spezialisten werden an eine Grenze stoßen, wenn sie nicht über reife Datenpipelines, Governance-Rahmen und sichere Plattformen verfügen. Ein KI-Ingenieur kann ein großartiges Sprachmodell im Sandkasten prototypen, aber es in ein Produkt umzuwandeln, das von Tausenden oder Millionen verwendet wird, erfordert die Zusammenarbeit mit Sicherheitsteams, Compliance-Offizieren, Datenarchitekten, Site-Reliability-Ingenieuren und mehr.

KI ist ein Team-Sport. Es ist verlockend, zu denken, dass Sie ein State-of-the-Art-Modell in Ihr Geschäft fallen lassen und plötzlich ein KI-getriebenes Unternehmen haben. Die Unternehmen, die mit KI erfolgreich sind, sind diejenigen, die cross-funktionale Teams oder „KI-Fabriken“ aufgebaut haben, die all diese Teile zusammenbringen. Ihre Daten-Teams haben sich effektiv in Full-Stack-KI-Produkt-Teams entwickelt, die Daten, Modellierung, Ingenieurskunst und Betriebsexpertise miteinander verbinden. Sie bauen und bereitstellen ihre Tools auf datengetriebene, produktgeführte Weise, mit Wertgenerierung in jedem KPI.

Die nächste Generation von Daten-Teams

Was hält die Zukunft für das neue „Daten-Team“ bereit? Hier ist ein Blick darauf, was in den nächsten Jahren auf diese Teams zukommt:

  • Weniger manuelle ETL/ELT: Langweilige Datenwrangling wird abnehmen. Mit mehr automatischen Datenpipelines und KI-gestützter Integration werden Teams nicht mehr die Hälfte ihrer Zeit mit dem Reinigen und Verschieben von Daten verbringen. Die Schwerarbeit der Datenpräparation wird zunehmend von intelligenten Systemen übernommen, sodass Menschen sich auf höhere Design- und Qualitätskontrollen konzentrieren können.
  • Weniger Dashboards: Die Ära des endlosen Abstimmen von Dashboard-Filtern ist im Verschwinden begriffen. KI ermöglicht es, natürlichere Sprachabfragen und dynamische Erkenntnisse zu liefern. Anstatt vordefinierter Dashboards für jede Frage erhalten Benutzer konversationale Antworten von KI (mit Quelldaten). Daten-Teams werden weniger Zeit mit der Entwicklung statischer Berichte verbringen und mehr Zeit damit, KI zu trainieren, um Erkenntnisse in Echtzeit zu generieren.
  • Mehr KI-native Produktentwicklung: Daten-Teams werden im Herzen der Produktinnovation stehen. Ob es darum geht, ein neues kundenorientiertes KI-Feature zu entwickeln oder ein internes KI-Tool, das den Betrieb optimiert, diese Teams werden als Produkt-Teams agieren. Sie werden Software-Entwicklungspraktiken, schnelle Prototypen, A/B-Tests und Benutzererfahrungsentwurf anwenden – nicht nur Datenanalyse. Jedes Daten-Team wird effektiv ein KI-Produkt-Team sein, das direkten Geschäftswert liefert.
  • Autonome Agenten auf dem Vormarsch: In nicht allzu ferner Zukunft werden Daten-Teams autonome KI-Agenten bereitstellen, um Routineentscheidungen und -aufgaben zu übernehmen. Anstatt nur Ergebnisse vorherzusagen, werden diese Agenten autorisiert sein, bestimmte Aktionen auszuführen (mit Aufsicht). Stellen Sie sich einen KI-Operations-Agenten vor, der eine Anomalie erkennen und automatisch ein Remediation-Ticket öffnen kann, oder einen Vertriebs-KI-Agenten, der E-Commerce-Preise in Echtzeit anpasst. Daten-Teams werden für den Bau und die Verwaltung dieser Agenten verantwortlich sein und die Grenzen dessen erweitern, was Automatisierung erreichen kann.

Im Lichte dieser Veränderungen könnte man tatsächlich sagen: „Daten-Teams, wie wir sie kannten, sind tot.“ Die Tabellenkalkulations-Jockeys und Dashboard-Installateure haben Platz gemacht für etwas Neues: KI-erste Teams, die in Daten, Code und Geschäftsstrategie fließend sind. Aber weit davon entfernt, eine Trauerrede zu halten, ist dies eine Feier. Die neue Generation von Daten-Teams fängt gerade an, und sie sind wertvoller denn je.

Also, denken Sie daran, der Daten-Ingenieur ist tot, es lebe der Daten-Ingenieur! Die Daten-Teams, wie wir sie kannten, sind verschwunden, aber es lebe die neuen Daten-Teams – mögen sie in dieser KI-getriebenen Welt mit Erkenntnis, Verantwortung und Kühnheit herrschen.

Sergio Gago ist CTO von Cloudera, bringt 20+ Jahre Erfahrung in AI/ML, Quantencomputing und datengetriebenen Architekturen mit. Zuvor war er Managing Director von AI/ML & Quantum bei Moody’s Analytics, hatte er auch CTO-Rollen bei Rakuten, Qapacity und Zinio inne. Sergio ist ein starker Befürworter von vertrauenswürdiger Dateninfrastruktur und glaubt, dass AI bis 2030 zum Betriebssystem des Unternehmens werden wird.