Die Bereinigung unserer chaotischen Daten: Wie KI das Spiel verändert

Wir ertrinken in Daten. Jede Plattform, jedes Smartwatch und jedes Smartphone fragmentiert unser Leben in quantifizierbare Bruchstücke, doch die meisten davon bleiben unverständlich und unbrauchbar.

Unternehmen wissen das, deshalb hat der Technologiekonzern Meta vor kurzem 14 Milliarden US-Dollar investiert, um 49 Prozent der Datenetikettierungs-Startup Scale AI zu erwerben, und damit eine berechnete und strategische Entscheidung getroffen, um hochwertige Trainingsdaten für seine KI-Modelle zu sichern.

Die Zuverlässigkeit von großen Sprachmodellen hängt vollständig von der Qualität der Daten ab, die sie erhalten – kurz gesagt, “Müll rein, Müll raus”. Heute jedoch ist die eigentliche Herausforderung, die Unternehmen gegenüberstehen, die Umwandlung einer Flut von rohen Informationen in handhabbare Daten.

Die Lösung könnte direkt vor uns liegen: KI selbst kann helfen, indem sie Strategien generiert, um die mühsame Aufgabe des Etikettierens von großen Datensätzen oder des Durchsuchens endloser Tabellen zu umgehen und Chaos in handhabbare, menschliche Intelligenz umzuwandeln.

Wenn Daten chaotisch werden: Die versteckten Kosten für Unternehmen

Laut einer Studie von Gartner aus dem Jahr 2020 kosten schlechte Datenqualität Unternehmen mindestens 12,9 Millionen US-Dollar pro Jahr, was die Produktivität beeinträchtigt und zu schlecht informierten Entscheidungen und ungenauen Berichten führt.

Die Folgen chaotischer Daten sind in Branchen wie der Gesundheitsversorgung besonders offensichtlich. Unvollständige Gesundheitsakten, Abrechnungsdetails und fehlende Daten über Systeme hinweg können zu Fehldiagnosen, Behandlungsfehlern und ineffizienter Ressourcenverteilung führen. Langfristig treibt dies die Kosten in die Höhe und untergräbt das Vertrauen in diese Systeme.

In der Logistik kann fehlende Übereinstimmung zwischen Lieferanten und Distributoren zu Verzögerungen oder Lagerengpässen führen. Eine falsche Lieferadresse oder ein veralteter Lagerbestand kann eine Kettenreaktion in der gesamten Lieferkette auslösen und zu verpassten Fristen und unzufriedenen Kunden führen.

“Indem wir vorhersagen oder verstehen können, was passieren könnte [entlang der Route] – basierend auf kombinierten, vergangenen Daten – können wir diese Ineffizienzen wirklich reduzieren”, betonte Asparuh Koev, CEO des Logistik-KI-Unternehmens Transmetrics, im Gespräch mit Unite AI.

In praktischer Hinsicht sind chaotische Daten teuer. Die 1-10-100-Regel veranschaulicht dies: Es kostet 1 Dollar, die Daten zu überprüfen, während sie eingegeben werden, 10 Dollar, sie später zu bereinigen, und 100 Dollar, wenn nichts unternommen wird.

Was KI-gestützte Plattformen zu bieten haben

Da Unternehmen mit zunehmenden Mengen an schmutzigen Daten zu kämpfen haben, wenden sie sich an KI nach Lösungen. Neu entstehende KI-gestützte Plattformen automatisieren nun den Datenbereinigungsprozess, was Kosten effektiv reduziert und die Genauigkeit verbessert.

Robert Giardina, Gründer von Claritype, einer solchen Plattform, erklärte den Prozess von KI: “Sie konvertiert Daten in ein gemeinsames Format: Teil des Prozesses ist es, jedes Datum in ein kanonisches Format umzuwandeln, das dem Unternehmen entspricht.”

Claritypes KI geht jedoch über die einfache Standardisierung hinaus. Die Plattform ermöglicht es Unternehmen, Systemgrenzen zu überwinden, um Antworten auf ihre dringendsten Fragen zu finden, und bricht Silos auf.

“Systeme, die zuvor getrennt waren, enthalten jeweils ein Stück der Antwort auf Fragen, die das gesamte Unternehmen betreffen”, erklärte Giardina gegenüber Unite AI.

Wenn beispielsweise ein wichtiger Lieferant von einer Versandverzögerung betroffen ist, kann ein Unternehmen nur dann bestimmen, welche seiner wichtigsten Kunden zuerst über die Verzögerung informiert werden sollten, indem es Lieferanten mit Bestellungen und Kundenhistorie verbindet.

“Unser ultimatives Ziel ist es, dieses vernetzte Denken auf alle Datenfragmente im Unternehmen auszuweiten, damit wir jede Frage leicht und sofort beantworten können”, sagte Giardina.

Diese Art des vernetzten Denkens spiegelt die umfassendere Veränderung der Denkweise in Unternehmen wider, da sie von ad-hoc-Datenbereinigung zu systematischer Datenverwaltung übergehen. Anstatt die Datenqualität als einmalige Lösung zu betrachten, entwickeln Organisationen strukturierte Prozesse, um Konsistenz und Zuverlässigkeit in allen ihren Systemen zu gewährleisten.

Datenverwaltung gilt nun als wertvoller Geschäftsprozess und nicht nur als IT-Aufgabe. Durch die Integration von Datenmanagement in ihre Gesamtsstrategien können Unternehmen bessere Entscheidungen treffen und mehr bedeutsame Erkenntnisse aus ihren Daten gewinnen.

Wie KI Daten bereinigt und die Herausforderungen, denen sie gegenübersteht

Eine zu starke Abhängigkeit von KI kann gefährlich sein. Laut Giardina sind “die besorgniserregenden automatischen Datenkonvertierungen diejenigen, die über die Standardisierung hinausgehen und zu Vermutungen führen”.

Zum Beispiel könnte eine Abkürzung leicht missverstanden werden. “International Business Machines, Inc.” oder “I.B.M.” würde normalerweise in “IBM” umgewandelt, aber wenn die Umwandlung automatisch erfolgt und “I.B.” fälschlicherweise in “IBM” umgewandelt wird, könnte dies erhebliche Probleme für beide Unternehmen verursachen.

Fehlende und ungenaue Daten sind zwei der häufigsten Probleme, und die alleinige Abhängigkeit von KI, um Lücken gemäß dem Kontext zu füllen, kann leicht kontraproduktiv sein. Wie Giardina betont, “wenn die Auswirkungen in irgendeiner Weise signifikant sind, benötigen wir einen Menschen, der jeden Vermutungsvorschlag genehmigt”.

Die Balance zwischen Automatisierung und menschlichem Einblick

Chaotische Daten heben tiefere Mängel in der Art und Weise hervor, wie Organisationen Informationen handhaben. Um voranzukommen und die Entscheidungsfindung zu verbessern, müssen Unternehmen aufhören, Daten als rein technisches Problem zu betrachten, und sich auf Governance-Modelle konzentrieren, die menschliche Expertise, ethisches Bewusstsein und eine langfristige strategische Vision kombinieren.

Sauberere Daten erzeugen effektivere KI, die wiederum dazu beiträgt, die Datenqualität zu verbessern; dieser sich selbst verstärkende Kreislauf ist vielversprechend, aber erinnert uns daran, dass die Automatisierung allein unser Problem mit chaotischen Daten nicht lösen wird. Dieses Potenzial kann nur durch die Kombination von algorithmischer Präzision mit menschlichem Urteilsvermögen und Bewusstsein für die Vorurteile, die es einführen kann, realisiert werden, um Transparenz und mehr Vertrauen in die Systeme, die wir aufbauen, zu gewährleisten.

Alex Sandoval, CEO des Herstellers von KI-gestützter Fertigungsinformation, Allie AI, betonte auch, wie generative KI-Kopiloten nicht allein auf Algorithmen basieren, sondern auf menschlicher Kompetenz in der Logik der Fabrik.

“Heute sind die erfolgreichsten Implementierungen nicht nur daran interessiert, Modelle mit umfangreichen Daten von programmierbaren Logikcontrollern (PLC), Bedienernotizen und Compliance-Protokollen zu füttern. Sie hängen von einer neuen Art von Mitarbeiter ab, der zwischen Maschinenverhalten und digitaler Intuition übersetzen kann”, schloss er.