Ist traditionelles Machine Learning noch relevant?

In den letzten Jahren hat Generative KI vielversprechende Ergebnisse bei der Lösung komplexer KI-Aufgaben gezeigt. Moderne KI-Modelle wie ChatGPT, Bard, LLaMA, DALL-E.3 und SAM haben bemerkenswerte Fähigkeiten bei der Lösung multidisziplinärer Probleme wie visueller Fragebeantwortung, Segmentierung, Argumentation und Inhaltsgenerierung gezeigt.

Zudem sind Multimodale KI-Techniken entstanden, die in der Lage sind, mehrere Datenmodi wie Text, Bilder, Audio und Videos gleichzeitig zu verarbeiten. Mit diesen Fortschritten ist es natürlich, sich zu fragen: Nähern wir uns dem Ende des traditionellen Machine Learning (ML)?

In diesem Artikel werden wir den Zustand des traditionellen Machine Learning-Landschafts im Hinblick auf moderne generative KI-Neuerungen betrachten.

Was ist traditionelles Machine Learning? – Was sind seine Einschränkungen?

Traditionelles Machine Learning ist ein breiter Begriff, der eine Vielzahl von Algorithmen umfasst, die in erster Linie von Statistik getrieben werden. Die zwei Haupttypen traditioneller ML-Algorithmen sind überwachtes und unüberwachtes Lernen. Diese Algorithmen sind darauf ausgelegt, Modelle aus strukturierten Datensätzen zu entwickeln.

Standardmäßige traditionelle Machine Learning-Algorithmen umfassen:

• Regression-Algorithmen wie lineare, Lasso- und Ridge-Regression.
• K-Means-Clustering.
• Principal Component Analysis (PCA).
• Support Vector Machines (SVM).
• Baum-basierte Algorithmen wie Entscheidungsbäume und Random Forest.
• Boosting-Modelle wie Gradient Boosting und XGBoost.

Einschränkungen des traditionellen Machine Learning

Traditionelles ML hat die folgenden Einschränkungen:

1. Begrenzte Skalierbarkeit: Diese Modelle benötigen oft Hilfe, um mit großen und vielfältigen Datensätzen umzugehen.
2. Datenpräparation und Feature-Engineering: Traditionelles ML erfordert umfangreiche Präparation, um Datensätze an die Modellanforderungen anzupassen. Außerdem kann Feature-Engineering zeitaufwändig sein und erfordert mehrere Iterationen, um komplexe Beziehungen zwischen Datenmerkmalen zu erfassen.
3. Hochdimensionale und unstrukturierte Daten: Traditionelles ML hat Schwierigkeiten mit komplexen Datentypen wie Bildern, Audio, Videos und Dokumenten.
4. Anpassung an unbekannte Daten: Diese Modelle passen sich möglicherweise nicht gut an reale Daten an, die nicht Teil ihrer Trainingsdaten waren.

Neuronales Netzwerk: Von Machine Learning zu Deep Learning & darüber hinaus

Neuronale Netzwerk-Modelle sind viel komplexer als traditionelle Machine Learning-Modelle. Das einfachste NN – Multilayer-Perzeptron (MLP) – besteht aus mehreren Neuronen, die miteinander verbunden sind, um Informationen zu verstehen und Aufgaben auszuführen, ähnlich wie ein menschliches Gehirn funktioniert.

Fortgeschrittene neuronale Netzwerk-Techniken haben die Grundlage für den Übergang von Machine Learning zu Deep Learning gebildet. Zum Beispiel werden NN, die für Computer-Vision-Aufgaben (Objekterkennung und Bildsegmentierung) verwendet werden, als Convolutional Neural Networks (CNNs) bezeichnet, wie AlexNet, ResNet und YOLO.

Heute geht die generative KI-Technologie neuronale Netzwerk-Techniken noch einen Schritt weiter, indem sie es ermöglicht, in verschiedenen KI-Bereichen hervorragende Leistungen zu erzielen. Zum Beispiel werden neuronale Netzwerke, die für Aufgaben der natürlichen Sprachverarbeitung (wie Textzusammenfassung, Fragebeantwortung und Übersetzung) verwendet werden, als Transformer bezeichnet. Bekannte Transformer-Modelle umfassen BERT, GPT-4 und T5. Diese Modelle haben einen großen Einfluss auf Branchen wie Gesundheitswesen, Einzelhandel, Marketing, Finanzen usw.

Brauchen wir noch traditionelle Machine Learning-Algorithmen?

Während neuronale Netzwerke und ihre modernen Varianten wie Transformer viel Aufmerksamkeit erhalten haben, bleiben traditionelle ML-Methoden von entscheidender Bedeutung. Lassen Sie uns sehen, warum sie noch relevant sind.

1. Einfachere Datenanforderungen

Neuronale Netzwerke erfordern große Datensätze für die Ausbildung, während ML-Modelle bereits mit kleineren und einfacheren Datensätzen bedeutende Ergebnisse erzielen können. Daher wird ML für kleinere strukturierte Datensätze und vice versa bevorzugt.

2. Einfachheit und Interpretierbarkeit

Traditionelle Machine Learning-Modelle basieren auf einfacheren statistischen und Wahrscheinlichkeitsmodellen. Zum Beispiel etabliert eine beste Anpassungslinie in linearer Regression die Eingabe-Ausgabe-Beziehung mithilfe der Methode der kleinsten Quadrate, einer statistischen Operation.

Ähnlich verwenden Entscheidungsbäume probabilistische Prinzipien für die Klassifizierung von Daten. Die Verwendung solcher Prinzipien bietet Interpretierbarkeit und macht es einfacher für KI-Praktiker, das Funktionieren von ML-Algorithmen zu verstehen.

Moderne NN-Architekturen wie Transformer und Diffusionsmodelle (typischerweise für Bildgenerierung wie Stable Diffusion oder Midjourney) haben eine komplexe mehrschichtige Netzwerkstruktur. Das Verständnis solcher Netzwerke erfordert ein Verständnis für fortgeschrittene mathematische Konzepte. Deshalb werden sie auch als “Black Boxes” bezeichnet.

3. Ressourceneffizienz

Moderne neuronale Netzwerke wie Large Language Models (LLMs) werden auf Clustern teurer GPUs nach ihren Rechenanforderungen trainiert. Zum Beispiel wurde GPT4 angeblich auf 25000 Nvidia-GPUs für 90 bis 100 Tage trainiert.

Allerdings sind teure Hardware und lange Trainingszeiten nicht für jeden Praktiker oder jedes KI-Team machbar. Andererseits ermöglicht die Recheneffizienz traditioneller Machine Learning-Algorithmen es Praktikern, auch mit begrenzten Ressourcen bedeutende Ergebnisse zu erzielen.

4. Nicht alle Probleme benötigen Deep Learning

Deep Learning ist nicht die absolute Lösung für alle Probleme. Es gibt bestimmte Szenarien, in denen ML Deep Learning übertrifft.

Beispielsweise liefert in medizinischer Diagnose und Prognose mit begrenzten Daten ein ML-Algorithmus für Anomalie-Erkennung wie REMED bessere Ergebnisse als Deep Learning. Ähnlich ist traditionelles Machine Learning in Szenarien mit geringer Rechenleistung als flexible und effiziente Lösung von Bedeutung.

In erster Linie hängt die Auswahl des besten Modells für jedes Problem von den Bedürfnissen der Organisation oder des Praktikers und der Natur des Problems ab.

Machine Learning in 2023

Bild generiert mit Leonardo AI

In 2023 entwickelt sich traditionelles Machine Learning weiter und konkurriert mit Deep Learning und generativer KI. Es hat verschiedene Anwendungen in der Industrie, insbesondere bei der Arbeit mit strukturierten Datensätzen.

Beispielsweise beschäftigen sich viele Fast-Moving Consumer Goods (FMCG)-Unternehmen mit großen Mengen an tabellarischen Daten, die auf ML-Algorithmen für kritische Aufgaben wie personalisierte Produktvorschläge, Preisoptimierung, Lagerverwaltung und Lieferkettenoptimierung angewiesen sind.

Weiterhin basieren viele Bild- und Sprachmodelle noch auf traditionellen Techniken und bieten Lösungen in hybriden Ansätzen und aufkommenden Anwendungen. Zum Beispiel diskutiert eine aktuelle Studie mit dem Titel “Brauchen wir wirklich Deep Learning-Modelle für Zeitreihenprognosen?” wie Gradient-Boosting-Regression-Bäume (GBRTs) effizienter für Zeitreihenprognosen sind als tiefe neuronale Netzwerke.

Die Interpretierbarkeit von ML bleibt sehr wertvoll, mit Techniken wie SHAP (Shapley Additive Erklärungen) und LIME (Lokale interpretierbare Modell-agnostische Erklärungen). Diese Techniken erklären komplexe ML-Modelle und liefern Erkenntnisse über ihre Vorhersagen, sodass ML-Praktiker ihre Modelle noch besser verstehen können.

Schließlich bleibt traditionelles Machine Learning eine robuste Lösung für verschiedene Branchen, die Skalierbarkeit, Datenkomplexität und Ressourcenbeschränkungen angehen. Diese Algorithmen sind unersetzlich für Datenanalyse und Vorhersagemodellierung und werden weiterhin ein Teil des Arsenals eines Datenwissenschaftlers sein.

Wenn Themen wie diese Sie interessieren, erkunden Sie Unite AI für weitere Erkenntnisse.