Der Aufstieg von Time-Series-Grundmodellen für Datenanalyse und Prognose

Zeitreihen Prognose spielt eine wichtige Rolle bei entscheidenden Entscheidungsprozessen in verschiedenen Branchen wie Einzelhandel, Finanzen, Fertigung und Gesundheitswesen. Allerdings ist die Integration von fortschrittlichen künstlichen Intelligenz-Techniken in die Zeitreihenprognose im Vergleich zu Bereichen wie natürliche Sprachverarbeitung und Bilderkennung relativ langsam vorangeschritten. Obwohl Grundmodelle in Bereichen wie natürliche Sprachverarbeitung und Bilderkennung erhebliche Fortschritte gemacht haben, war ihr Einfluss auf die Zeitreihenprognose bis vor kurzem begrenzt. Dennoch gibt es jetzt einen zunehmenden Schwung in der Entwicklung von Grundmodellen, die speziell für die Zeitreihenprognose konzipiert sind. Dieser Artikel wird die sich entwickelnde Landschaft der Grundmodelle für die Zeitreihenprognose diskutieren und die jüngsten Fortschritte in diesem Bereich erkunden.

Zeitreihenprognose und Anwendungen

Zeitreihendaten beziehen sich auf eine Folge von Datenpunkten, die in regelmäßigen Zeitabständen gesammelt oder aufgezeichnet werden. Diese Art von Daten ist in verschiedenen Bereichen wie Wirtschaft, Wetter, Gesundheit und mehr verbreitet. Jeder Datenpunkt in einer Zeitreihe ist zeitgestempelt, und die Folge wird oft verwendet, um Trends, Muster und saisonale Variationen im Laufe der Zeit zu analysieren.

Zeitreihenprognose beinhaltet die Verwendung von historischen Daten, um zukünftige Werte in der Reihe vorherzusagen. Es ist eine kritische Methode in der Statistik und im Maschinellen Lernen, die bei der Entscheidungsfindung auf der Grundlage von Vergangenheitsmustern hilft. Prognosen können so einfach sein, wie die Projektion des gleichen Wachstumsrates in die Zukunft, oder so komplex, wie die Verwendung von KI-Modellen, um zukünftige Trends auf der Grundlage von komplizierten Mustern und externen Faktoren vorherzusagen.

Einige Anwendungen der Zeitreihenprognose sind wie folgt:

• Finanzmärkte: In der Finanzwelt wird die Zeitreihenprognose verwendet, um Aktienkurse, Wechselkurse und Markttrends vorherzusagen. Investoren und Analysten verwenden historische Daten, um zukünftige Bewegungen vorherzusagen und Handelsentscheidungen zu treffen.
• Wettervorhersage: Meteorologische Abteilungen verwenden Zeitreihendaten, um Wetterbedingungen vorherzusagen. Durch die Analyse von Vergangenheitswetterdaten können sie zukünftige Wettermuster vorhersagen, was bei der Planung und Entscheidungsfindung für Landwirtschaft, Reisen und Katastrophenmanagement hilft.
• Verkauf und Marketing: Unternehmen nutzen die Zeitreihenprognose, um zukünftige Verkäufe, Nachfrage und Konsumentenverhalten vorherzusagen. Dies hilft bei der Lagerverwaltung, der Festlegung von Verkaufszielen und der Entwicklung von Marketingstrategien.
• Energiebereich: Energieunternehmen prognostizieren Nachfrage und Angebot, um Produktion und Verteilung zu optimieren. Die Zeitreihenprognose hilft bei der Vorhersage von Energieverbrauchsmustern, was eine effiziente Energieverwaltung und -planung ermöglicht.
• Gesundheitswesen: Im Gesundheitssektor wird die Zeitreihenprognose verwendet, um Krankheitsausbrüche, Patientenaufnahmen und medizinische Lagerbestände vorherzusagen. Dies unterstützt die Gesundheitsplanung, die Ressourcenverteilung und die Politikgestaltung.

Grundmodelle für Zeitreihen

Grundmodelle sind umfassende, vorgefertigte Modelle, die die Grundlage für verschiedene künstliche Intelligenzanwendungen bilden. Sie werden auf großen und vielfältigen Datensätzen trainiert, was es ihnen ermöglicht, Muster, Verbindungen und Strukturen innerhalb der Daten zu erkennen. Der Begriff “Grundmodell” bezieht sich auf ihre Fähigkeit, für Aufgaben oder Bereiche mit minimaler zusätzlicher Schulung fein abgestimmt oder modifiziert zu werden. Im Kontext der Zeitreihenprognose werden diese Modelle ähnlich wie große Sprachmodelle (LLM) konstruiert, die Transformer-Architekturen verwenden. Wie LLMs werden sie trainiert, um das nächste oder fehlende Element in einer Datenfolge vorherzusagen. Allerdings behandeln grundlegende Zeitreihenmodelle Sequenzen von kontinuierlichen Zeitpunkten als Token, was es ihnen ermöglicht, Zeitreihendaten sequentiell zu verarbeiten.

In letzter Zeit wurden verschiedene Grundmodelle für Zeitreihendaten entwickelt. Durch besseres Verständnis und Auswahl des geeigneten Grundmodells können wir ihre Fähigkeiten effektiver und effizienter nutzen. In den folgenden Abschnitten werden wir die verschiedenen Grundmodelle für die Zeitreihendatenanalyse erkunden.

• TimesFM: Von Google (GOOGL ) Research entwickelt, ist TimesFM ein decoder-only-Grundmodell mit 200 Millionen Parametern. Das Modell wird auf einem Datensatz von 100 Milliarden realen Zeitpunkten trainiert, der sowohl synthetische als auch tatsächliche Daten aus verschiedenen Quellen wie Google Trends und Wikipedia-Pageviews umfasst. TimesFM ist in der Lage, Zero-Shot-Prognosen in mehreren Sektoren wie Einzelhandel, Finanzen, Fertigung, Gesundheitswesen und Naturwissenschaften über verschiedene Zeitgranularitäten hinweg vorzunehmen. Google plant, TimesFM auf seiner Google Cloud Vertex AI-Plattform zu veröffentlichen und seinen fortschrittlichen Prognosefunktionen externen Kunden zur Verfügung zu stellen.
• Lag-Llama: Von Forschern der Université de Montréal, des Mila-Québec AI Institute und der McGill University entwickelt, ist Lag-Llama ein Grundmodell für univariate probabilistische Zeitreihenprognose. Es basiert auf der Llama-Architektur und verwendet eine decoder-only-Transformer-Architektur, die variable Zeitverzögerungen und Zeitauflösungen für die Prognose verwendet. Das Modell wird auf verschiedenen Zeitreihendatensätzen aus verschiedenen Quellen trainiert, die sechs verschiedene Gruppen wie Energie, Verkehr, Wirtschaft, Natur, Luftqualität und Cloud-Betrieb umfassen. Das Modell ist über die Huggingface-Bibliothek zugänglich.
• Moirai: Von Salesforce (CRM ) AI Research entwickelt, ist Moirai ein Grundmodell für universelle Prognose. Moirai wird auf dem Large-scale Open Time Series Archive (LOTSA)-Datensatz trainiert, der 27 Milliarden Beobachtungen aus neun verschiedenen Domänen enthält und damit die größte Sammlung von offenen Zeitreihendatensätzen darstellt. Dieser vielfältige Datensatz ermöglicht es Moirai, aus einer breiten Palette von Zeitreihendaten zu lernen und es damit in der Lage, verschiedene Prognoseaufgaben zu bewältigen. Moirai verwendet mehrere Patch-Größen-Projektionsschichten, um zeitliche Muster über verschiedene Frequenzen hinweg zu erfassen. Ein wichtiger Aspekt von Moirai ist die Verwendung eines any-variablen Aufmerksamkeitsmechanismus, der es ermöglicht, Prognosen über eine beliebige Anzahl von Variablen hinweg zu erstellen. Der Code, die Modellgewichte und die Daten im Zusammenhang mit Moirai sind im GitHub-Repository mit dem Namen “uni2ts” verfügbar.

• Chronos: Von Amazon (AMZN ) entwickelt, ist Chronos eine Sammlung von vorgefertigten probabilistischen Modellen für die Zeitreihenprognose. Es basiert auf der T5-Transformer-Architektur und verwendet ein Vokabular von 4096 Token und hat variierende Parameter, die von 8 Millionen bis 710 Millionen reichen. Chronos wird auf einer großen Menge an öffentlichen und synthetischen Daten trainiert, die aus Gaussian-Prozessen generiert werden. Chronos unterscheidet sich von TimesFM dadurch, dass es ein Encoder-Decoder-Modell ist, das die Extraktion von Encoder-Einbettungen aus Zeitreihendaten ermöglicht. Chronos kann leicht in eine Python-Umgebung integriert werden und über seine API zugänglich gemacht werden.

• Moment: Von der Carnegie Mellon University und der University of Pennsylvania entwickelt, ist Moment eine Familie von Open-Source-Grundmodellen für Zeitreihen. Es verwendet Variationen der T5-Architekturen, einschließlich kleiner, Basis- und großer Versionen, wobei das Basismodell etwa 125 Millionen Parameter umfasst. Das Modell wird auf dem umfangreichen “Time-series Pile” trainiert, einer vielfältigen Sammlung von öffentlichen Zeitreihendaten, die verschiedene Domänen umfasst. Im Gegensatz zu vielen anderen Grundmodellen wird Moment auf einer breiten Palette von Aufgaben vorgefertigt, was seine Effektivität in Anwendungen wie Prognose, Klassifizierung, Anomalie-Erkennung und Interpolation erhöht. Das vollständige Python-Repository und die Jupyter-Notebook-Code sind öffentlich zugänglich, um das Modell zu nutzen.

Das Fazit

Zeitreihenprognose ist ein wichtiges Werkzeug in verschiedenen Bereichen, von Finanzen bis Gesundheitswesen, das die Entscheidungsfindung auf der Grundlage von historischen Mustern ermöglicht. Fortgeschrittene Grundmodelle wie TimesFM, Chronos, Moment, Lag-Llama und Moirai bieten fortschrittliche Fähigkeiten, die auf Transformer-Architekturen und vielfältigen Trainingsdatensätzen basieren, um genaue Prognosen und Analysen zu ermöglichen. Diese Modelle bieten einen Blick in die Zukunft der Zeitreihenanalyse und ermöglichen es Unternehmen und Forschern, komplexe Datenlandschaften effektiv zu navigieren.