De opkomst van Time-Series Foundation Models voor Data-Analyse en Forecasting

Tijdreeks forecasting speelt een cruciale rol in cruciale besluitvormingsprocessen in verschillende industrieën, zoals detailhandel, financiën, productie en gezondheidszorg. Echter, in vergelijking met domeinen zoals natuurlijke taalverwerking en beeldherkenning, is de integratie van geavanceerde kunstmatige intelligentie (AI)-technieken in tijdreeksforecasting relatief langzaam verlopen. Hoewel foundational AI aanzienlijke vooruitgang heeft geboekt in gebieden zoals natuurlijke taalverwerking en beeldherkenning, heeft het weinig impact gehad op tijdreeksforecasting tot voor kort. Niettemin is er nu een toenemende beweging in de ontwikkeling van foundation models die specifiek zijn ontworpen voor tijdreeksforecasting. Dit artikel zal de evoluerende landschap van foundation AI voor tijdreeksforecasting bespreken, waarin recente vooruitgang in dit domein wordt onderzocht.

Tijdreeksforecasting en Toepassingen

Tijdreeksgegevens verwijzen naar een reeks gegevenspunten die op regelmatige tijdsintervallen worden verzameld of geregistreerd. Dit type gegevens komt veel voor in verschillende domeinen, zoals economie, weersvoorspelling, gezondheid en meer. Elk gegevenspunt in een tijdreeks is voorzien van een tijdstempel, en de reeks wordt vaak gebruikt om trends, patronen en seizoensvariaties over tijd te analyseren.

Tijdreeksforecasting houdt in dat historische gegevens worden gebruikt om toekomstige waarden in de reeks te voorspellen. Het is een kritische methode in statistiek en machine learning die helpt bij het nemen van geïnformeerde beslissingen op basis van historische patronen. Forecasting kan zo eenvoudig zijn als het projecteren van dezelfde groeisnelheid in de toekomst of zo complex als het gebruik van AI-modellen om toekomstige trends te voorspellen op basis van ingewikkelde patronen en externe factoren.

Enkele toepassingen van tijdreeksforecasting zijn als volgt:

• Financiële Markten: In de financiële sector wordt tijdreeksforecasting gebruikt om aandelenkoersen, wisselkoersen en markttrends te voorspellen. Beleggers en analisten gebruiken historische gegevens om toekomstige bewegingen te voorspellen en handelsbeslissingen te nemen.
• Weersvoorspelling: Meteorologische diensten gebruiken tijdreeksgegevens om weersomstandigheden te voorspellen. Door historische weergegevens te analyseren, voorspellen ze toekomstige weerspatronen, waardoor het mogelijk wordt om plannen te maken en beslissingen te nemen voor landbouw, reizen en rampenbeheer.
• Verkoop en Marketing: Bedrijven gebruiken tijdreeksforecasting om toekomstige verkoop, vraag en consumentengedrag te voorspellen. Dit helpt bij voorraadbeheer, het stellen van verkoopdoelen en het ontwikkelen van marketingstrategieën.
• Energie Sector: Energiebedrijven voorspellen vraag en aanbod om productie en distributie te optimaliseren. Tijdreeksforecasting helpt bij het voorspellen van energieverbruikspatronen, waardoor efficiënt energiemanagement en planning mogelijk wordt.
• Gezondheidszorg: In de gezondheidszorg wordt tijdreeksforecasting gebruikt om ziekte-uitbraken, patiëntentoeslagen en medische voorraadbehoeften te voorspellen. Dit helpt bij gezondheidsplanning, resource-toewijzing en beleidsvorming.

Foundation Time Series Models

Foundational AI-modellen zijn uitgebreide, vooraf getrainde modellen die de basis vormen voor verschillende kunstmatige intelligentie-toepassingen. Ze worden getraind op grote en diverse datasets, waardoor ze patronen, verbindingen en structuren binnen de gegevens kunnen onderscheiden. De term “foundational” verwijst naar hun capaciteit om te worden gefinetuned of aangepast voor taken of domeinen met minimale additionele training. In de context van tijdreeksforecasting worden deze modellen opgebouwd op een manier die vergelijkbaar is met grote taalmodellen (LLM’s), waarbij transformer-architecturen worden gebruikt. Net als LLM’s worden ze getraind om het volgende of ontbrekende element in een gegevenssequentie te voorspellen. Echter, in tegenstelling tot LLM’s, die tekst verwerken als subwoorden via transformer-lagen, behandelen foundation tijdreeksmodellen sequenties van continue tijdpunten als tokens, waardoor ze sequentieel tijdreeksgegevens kunnen verwerken.

Onlangs zijn verschillende foundation-modellen ontwikkeld voor tijdreeksgegevens. Met een beter begrip en de juiste keuze van het foundation-model, kunnen we hun mogelijkheden effectiever en efficiënter benutten. In de volgende secties zullen we de verschillende foundation-modellen voor tijdreeksgegevensanalyse onderzoeken.

• TimesFM: Ontwikkeld door Google (GOOGL ) Research, is TimesFM een decoder-only foundation-model met 200 miljoen parameters. Het model is getraind op een dataset van 100 miljard echte wereldwijde tijdpunten, waaronder zowel synthetische als echte gegevens uit diverse bronnen zoals Google Trends en Wikipedia-pagina’s. TimesFM is in staat om zero-shot forecasting uit te voeren in meerdere sectoren, waaronder detailhandel, financiën, productie, gezondheidszorg en natuurwetenschappen, over verschillende tijdsgranulariteiten. Google heeft de intentie om TimesFM beschikbaar te stellen op zijn Google Cloud Vertex AI-platform, waardoor het zijn geavanceerde forecasting-functies beschikbaar stelt voor externe klanten.
• Lag-Llama: Ontwikkeld door onderzoekers van de Université de Montréal, Mila-Québec AI Institute en McGill University, is Lag-Llama een foundation-model ontworpen voor univariate probabilistische tijdreeksforecasting. Gebaseerd op de Llama, gebruikt het model een decoder-only transformer-architectuur die variabele tijdsvertragingen en tijdsresoluties voor forecasting gebruikt. Het model is getraind op diverse tijdreeksdatasets uit verschillende bronnen over zes verschillende groepen, waaronder energie, transport, economie, natuur, luchtkwaliteit en cloud-operaties. Het model is gemakkelijk toegankelijk via de Huggingface-bibliotheek.
• Moirai: Ontwikkeld door Salesforce (CRM ) AI Research, is Moirai een foundation tijdreeksmodel ontworpen voor universele forecasting. Moirai is getraind op de Large-scale Open Time Series Archive (LOTSA)-dataset, die 27 miljard observaties uit negen verschillende domeinen bevat, waardoor het de grootste verzameling van open tijdreeksdatasets is. Deze diverse dataset stelt Moirai in staat om te leren van een breed scala aan tijdreeksgegevens, waardoor het verschillende forecasting-taken aankan. Moirai gebruikt meerdere patch-size-projectielagen om temporale patronen over verschillende frequenties te detecteren. Een belangrijk aspect van Moirai is het gebruik van een any-variate-aandachtmechanisme, waardoor forecasts over elk aantal variabelen mogelijk zijn. De code, modelgewichten en gegevens die verband houden met Moirai zijn beschikbaar in de GitHub-repository met de naam “uni2ts“

• Chronos: Ontwikkeld door Amazon (AMZN ), is Chronos een verzameling van vooraf getrainde probabilistische modellen voor tijdreeksforecasting. Gebouwd op de T5-transformer-architectuur, gebruiken de modellen een vocabulaire van 4096 tokens en hebben variabele parameters, variërend van 8 miljoen tot 710 miljoen. Chronos is voorgetraind op een uitgebreide verzameling van openbare en synthetische gegevens gegenereerd uit Gaussian-processen. Chronos verschilt van TimesFM doordat het een encoder-decoder-model is, waardoor het mogelijk is om encoder-embeddings uit tijdreeksgegevens te extraheren. Chronos kan gemakkelijk worden geïntegreerd in een Python-omgeving en toegankelijk zijn via zijn API.

• Moment: Ontwikkeld door een samenwerking tussen Carnegie Mellon University en de University of Pennsylvania, is Moment een familie van open-source foundation tijdreeksmodellen. Het gebruikt variaties van T5-architecturen, waaronder kleine, basis- en grote versies, waarbij het basismodel ongeveer 125 miljoen parameters bevat. Het model ondergaat voortraining op de uitgebreide “Time-series Pile”, een diverse verzameling van openbare tijdreeksgegevens die verschillende domeinen bestrijkt. In tegenstelling tot veel andere foundation-modellen, is Moment voorgetraind op een breed scala aan taken, waardoor het effectiever is in toepassingen zoals forecasting, classificatie, anomaliedetectie en imputatie. De complete Python-repository en Jupyter-notebook-code zijn openbaar toegankelijk voor het gebruik van het model.

De Bottom Line

Tijdreeksforecasting is een cruciaal instrument in verschillende domeinen, van financiën tot gezondheidszorg, waardoor geïnformeerde beslissingen kunnen worden genomen op basis van historische patronen. Geavanceerde foundation-modellen zoals TimesFM, Chronos, Moment, Lag-Llama en Moirai bieden geavanceerde mogelijkheden, waardoor transformer-architecturen en diverse trainingsdatasets voor nauwkeurige forecasting en analyse kunnen worden gebruikt. Deze modellen geven een blik in de toekomst van tijdreeksanalyse, waardoor bedrijven en onderzoekers krachtige instrumenten hebben om complexe datalandschappen effectief te navigeren. Ik bied geavanceerde mogelijkheden, waardoor transformer-architecturen en diverse trainingsdatasets voor nauwkeurige forecasting en analyse kunnen worden gebruikt. Deze modellen geven een blik in de toekomst van tijdreeksanalyse, waardoor bedrijven en onderzoekers krachtige instrumenten hebben om complexe datalandschappen effectief te navigeren.