De opkomst van Time-Series Foundation Models voor Data-analyse en Forecasting

Time series forecasting speelt een vitale rol in cruciale besluitvormingsprocessen in verschillende industrieën, zoals detailhandel, financiën, productie en gezondheidszorg. Echter, in vergelijking met domeinen zoals natural language processing en image recognition, is de integratie van geavanceerde artificial intelligence (AI)-technieken in time series forecasting relatief langzaam verlopen. Hoewel foundational AI aanzienlijke vooruitgang heeft geboekt in gebieden zoals natural language processing en image recognition, heeft het een beperkt effect gehad op time series forecasting totdat recentelijk. Niettemin is er nu een toenemende impuls in de ontwikkeling van foundation models die specifiek zijn ontworpen voor time series forecasting. Dit artikel zal de evoluerende landschap van foundational AI voor time series forecasting bespreken, waarbij recente vooruitgang in dit domein wordt onderzocht.

Time Series Forecasting en Toepassingen

Time series-gegevens verwijzen naar een reeks gegevenspunten die op regelmatige tijdsintervallen worden verzameld of geregistreerd. Dit type gegevens komt veel voor in verschillende domeinen, zoals economie, weer, gezondheid en meer. Elk gegevenspunt in een time series heeft een tijdstempel, en de reeks wordt vaak gebruikt om trends, patronen en seizoensvariaties over tijd te analyseren.

Time series forecasting houdt in dat historische gegevens worden gebruikt om toekomstige waarden in de reeks te voorspellen. Het is een kritische methode in statistiek en machine learning die helpt bij het nemen van geïnformeerde beslissingen op basis van historische patronen. Forecasting kan zo eenvoudig zijn als het projecteren van hetzelfde groeipercentage in de toekomst of zo complex als het gebruik van AI-modellen om toekomstige trends te voorspellen op basis van ingewikkelde patronen en externe factoren.

Enkele toepassingen van time series forecasting zijn als volgt:

• Financiële Markten: In de financiële sector wordt time series forecasting gebruikt om aandelenkoersen, wisselkoersen en markttrends te voorspellen. Beleggers en analisten gebruiken historische gegevens om toekomstige bewegingen te voorspellen en handelsbeslissingen te nemen.
• Weerforecasting: Meteorologische afdelingen gebruiken time series-gegevens om weersomstandigheden te voorspellen. Door het analyseren van historische weergegevens voorspellen ze toekomstige weerspatronen, waardoor het mogelijk is om plannen te maken en beslissingen te nemen voor landbouw, reizen en rampenbeheer.
• Verkoop en Marketing: Bedrijven gebruiken time series forecasting om toekomstige verkoop, vraag en consumentengedrag te voorspellen. Dit helpt bij voorraadbeheer, het stellen van verkoopdoelen en het ontwikkelen van marketingstrategieën.
• EnergieSector: Energiebedrijven voorspellen vraag en aanbod om productie en distributie te optimaliseren. Time series forecasting helpt bij het voorspellen van energieverbruikspatronen, waardoor efficiënt energiemanagement en -planning mogelijk wordt.
• Gezondheidszorg: In de gezondheidszorg wordt time series forecasting gebruikt om ziekte-uitbraken, patiëntopnames en medische voorraadbehoeften te voorspellen. Dit helpt bij gezondheidsplanning, resource-toewijzing en beleidsvorming.

Foundation Time Series-modellen

Foundational AI-modellen zijn uitgebreide, pre-getrainde modellen die de basis vormen voor verschillende artificial intelligence-toepassingen. Ze worden getraind op grote en diverse datasets, waardoor ze patronen, verbindingen en structuren in de gegevens kunnen onderscheiden. De term “foundational” verwijst naar hun capaciteit om te worden gefinetuned of aangepast voor taken of domeinen met minimale extra training. In de context van time series forecasting worden deze modellen opgesteld zoals large language models (LLM’s), met behulp van transformer-architecturen. Net als LLM’s worden ze getraind om het volgende of ontbrekende element in een gegevensreeks te voorspellen. Echter, in tegenstelling tot LLM’s, die tekst verwerken als subwoorden via transformer-lagen, behandelen foundation time series-modellen sequenties van continue tijdpunten als tokens, waardoor ze tijdreeksgegevens sequentieel kunnen verwerken.

Onlangs zijn verschillende foundation-modellen ontwikkeld voor time series-gegevens. Met een beter begrip en de juiste keuze van het foundation-model, kunnen we hun mogelijkheden effectiever en efficiënter benutten. In de volgende secties zullen we de verschillende foundation-modellen voor time series-gegevensanalyse onderzoeken.

• TimesFM: Ontwikkeld door Google Research, is TimesFM een decoder-only foundation-model met 200 miljoen parameters. Het model is getraind op een dataset van 100 miljard real-world tijdpunten, omvattende zowel synthetische als echte gegevens uit diverse bronnen zoals Google Trends en Wikipedia Pageviews. TimesFM is in staat om zero-shot forecasting uit te voeren in meerdere sectoren, waaronder detailhandel, financiën, productie, gezondheidszorg en natuurwetenschappen, over verschillende tijdsgranulariteiten. Google heeft de intentie om TimesFM beschikbaar te stellen op zijn Google Cloud Vertex AI-platform, waardoor externe klanten toegang krijgen tot de geavanceerde forecasting-functies.
• Lag-Llama: Gecreëerd door onderzoekers van de Université de Montréal, Mila-Québec AI Institute en McGill University, is Lag-Llama een foundation-model ontworpen voor univariate probabilistische time series forecasting. Gebaseerd op de Llama, gebruikt het model een decoder-only transformer-architectuur die variabele tijdsvertragingen en tijdsresoluties gebruikt voor forecasting. Het model is getraind op diverse time series-datasets uit verschillende bronnen over zes verschillende groepen, waaronder energie, transport, economie, natuur, luchtkwaliteit en cloud-operaties. Het model is gemakkelijk toegankelijk via de Huggingface-bibliotheek.
• Moirai: Ontwikkeld door Salesforce AI Research, is Moirai een foundation time series-model ontworpen voor universele forecasting. Moirai is getraind op de Large-scale Open Time Series Archive (LOTSA)-dataset, die 27 miljard observaties bevat uit negen verschillende domeinen, waardoor het de grootste verzameling van open time series-datasets is. Deze diverse dataset stelt Moirai in staat om te leren van een breed scala aan time series-gegevens, waardoor het in staat is om verschillende forecasting-taken aan te pakken. Moirai gebruikt meerdere patch-size-projectie-lagen om temporele patronen over verschillende frequenties te detecteren. Een belangrijk aspect van Moirai is het gebruik van een any-variate-aandachtmechanisme, waardoor forecasts over elk aantal variabelen mogelijk zijn. De code, modelgewichten en gegevens verbonden met Moirai zijn beschikbaar in de GitHub-repository genaamd “uni2ts“

• Chronos: Ontwikkeld door Amazon, is Chronos een verzameling van pre-getrainde probabilistische modellen voor time series forecasting. Gebaseerd op de T5-transformer-architectuur, gebruiken de modellen een vocabulaire van 4096 tokens en hebben variabele parameters, variërend van 8 miljoen tot 710 miljoen. Chronos is pre-getraind op een uitgebreide reeks van openbare en synthetische gegevens gegenereerd uit Gaussian-processen. Chronos verschilt van TimesFM doordat het een encoder-decoder-model is, waardoor het mogelijk is om encoder-embeddings uit time series-gegevens te extraheren. Chronos kan gemakkelijk worden geïntegreerd in een Python-omgeving en toegankelijk zijn via zijn API.

• Moment: Ontwikkeld in samenwerking tussen Carnegie Mellon University en de University of Pennsylvania, is Moment een familie van open-source foundation time series-modellen. Het gebruikt variaties van T5-architecturen, waaronder kleine, basis- en grote versies, waarbij het basismodel ongeveer 125 miljoen parameters bevat. Het model ondergaat pre-training op de uitgebreide “Time-series Pile”, een diverse verzameling van openbare time series-gegevens die verschillende domeinen omvat. In tegenstelling tot veel andere foundation-modellen, is MOMENT pre-getraind op een breed spectrum van taken, waardoor het effectiever is in toepassingen zoals forecasting, classificatie, anomaliedetectie en imputatie. De complete Python-repository en Jupyter-notebook-code zijn openbaar toegankelijk voor het gebruik van het model.

De Bottom Line

Time series forecasting is een cruciaal instrument in verschillende domeinen, van financiën tot gezondheidszorg, waardoor geïnformeerde beslissingen kunnen worden genomen op basis van historische patronen. Geavanceerde foundation-modellen zoals TimesFM, Chronos, Moment, Lag-Llama en Moirai bieden geavanceerde mogelijkheden, waardoor transformer-architecturen en diverse trainingsdatasets kunnen worden gebruikt voor nauwkeurige forecasting en analyse. Deze modellen geven een glimp van de toekomst van time series-analyse, waardoor bedrijven en onderzoekers krachtige instrumenten hebben om complexe gegevenslandschappen effectief te navigeren.