Зростання часових рядів фундаментальних моделей для аналізу даних та прогнозування

Часові ряди прогнозування відіграють важливу роль у важливих процесах прийняття рішень у різних галузях, таких як рітейл, фінанси, виробництво та охорона здоров’я. Однак порівняно з такими областями, як обробка природної мови та визначення зображень, інтеграція передових технік штучного інтелекту (AI) у прогнозування часових рядів була відносно повільною. Хоча фундаментальні моделі AI зробили значний прогрес у таких областях, як обробка природної мови та визначення зображень, їхній вплив на прогнозування часових рядів був обмежений до недавнього часу. Однак зараз спостерігається зростання інтересу до розробки фундаментальних моделей, спеціально розроблених для прогнозування часових рядів. Ця стаття буде присвячена дослідженням розвитку фундаментальних моделей AI для прогнозування часових рядів, розглянувши останні досягнення в цій галузі.

Прогнозування часових рядів та його застосування

Часові ряди даних відносяться до послідовності даних, зібраних або записаних у регулярні інтервали часу. Такі дані поширені у різних галузях, таких як економіка, погода, охорона здоров’я та ін. Кожна точка даних у часовому ряді має позначку часу, і послідовність часто використовується для аналізу тенденцій, закономірностей та сезонних змін з часом.

Прогнозування часових рядів полягає у використанні історичних даних для передбачення майбутніх значень у ряду. Це важливий метод у статистиці та машинному навчанні, який допомагає приймати обґрунтовані рішення на основі минулих закономірностей. Прогнозування може бути так простим, як проєкція того ж темпу зростання у майбутнє, або так складним, як використання моделей AI для передбачення майбутніх тенденцій на основі складних закономірностей та зовнішніх чинників.

Деякі застосування прогнозування часових рядів включають:

• Фінансові ринки: У сфері фінансів прогнозування часових рядів використовується для передбачення цін акцій, валютних курсів та ринкових тенденцій. Інвестори та аналітики використовують історичні дані для прогнозування майбутніх рухів та прийняття торгових рішень.
• Прогнозування погоди: Метеорологічні служби використовують дані часових рядів для передбачення погодних умов. Аналізуючи минулі погодні дані, вони прогнозують майбутні погодні закономірності, допомагаючи у плануванні та прийнятті рішень для сільського господарства, подорожей та управління надзвичайними ситуаціями.
• Продажі та маркетинг: Бізнес використовує прогнозування часових рядів для передбачення майбутніх продажів, попиту та поведінки споживачів. Це допомагає у управлінні запасами, встановленні цілей продажів та розробці маркетингових стратегій.
• Енергетична галузь: Енергетичні компанії прогнозують попит та пропозицію для оптимізації виробництва та розподілу. Прогнозування часових рядів допомагає передбачити закономірності споживання енергії, забезпечуючи ефективне енергетичне управління та планування.
• Охорона здоров’я: У сфері охорони здоров’я прогнозування часових рядів використовується для передбачення спалахів захворювань, госпіталізацій пацієнтів та потреб медичних запасів. Це допомагає у плануванні охорони здоров’я, розподілі ресурсів та розробці політики.

Фундаментальні моделі часових рядів

Фундаментальні моделі AI є розширеними, попередньо натренованими моделями, які утворюють основу для різних застосунків штучного інтелекту. Вони тренуються на великих та різноманітних наборах даних, що дозволяє їм виявляти закономірності, зв’язки та структури всередині даних. Термін “фундаментальний” відноситься до їхньої здатності бути дообученими або модифікованими для завдань або доменів з мінімальною додатковою тренуванням. У контексті прогнозування часових рядів ці моделі будуються подібно до більших моделей мови (LLM), використовуючи архітектуру трансформерів. Як і LLM, вони тренуються для передбачення наступної або відсутньої частини послідовності даних. Однак, на відміну від LLM, які обробляють текст як підслова через шари трансформерів, фундаментальні моделі часових рядів обробляють послідовності безперервних точок часу як токени, дозволяючи їм послідовно обробляти дані часових рядів.

Нещодавно були розроблені різні фундаментальні моделі для даних часових рядів. З кращим розумінням та вибором відповідної фундаментальної моделі ми можемо більш ефективно та ефективно використовувати їхні можливості. У наступних розділах ми розглянемо різні фундаментальні моделі, доступні для аналізу даних часових рядів.

• TimesFM: Розроблена Google (GOOGL ) Research, TimesFM є декодерною фундаментальною моделлю з 200 мільйонами параметрів. Модель тренується на наборі даних з 100 мільярдів реальних точок часу, що охоплює як синтетичні, так і фактичні дані з різноманітних джерел, таких як Google Trends та Wikipedia Pageviews. TimesFM здатна до нульової прогнозування у декількох секторах, включаючи рітейл, фінанси, виробництво, охорону здоров’я та природничі науки, на різних часових грануляціях. Google планує випустити TimesFM на своїй платформі Google Cloud Vertex AI, надаючи свої передові можливості прогнозування зовнішнім клієнтам.
• Lag-Llama: Розроблена дослідниками з Université de Montréal, Mila-Québec AI Institute та McGill University, Lag-Llama є фундаментальною моделлю, призначеною для уніваріантного ймовірнісного прогнозування часових рядів. Будується на основі Llama, модель використовує декодерну архітектуру трансформерів, яка використовує змінні розміри часових затримок та часових роздільностей для прогнозування. Модель тренується на різноманітних наборах даних часових рядів з декількох джерел через шість різних груп, включаючи енергетику, транспорт, економіку, природу, якість повітря та хмарні операції. Модель доступна через Huggingface бібліотеку.
• Moirai: Розроблена Salesforce (CRM ) AI Research, Moirai є фундаментальною моделлю часових рядів, призначеною для універсального прогнозування. Moirai тренується на наборі даних Large-scale Open Time Series Archive (LOTSA), який містить 27 мільярдів спостережень з дев’яти різних доменів, що робить його найбільшою колекцією відкритих наборів даних часових рядів. Цей різноманітний набір даних дозволяє Moirai навчатися на широкому спектрі даних часових рядів, дозволяючи їй виконувати різні завдання прогнозування. Moirai використовує кілька шарів проєкції патчів для захоплення часових закономірностей на різних частотах. Із важливих аспектів Moirai є використання будь-якої варіантної уваги, що дозволяє прогнозувати за будь-яку кількість змінних. Код, ваги моделі та дані, пов’язані з Moirai, доступні у репозиторії GitHub під назвою “uni2ts“

• Chronos: Розроблена Amazon (AMZN ), Chronos є колекцією попередньо натренованих ймовірнісних моделей для прогнозування часових рядів. Будується на архітектурі T5 трансформерів, моделі використовують словник із 4096 токенів та мають різноманітні параметри, від 8 мільйонів до 710 мільйонів. Chronos попередньо тренується на великому масиві публічних та синтетичних даних, згенерованих з гауссовських процесів. Chronos відрізняється від TimesFM тим, що це модель кодувача-дешифратора, яка дозволяє витягувати вкладення кодувача з даних часових рядів. Chronos можна легко інтегрувати у середовище Python та доступити через свій API.

• Moment: Розроблена спільно Carnegie Mellon University та University of Pennsylvania, Moment є сім’єю відкритих фундаментальних моделей часових рядів. Вона використовує варіації архітектури T5, включаючи маленькі, базові та великі версії, з базовою моделлю, що включає приблизно 125 мільйонів параметрів. Модель проходить попереднє тренування на великому масиві публічних даних часових рядів, що охоплює різні домени. На відміну від багатьох інших фундаментальних моделей, MOMENT попередньо тренується на широкому спектрі завдань, що підвищує її ефективність у таких застосуваннях, як прогнозування, класифікація, виявлення аномалій та імпутація. Повний репозиторій Python та код у Jupyter Notebook доступні публічно для використання моделі.

Основний висновок

Прогнозування часових рядів є важливим інструментом у різних галузях, від фінансів до охорони здоров’я, дозволяючи приймати обґрунтовані рішення на основі історичних закономірностей. Передові фундаментальні моделі, такі як TimesFM, Chronos, Moment, Lag-Llama та Moirai, пропонують складні можливості, використовуючи архітектуру трансформерів та різноманітні тренувальні набори даних для точного прогнозування та аналізу. Ці моделі дають змогу побачити майбутнє аналізу часових рядів, наділяючи бізнес та дослідників потужними інструментами для ефективної навігації у складних даних ландшафтах.