Возрождение фундаментальных моделей временных рядов для анализа и прогнозирования данных

Временные ряды прогнозирования играют важную роль в принятии решений в различных отраслях, таких как розничная торговля, финансы, производство и здравоохранение. Однако по сравнению с областями, такими как обработка естественного языка и распознавание изображений, интеграция передовых методов искусственного интеллекта (ИИ) в прогнозирование временных рядов была относительно медленной. Хотя фундаментальная модель ИИ добилась значительного прогресса в областях, таких как обработка естественного языка и распознавание изображений, ее влияние на прогнозирование временных рядов было ограничено до недавнего времени. Тем не менее, сейчас наблюдается растущий импульс в разработке фундаментальных моделей, специально предназначенных для прогнозирования временных рядов. В этой статье мы обсудим эволюционирующий ландшафт фундаментальной модели ИИ для прогнозирования временных рядов, изучая недавние достижения в этой области.

Прогнозирование временных рядов и его применения

Данные временных рядов представляют собой последовательность данных, собранных или записанных в регулярные интервалы времени. Этот тип данных распространен в различных областях, таких как экономика, погода, здравоохранение и многие другие. Каждая точка данных в временном ряду имеет временную метку, и последовательность часто используется для анализа тенденций, закономерностей и сезонных колебаний во времени.

Прогнозирование временных рядов включает использование исторических данных для прогнозирования будущих значений в ряду. Это важный метод в статистике и машинном обучении, который помогает принимать обоснованные решения на основе прошлых закономерностей. Прогнозирование может быть так простым, как проектирование того же темпа роста в будущее, или так сложным, как использование моделей ИИ для прогнозирования будущих тенденций на основе сложных закономерностей и внешних факторов.

Некоторые применения прогнозирования временных рядов следующие:

• Финансовые рынки: В финансах прогнозирование временных рядов используется для прогнозирования цен на акции, обменных курсов и рыночных тенденций. Инвесторы и аналитики используют исторические данные для прогнозирования будущих движений и принятия торговых решений.
• Прогнозирование погоды: Метеорологические департаменты используют данные временных рядов для прогнозирования погодных условий. Анализируя прошлые погодные данные, они прогнозируют будущие погодные закономерности, помогая в планировании и принятии решений для сельского хозяйства, путешествий и управления стихийными бедствиями.
• Продажи и маркетинг: Бизнес использует прогнозирование временных рядов для прогнозирования будущих продаж, спроса и поведения потребителей. Это помогает в управлении запасами, установлении целевых показателей продаж и разработке маркетинговых стратегий.
• Энергетический сектор: Энергетические компании прогнозируют спрос и предложение для оптимизации производства и распределения. Прогнозирование временных рядов помогает прогнозировать закономерности потребления энергии, обеспечивая эффективное управление энергией и планирование.
• Здравоохранение: В сфере здравоохранения прогнозирование временных рядов используется для прогнозирования вспышек заболеваний, поступлений пациентов и потребностей в медицинских запасах. Это помогает в планировании здравоохранения, распределении ресурсов и разработке политики.

Фундаментальные модели временных рядов

Фундаментальные модели ИИ – это обширные, предварительно обученные модели, которые образуют основу для различных приложений искусственного интеллекта. Они обучаются на больших и разнообразных наборах данных, что позволяет им обнаруживать закономерности, связи и структуры внутри данных. Термин “фундаментальная” относится к их способности быть дообученными или модифицированными для задач или областей с минимальным дополнительным обучением. В контексте прогнозирования временных рядов эти модели построены аналогично большим языковым моделям (БЯМ), используя архитектуры трансформеров. Как и БЯМ, они обучаются прогнозировать следующий или отсутствующий элемент в последовательности данных. Однако, в отличие от БЯМ, которые обрабатывают текст как субслова через слои трансформеров, фундаментальные модели временных рядов рассматривают последовательности непрерывных временных точек как токены, что позволяет им последовательно обрабатывать данные временных рядов.

Недавно были разработаны различные фундаментальные модели для данных временных рядов. С лучшим пониманием и выбором подходящей фундаментальной модели мы можем более эффективно и эффективно использовать их возможности. В последующих разделах мы рассмотрим различные фундаментальные модели, доступные для анализа данных временных рядов.

• TimesFM: Разработанная Google Research, TimesFM – это декодерная фундаментальная модель с 200 миллионами параметров. Модель обучена на наборе данных из 100 миллиардов реальных временных точек, охватывающих как синтетические, так и фактические данные из различных источников, таких как Google Trends и Wikipedia Pageviews. TimesFM способна выполнять прогнозирование без обучения в нескольких секторах, включая розничную торговлю, финансы, производство, здравоохранение и естественные науки, на различных временных гранулярностях. Google планирует выпустить TimesFM на своей платформе Google Cloud Vertex AI, предоставляя свои передовые функции прогнозирования внешним клиентам.
• Lag-Llama: Созданная исследователями из Université de Montréal, Mila-Québec AI Institute и McGill University, Lag-Llama – это фундаментальная модель, предназначенная для вероятностного прогнозирования временных рядов. Построенная на основе Llama, модель использует архитектуру декодера-трансформера, которая использует переменные размеры временных лагов и временных разрешений для прогнозирования. Модель обучена на разнообразных наборах данных временных рядов из различных источников, охватывающих шесть разных групп, включая энергию, транспорт, экономику, природу, качество воздуха и облачные операции. Модель доступна через библиотеку Huggingface.
• Moirai: Разработанная Salesforce AI Research, Moirai – это фундаментальная модель временных рядов, предназначенная для универсального прогнозирования. Moirai обучена на наборе данных Large-scale Open Time Series Archive (LOTSA), который содержит 27 миллиардов наблюдений из девяти различных областей, что делает его крупнейшим собранием открытых наборов данных временных рядов. Этот разнообразный набор данных позволяет Moirai учиться на широком спектре данных временных рядов, что позволяет ей выполнять различные задачи прогнозирования. Moirai использует несколько слоев проекции с переменным размером патчей для захвата временных закономерностей на различных частотах. Одним из важных аспектов Moirai является использование механизма внимания любого варианта, что позволяет выполнять прогнозирование по любому количеству переменных. Код, веса модели и данные, связанные с Moirai, доступны в репозитории GitHub под названием “uni2ts“

• Chronos: Разработанная Amazon, Chronos – это коллекция предварительно обученных вероятностных моделей для прогнозирования временных рядов. Построенная на архитектуре трансформера T5, модели используют словарь из 4096 токенов и имеют различные параметры, варьирующиеся от 8 миллионов до 710 миллионов. Chronos предварительно обучена на огромном массиве публичных и синтетических данных, сгенерированных из гауссовских процессов. Chronos отличается от TimesFM тем, что это модель кодировщик-декодер, что позволяет извлекать кодировщик-эмбеддинги из данных временных рядов. Chronos можно легко интегрировать в среду Python и доступна через свой API.

• Moment: Разработанная совместно Carnegie Mellon University и University of Pennsylvania, Moment – это семейство открытых фундаментальных моделей временных рядов. Она использует вариации архитектур T5, включая небольшие, базовые и крупные версии, с базовой моделью, включающей примерно 125 миллионов параметров. Модель проходит предварительное обучение на обширном “Time-series Pile”, разнообразном собрании публичных данных временных рядов, охватывающих различные области. В отличие от многих других фундаментальных моделей, MOMENT предварительно обучена на широком спектре задач, повышая ее эффективность в приложениях, таких как прогнозирование, классификация, обнаружение аномалий и импутация. Полный репозиторий Python и код ноутбука Jupyter доступны для использования модели.

Основная мысль

Прогнозирование временных рядов – это важный инструмент в различных областях, от финансов до здравоохранения, что позволяет принимать обоснованные решения на основе исторических закономерностей. Передовые фундаментальные модели, такие как TimesFM, Chronos, Moment, Lag-Llama и Moirai, предлагают сложные возможности, используя архитектуры трансформеров и разнообразные наборы данных для точного прогнозирования и анализа. Эти модели дают нам взгляд в будущее анализа временных рядов, наделяя бизнес и исследователей мощными инструментами для эффективного навигации по сложным ландшафтам данных.