Восхождение фундаментальных моделей временных рядов для анализа и прогнозирования данных

Временные ряды прогнозирования играют важную роль в принятии решений в различных отраслях, таких как розничная торговля, финансы, производство и здравоохранение. Однако по сравнению с областями, такими как обработка естественного языка и распознавание изображений, интеграция передовых методов искусственного интеллекта (ИИ) в прогнозирование временных рядов была относительно медленной. Хотя фундаментальные модели ИИ добились значительного прогресса в таких областях, как обработка естественного языка и распознавание изображений, их влияние на прогнозирование временных рядов было ограничено до недавнего времени. Тем не менее, в настоящее время наблюдается растущий интерес к разработке фундаментальных моделей, специально предназначенных для прогнозирования временных рядов. В этой статье мы обсудим эволюционирующий ландшафт фундаментального ИИ для прогнозирования временных рядов, изучая недавние достижения в этой области.

Прогнозирование временных рядов и его применения

Данные временных рядов представляют собой последовательность данных, собранных или записанных в регулярные интервалы времени. Этот тип данных широко распространен в различных областях, таких как экономика, погода, здравоохранение и другие. Каждая точка данных в временном ряду имеет временную метку, и последовательность часто используется для анализа тенденций, закономерностей и сезонных колебаний во времени.

Прогнозирование временных рядов включает использование исторических данных для прогнозирования будущих значений в ряду. Это важный метод в статистике и машинном обучении, который помогает принимать обоснованные решения на основе прошлых закономерностей. Прогнозирование может быть таким простым, как проектирование одного и того же темпа роста в будущее, или таким сложным, как использование моделей ИИ для прогнозирования будущих тенденций на основе сложных закономерностей и внешних факторов.

Некоторые применения прогнозирования временных рядов следующие:

• Финансовые рынки: В финансах прогнозирование временных рядов используется для прогнозирования цен на акции, обменных курсов и рыночных тенденций. Инвесторы и аналитики используют исторические данные для прогнозирования будущих движений и принятия торговых решений.
• Прогнозирование погоды: Метеорологические отделы используют данные временных рядов для прогнозирования погодных условий. Анализируя прошлые погодные данные, они прогнозируют будущие погодные закономерности, что помогает в планировании и принятии решений для сельского хозяйства, путешествий и управления стихийными бедствиями.
• Продажи и маркетинг: Бизнес использует прогнозирование временных рядов для прогнозирования будущих продаж, спроса и поведения потребителей. Это помогает в управлении запасами, установлении целевых показателей продаж и разработке маркетинговых стратегий.
• Энергетический сектор: Энергетические компании прогнозируют спрос и предложение для оптимизации производства и распределения. Прогнозирование временных рядов помогает прогнозировать закономерности потребления энергии, что позволяет эффективно управлять энергетикой и планировать.
• Здравоохранение: В здравоохранении прогнозирование временных рядов используется для прогнозирования вспышек заболеваний, поступлений пациентов и медицинских потребностей. Это помогает в планировании здравоохранения, распределении ресурсов и принятии политических решений.

Фундаментальные модели временных рядов

Фундаментальные модели ИИ являются обширными, предварительно обученными моделями, которые образуют основу для различных приложений искусственного интеллекта. Они обучаются на больших и разнообразных наборах данных, что позволяет им обнаруживать закономерности, связи и структуры внутри данных. Термин “фундаментальный” относится к их способности быть дообученными или измененными для задач или областей с минимальным дополнительным обучением. В контексте прогнозирования временных рядов эти модели строятся аналогично большим языковым моделям (LLM), используя архитектуру трансформеров. Как и LLM, они обучаются прогнозировать следующий или пропущенный элемент в последовательности данных. Однако, в отличие от LLM, которые обрабатывают текст как подслова через слои трансформеров, фундаментальные модели временных рядов рассматривают последовательности непрерывных точек времени как токены, что позволяет им последовательно обрабатывать данные временных рядов.

В последнее время были разработаны различные фундаментальные модели для данных временных рядов. С лучшим пониманием и выбором подходящей фундаментальной модели мы можем более эффективно и эффективно использовать их возможности. В последующих разделах мы рассмотрим различные фундаментальные модели, доступные для анализа данных временных рядов.

• TimesFM: Разработанная Google (GOOGL ) Research, TimesFM является декодерной фундаментальной моделью с 200 миллионами параметров. Модель обучена на наборе данных из 100 миллиардов реальных точек времени, охватывающих как синтетические, так и фактические данные из различных источников, таких как Google Trends и Wikipedia Pageviews. TimesFM способна выполнять прогнозирование с нуля в нескольких секторах, включая розничную торговлю, финансы, производство, здравоохранение и естественные науки, на разных временных гранулярностях. Google планирует выпустить TimesFM на своей платформе Google Cloud Vertex AI, предоставляя свои сложные функции прогнозирования внешним клиентам.
• Lag-Llama: Созданная исследователями из Université de Montréal, Mila-Québec AI Institute и McGill University, Lag-Llama является фундаментальной моделью, предназначенной для унифицированного вероятностного прогнозирования временных рядов. Построенная на основе Llama, модель использует декодерную архитектуру трансформеров, которая использует переменные размеры временных лагов и временных разрешений для прогнозирования. Модель обучена на разнообразных наборах данных временных рядов из различных источников по шести различным группам, включая энергию, транспорт, экономику, природу, качество воздуха и облачные операции. Модель доступна через библиотеку Huggingface.
• Moirai: Разработанная Salesforce (CRM ) AI Research, Moirai является фундаментальной моделью временных рядов, предназначенной для универсального прогнозирования. Moirai обучена на наборе данных Large-scale Open Time Series Archive (LOTSA), который содержит 27 миллиардов наблюдений из девяти различных областей, что делает его крупнейшим собранием открытых наборов данных временных рядов. Этот разнообразный набор данных позволяет Moirai учиться на широком спектре данных временных рядов, что позволяет ей выполнять различные задачи прогнозирования. Moirai использует несколько слоев проекции патч-размера для захвата временных закономерностей на различных частотах. Одним из важных аспектов Moirai является использование механизма внимания any-вар, что позволяет выполнять прогнозирование по любому количеству переменных. Код, веса модели и данные, связанные с Moirai, доступны в репозитории GitHub под названием “uni2ts“

• Chronos: Разработанная Amazon (AMZN ), Chronos является коллекцией предварительно обученных вероятностных моделей для прогнозирования временных рядов. Построенная на архитектуре трансформера T5, модели используют словарь из 4096 токенов и имеют различные параметры, варьирующиеся от 8 миллионов до 710 миллионов. Chronos предварительно обучена на огромном массиве публичных и синтетических данных, сгенерированных из гауссовских процессов. Chronos отличается от TimesFM тем, что является моделью кодировщик-декодировщик, что позволяет извлекать вложения кодировщика из данных временных рядов. Chronos может быть легко интегрирована в среду Python и доступна через API.

• Moment: Разработанная совместно Carnegie Mellon University и University of Pennsylvania, Moment является семейством открытых фундаментальных моделей временных рядов. Она использует вариации архитектур T5, включая небольшие, базовые и крупные версии, с базовой моделью, включающей примерно 125 миллионов параметров. Модель проходит предварительное обучение на обширном “Time-series Pile”, разнообразном собрании публичных данных временных рядов, охватывающих различные области. В отличие от многих других фундаментальных моделей, MOMENT предварительно обучена на широком спектре задач, что повышает ее эффективность в таких приложениях, как прогнозирование, классификация, обнаружение аномалий и импутация. Полный репозиторий Python и код ноутбука Jupyter доступны публично для использования модели.

Итог

Прогнозирование временных рядов является важным инструментом в различных областях, от финансов до здравоохранения, что позволяет принимать обоснованные решения на основе исторических закономерностей. Передовые фундаментальные модели, такие как TimesFM, Chronos, Moment, Lag-Llama и Moirai, предлагают сложные возможности, используя архитектуру трансформеров и разнообразные обучающие наборы данных для точного прогнозирования и анализа. Эти модели дают представление о будущем анализа временных рядов, наделяя бизнес и исследователей мощными инструментами для эффективного навигации в сложных данных.