时间序列基础模型的崛起：数据分析和预测

时间序列 预测 在各个行业的关键决策过程中发挥着至关重要的作用，例如零售、金融、制造和医疗保健。然而，与自然语言处理和图像识别等领域相比，时间序列预测中先进的人工智能（AI）技术的整合相对较慢。尽管基础AI已经在自然语言处理和图像识别等领域取得了显著进展，但其对时间序列预测的影响直到最近才开始显现。然而，目前在时间序列预测领域中，基础模型的开发正在迅速推进。本文将讨论基础AI在时间序列预测领域的演变，探索该领域的最新进展。

时间序列预测和应用

时间序列数据是指在规则时间间隔内收集或记录的数据点序列。这种数据类型在各个领域中都很常见，例如经济、天气、健康等。时间序列中的每个数据点都带有时间戳，该序列通常用于分析随时间变化的趋势、模式和季节性变化。

时间序列预测涉及使用历史数据来预测序列中的未来值。它是统计学和机器学习中的一种关键方法，帮助根据过去的模式做出明智的决策。预测可以简单到将相同的增长率投射到未来，也可以复杂到使用AI模型根据复杂的模式和外部因素预测未来趋势。

时间序列预测的一些应用如下：

• 金融市场： 在金融领域，时间序列预测用于预测股票价格、汇率和市场趋势。投资者和分析师使用历史数据来预测未来运动并做出交易决策。
• 天气预报： 气象部门使用时间序列数据来预测天气条件。通过分析过去的天气数据，他们预测未来天气模式，帮助计划和决策农业、旅行和灾害管理。
• 销售和营销： 企业利用时间序列预测来预测未来销售、需求和消费者行为。这有助于库存管理、设定销售目标和制定营销策略。
• 能源领域： 能源公司预测需求和供应以优化生产和分配。时间序列预测有助于预测能源消费模式，实现高效的能源管理和规划。
• 医疗保健： 在医疗保健领域，时间序列预测用于预测疾病爆发、患者入院和医疗库存需求。这有助于医疗保健规划、资源分配和政策制定。

基础时间序列模型

基础AI模型是广泛的预训练模型，构成了各种人工智能应用的基础。它们是在大型和多样化的数据集上训练的，能够识别数据中的模式、联系和结构。基础模型的特点是可以通过最小的额外训练来微调或修改以适应特定任务或领域。在时间序列预测的背景下，这些模型的构建类似于大型语言模型（LLM），使用变换器架构。像LLM一样，它们被训练为预测数据序列中的下一个或缺失的元素。然而，与LLM不同，LLM将文本作为子词通过变换器层处理，而基础时间序列模型将连续时间点序列作为令牌，允许它们顺序处理时间序列数据。

最近，已经开发了多个基础模型用于时间序列数据。通过更好地理解和选择合适的基础模型，我们可以更有效、更高效地利用它们的能力。在后续章节中，我们将探讨可用于时间序列数据分析的不同基础模型。

• TimesFM： 由Google Research开发，TimesFM是一个解码器仅基础模型，具有2亿参数。该模型在一个包含1000亿真实世界时间点的数据集上进行训练，涵盖了Google Trends和Wikipedia Pageviews等多个来源的合成和实际数据。TimesFM能够在零次预测多个领域，包括零售、金融、制造、医疗保健和自然科学，跨不同时间粒度。Google计划在其Google Cloud Vertex AI平台上发布TimesFM，为外部客户提供其先进的预测功能。
• Lag-Llama： 由蒙特利尔大学、Mila-Québec AI研究所和麦吉尔大学的研究人员开发，Lag-Llama是一个用于单变量概率时间序列预测的基础模型。它建立在Llama的基础上，采用解码器仅变换器架构，使用可变大小的时间滞后和时间分辨率进行预测。该模型在六个不同组的多个来源的多样化时间序列数据集上进行训练，包括能源、交通、经济、自然、空气质量和云操作。该模型可以通过Huggingface库访问。
• Moirai： 由Salesforce AI Research开发，Moirai是一个用于通用预测的基础时间序列模型。Moirai在大规模开放时间序列存档（LOTSA）数据集上进行训练，该数据集包含九个不同领域的270亿观察结果，使其成为最大的开放时间序列数据集集合。该多样化的数据集使Moirai能够从广泛的时间序列数据中学习，能够处理不同的预测任务。Moirai使用多个补丁大小投影层来捕获不同频率的时间模式。Moirai的一个重要方面是使用任何变量注意力机制，允许跨任何数量的变量进行预测。Moirai的代码、模型权重和数据可在GitHub存储库中找到。

• Chronos： 由Amazon开发，Chronos是一组用于时间序列预测的预训练概率模型。Chronos建立在T5变换器架构上，使用4096个令牌的词汇表，具有从800万到7.1亿的参数。Chronos在一个由高斯过程生成的公共和合成数据的大型数组上进行预训练。Chronos与TimesFM不同之处在于它是一个编码器-解码器模型，这使得可以从时间序列数据中提取编码器嵌入。Chronos可以轻松集成到Python环境中，并可以通过其API访问。

• Moment： 由卡内基梅隆大学和宾夕法尼亚大学合作开发，Moment是一系列开源基础时间序列模型。它使用T5架构的变体，包括小型、基础和大型版本，基础模型包含约1.25亿参数。该模型在一个名为“时间序列堆栈”的广泛时间序列数据集合上进行预训练，涵盖了多个领域。与许多其他基础模型不同，Moment在预训练中进行了多任务训练，增强了其在预测、分类、异常检测和插补等应用中的有效性。Moment的Python存储库和Jupyter笔记本代码公开可用。

结论

时间序列预测是各个领域的一种关键工具，从金融到医疗保健，能够根据历史模式做出明智的决策。像TimesFM、Chronos、Moment、Lag-Llama和Moirai这样的先进基础模型提供了复杂的功能，利用变换器架构和多样化的训练数据集实现准确的预测和分析。这些模型为时间序列分析的未来提供了一个展望，赋予企业和研究人员有力的工具来有效地导航复杂的数据景观。