摘要：
近期，浙江大学和Salesforce的研究人员提出了一种名为VisionTS的时序预测框架，该框架基于何恺明的MAE（Masked Autoencoders）模型，实现了从自然图像中预训练而无需时间序列微调，即可直接在时序预测领域取得显著成效。这一研究揭示了计算机视觉与时间序列预测之间的密切联系，为时序预测领域带来了新的思路。
一、背景
近年来，预训练基础模型在自然语言处理和计算机视觉领域取得了显著成果。然而，将预训练模型应用于时序预测领域仍面临挑战。目前，时序预测主要有两种研究路径：一是将LLM应用于时序预测任务，但语言与时序之间的可迁移性受到质疑；二是直接训练基础模型，但不同领域的时间序列数据之间存在较大差异，限制了迁移效果。
二、研究方法
VisionTS框架基于以下思路：
1. 将时间序列预测任务重构为MAE预训练使用的块级图像补全任务；
2. 将时间序列的历史窗口转换为可见的图像块，预测窗口转换为被遮挡的图像块；
3. 利用MAE模型进行重建与预测。
三、实验结果
VisionTS在涵盖多个领域的35个基准数据集上表现出色，无需时序数据微调的情况下，能够达到最佳预测性能。在零样本情况下，VisionTS甚至超越了Moirai、TimeLLM、GPT4TS等常用时序预测模型。
四、结论
VisionTS框架的提出，为时序预测领域提供了新的思路。这一研究揭示了计算机视觉与时间序列预测之间的密切联系，为未来时序预测技术的发展提供了新的方向。
参考文献：
[1] 陈谋祥, 刘成昊, 等. VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters[C]//arXiv preprint arXiv:2408.17253. https://arxiv.org/abs/2408.17253
[2] 何恺明. Masked Autoencoders Are Unsupervised Learning of Invariant Representations[J]. arXiv preprint arXiv:1912.02751, 2019.
Views: 0