揭示Transformer重要缺陷！北大提出傅里叶分析神经网络FAN，填补周期性特征建模缺陷
人工智能数字化转型汽车科技交叉前沿
AIxiv专栏
2024年11月10日
周期性现象无处不在，从天体的运行轨迹到生物的昼夜节律，从经济的波动起伏到物理的电磁波，都蕴藏着周期性的奥秘。 作为最重要的基本特性之一，周期性深刻影响着人类社会和自然科学。然而，现有的基础模型，例如多层感知机（MLP）和Transformer，在周期性建模方面却存在着明显的缺陷。
北大李戈教授团队的最新研究揭示了Transformer在周期性建模上的重要缺陷，并提出了一种名为傅里叶分析神经网络（FAN）的新型网络架构，填补了这一空白。 FAN通过引入傅里叶级数的思想，将周期性信息直接嵌入网络结构中，使模型更自然地捕捉和理解数据中的周期性模式。
Transformer的周期性建模缺陷
即使面对简单的正弦函数，现有的基础模型也难以理解其中的周期性规律。在训练数据域外进行外推时，这些模型的表现往往失控，无法有效捕捉到周期性现象的本质。
FAN：一种全新的周期性建模范式
FAN通过将傅里叶级数的思想融入神经网络架构，能够有效地建模周期性。它能够无缝替换传统的MLP，同时减少参数量和计算量，填补了当前基础模型在周期性建模上的缺陷。
FAN的优势
- 更精确的周期性建模： FAN在周期性建模任务中显著优于现有的模型，包括MLP、KAN和Transformer。
- 更强的泛化能力： FAN在训练数据域内和域外的测试数据上都表现出色，表明它能够真正理解周期性的原理并进行精准建模。
- 更快的收敛速度： FAN在学习复杂周期函数任务上的收敛速度和最终效果都远远超过其他模型。
- 更广泛的应用潜力： FAN在符号公式表示、时间序列预测和语言建模等实际任务中也表现出色，展示出广泛的应用潜力。
FAN的实现细节
FAN通过堆叠FAN层来构建，每个FAN层都包含一个傅里叶级数展开，用于建模周期性。研究团队通过巧妙的设计，确保FAN的深度能够增强其周期性建模的表现力，同时确保中间层的特征可用于执行周期性建模。
FAN的意义
FAN的出现为周期性建模提供了一种全新的范式，它能够有效地捕捉和理解数据中的周期性模式，并填补了当前基础模型在周期性建模上的缺陷。FAN的广泛应用潜力将为人工智能领域带来新的突破，并推动相关领域的进一步发展。
参考文献
*Dong, Y., Li, G., et al. (2024). FAN: Fourier Analysis Networks. arXiv preprint arXiv:2410.02675.
联系方式
- 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
关于机器之心
机器之心是领先的人工智能媒体平台，致力于为全球人工智能从业者提供优质的资讯、洞察和交流平台。
关于作者
- 董益宏，北京大学计算机学院 22 级博士生，曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 类 / SCI 一区国际顶级会议和期刊上发表 11 篇学术论文。
- 李戈，北京大学计算机学院长聘教授。
版权声明
本文为机器之心原创，转载请联系授权。
Views: 0