ICML2026 |SEER：自動增強+替換Patch，同時搞定噪聲、異常、缺失、分佈偏移的新SOTA模型！

原文作者：公眾號-時序大模型原文鏈接：https://mp.weixin.qq.com/s/ZJfbE2OFeV9kZ6kBrLTsDg雷峰網轉載本篇論文來自ICML2026，最新前沿時序技術，針對時間序列預測，提出了名為SEER的Transformer魯棒時序預測框架，首次實現多類型低質量時序數據的統一魯棒建模。文章信息論文名稱：SEER:Transformer-based Robust Time Series Forecasting via Automated Patch Enhancement and Replacement論文作者：Xiangfei Qiu、 Xvyuan Liu、 Tianen Shen、 Xingjian Wu、 Hanyin Cheng、 Bin Yang1 Jilin Hu研究背景時間序列預測是支撐金融經濟研判、智慧交通調度、醫療健康監測、電力能源調控、環境氣象預警等諸多關鍵領域的核心基礎技術，精準的長短期時序預測結果能夠為行業資源動態調配、風險提前預警、智能化精準決策提供核心數據支撐，具備極高的學術研究價值與工程落地價值。在時序預測模型迭代發展歷程中，傳統循環神經網絡（RNN、LSTM、GRU）依賴串行迭代計算，存在長距離時序依賴捕捉能力弱、並行度低、訓練效率差的固有缺陷；CNN類模型僅能聚焦局部鄰域特徵，無法建模長時序關聯；而傳統線性時序模型泛化能力不足，難以適配複雜非線性時序場景。近年來，基於Patch分塊建模的Transformer時序模型憑藉創新性的時序切割思路，成為時序預測領域的主流SOTA方案，代表性模型包含PatchTST、Triformer、Crossformer、xPatch等。這類模型的核心優勢是打破逐時間步建模的侷限，將連續完整的長時序序列均勻切分為若干具備完整局部語義的子序列分塊，以Patch分塊作為基礎建模與Transformer輸入單元，能夠高效捕捉長距離時序依賴關係，完美突破了傳統時序模型的性能瓶頸，大幅提升了常規理想數據場景下的預測精度。儘管現有Patch時序模型在實驗室理想數據集上表現優異，但在真實工業傳感、戶外監測、設備採集等落地場景中，時序數據的採集、傳輸、存儲全過程極易受到外界環境干擾與設備硬件影響，幾乎無法得到純淨、無缺陷的理想時序數據，普遍存在各類非理想質量缺陷。這類低質量數據會產生大量語義殘缺、特徵扭曲、信息無效的劣質時序分塊，嚴重干擾模型特徵學習與預測推理，也是當前魯棒時序預測領域亟待解決的核心難題。白噪聲（White Noise）：主要來源於傳感器硬件輕微抖動、環境電磁干擾、人工記錄誤差等隨機因素，服從標準高斯分佈 ，具備全域覆蓋、無固定規律、隨機性強的特點。白噪聲會疊加在原始有效時序信號上，模糊正常時序的波動規律與特徵邊界，導致模型無法精準捕捉真實時序趨勢，持續降低模型預測穩定性；異常值（Anomalies）：由設備突發故障、系統運行報錯、極端突發場景擾動等異常事件產生，表現為離散單點異常或連續多段時序偏移，且真實預測場景中無任何異常標註數據，屬於無監督劣質數據干擾。異常值會徹底扭曲局部時序的數值分佈與變化規律，誤導模型學習錯誤的時序特徵關聯，大幅提升預測誤差；缺失值（Missing Values）：產生於數據傳輸中斷、設備臨時宕機、信號遮擋、存儲故障等場景，表現為部分時間步時序數據完全空缺。為統一實驗標準、貼合真實場景處理邏輯，本文實驗中統一將缺失位置數值置0，該處理方式會直接造成局部時序語義空缺、特徵斷層，破壞時序數據的連續性與完整性，導致局部Patch分塊完全喪失有效預測信息；分佈偏移（Distribution Shift）：屬於時序數據的隱性缺陷，時序數據的生成機制會隨時間、環境、設備工況的變化持續演化，導致同一時序序列的不同分段服從完全不同的概率分佈，滿足 。分佈偏移會造成訓練集與測試集分佈不一致、模型域泛化能力失效，是導致模型在真實場景性能驟降的核心隱性原因。現有模型存在三大核心缺陷：Patch建模機制僵化，缺乏動態自適應能力：當前所有主流Patch類時序模型均採用固定靜態的時序等分策略，將所有時序分塊無差別納入模型前向傳播過程，全程不做任何質量評估、篩選與優化替換。這種一刀切的靜態建模方式，無法區分優質有效分塊與劣質干擾分塊，讓大量含噪聲、異常、缺失、偏移的劣質分塊與優質分塊同等參與特徵學習與預測推理，持續向模型傳遞負向梯度信號，嚴重干擾模型正常的特徵擬合過程，是模型在低質量數據場景失效的核心原因；表徵學習方式單一，抗干擾能力薄弱：傳統Patch嵌入方式僅依賴單一線性投影層完成時序分塊的令牌映射，僅能構建單一固定的線性表徵空間，特徵表達維度單一、語義豐富度不足。面對真實場景複雜多變的時序擾動，單一表徵空間無法有效區分正常時序特徵與噪聲、異常等干擾特徵，極易出現特徵混淆問題，導致模型無法精準提取有效時序規律；魯棒性設計通用性差，落地侷限性極強：現有魯棒時序預測模型的優化設計均為單一場景定製化開發，僅能針對性解決某一類數據缺陷，例如DUET模型專注適配時序分佈偏移問題、Merlin模型側重處理數據缺失問題，無法同時兼容白噪聲、異常值、缺失值、分佈偏移四類混合劣質數據場景。而真實工業場景的時序缺陷往往是多類型疊加出現，單一魯棒模型無法適配複雜混合擾動場景，極大限制了模型的實際落地應用範圍。針對上述現有模型的核心痛點與行業落地難題，本文創新性提出了SEER（Spatio-temporal Enhanced and Replacement framework）基於Transformer的通用魯棒時序預測框架。模型框架區別於傳統靜態Patch建模、單一維度魯棒優化的設計思路，SEER的核心創新邏輯為動態Patch特徵增強+智能劣質分塊全局替換，徹底擺脫了傳統時序分塊模型僵化固定的建模範式，通過雙模塊協同設計，同時實現時序特徵的精細化增強與劣質數據的自適應修復，全面適配多類型低質量時序場景。SEER整體遵循“預處理降噪→特徵增強→缺陷修復→特徵細化→預測輸出”的層級化設計邏輯，整體架構清晰、模塊分工明確、適配性極強。完整推理流程分為五大核心層級，依次為：數據歸一化預處理、雙分支增強嵌入模塊（AEM）、可學習Patch替換魯棒修復模塊（LPRM）、多頭自注意力全局特徵細化、自適應降維預測頭。其中AEM模塊負責從源頭增強時序特徵豐富度、構建全局優質修復原型，LPRM模塊負責精準修復劣質時序缺陷，兩大可訓練核心模塊協同配合，共同支撐模型的高精度與強魯棒性。任務定義文章聚焦多變量時序預測這一主流工業任務，給定包含N個特徵通道、T個歷史時間步的多變量歷史時序數據 （其中為時序特徵通道數，為模型固定回看時間步長），模型通過深度學習訓練學習從歷史時序到未來時序的非線性映射函數，最終精準預測未來連續F個時間步的時序數據 。區別於常規時序預測任務，文章重點解決的魯棒時序預測任務，特指在輸入時序數據存在白噪聲、數值異常、數據缺失、分佈偏移等各類真實缺陷的前提下，依然保證模型預測的高精度與穩定性，突破現有模型劣化失效的瓶頸。前置預處理：實例歸一化真實場景時序數據普遍存在非平穩性問題，不同時間段、不同通道的數據分佈差異較大，直接輸入模型會導致訓練與測試數據分佈不一致，嚴重影響模型收斂效果與泛化能力。因此本文在模型特徵輸入前，引入可逆實例歸一化操作對原始時序數據做統一預處理，通過標準化變換抹平數據分佈差異、消除非平穩性帶來的建模干擾，同時保留可逆特性保證預測結果可還原，為後續特徵增強、缺陷修復與精準預測奠定均勻、穩定的數據基礎。增強嵌入模塊（AEM）—— 雙分支表徵構建增強嵌入模塊（AEM）是SEER實現特徵優質化的基礎模塊，核心設計思路為雙分支差異化表徵構建，包含增強塊嵌入（局部特徵精細化）與增強序列嵌入（全局原型構建）兩個並行分支。其中局部分支負責細化每一個時序分塊的細節語義、豐富局部特徵維度，全局分支負責聚合全時序、全通道的優質信息，構建無缺陷的全局修復原型，為後續劣質分塊替換修復提供高質量基準，雙分支互補，兼顧細節與全局。增強塊嵌入為適配Patch分塊建模範式，模型首先對完整原始時序序列進行均勻切分，將維度為的時序數據重構為分塊序列 ，其中為單個時序分塊的長度，為整體時序切分後的分塊總數量。為解決傳統單一線性嵌入表徵單一、特徵區分度低的問題，本文摒棄傳統固定映射方式，引入MoE混合專家機制構建多異構特徵空間，實現分塊特徵的自適應增強：單專家線性映射MoE架構中包含多個獨立的專家網絡，每個專家本質是一個獨立的線性投影層，具備差異化的參數權重與特徵映射邏輯。不同專家擅長提取不同類型的時序模式特徵，能夠將原始分塊數據映射到維度為的差異化隱藏特徵空間，突破傳統單一空間的表達侷限，為後續特徵融合提供豐富的異構特徵基礎。噪聲門控路由機制傳統門控路由機制易出現訓練不穩定、專家利用率低的問題，本文引入帶高斯噪聲的隨機門控機制，通過線性變換結合噪聲擾動的方式計算各分塊對所有專家的適配權重，再通過KeepTopK操作篩選出適配度最高的Top-k專家參與特徵計算。該機制既保證了路由的稀疏性、降低計算冗餘，又通過噪聲擾動提升了訓練穩定性與特徵表徵多樣性，有效避免模型過擬合。多專家特徵融合為兼顧通用時序模式與個性化局部特徵，本文采用“共享專家+路由專屬專家”的融合策略。個共享專家負責提取所有時序分塊通用的基礎時序規律，保證特徵的普適性；Top-k個路由專屬專家負責根據各分塊的獨有特徵，提取個性化、差異化的局部語義。兩類特徵加權融合後輸出最終增強塊表徵，大幅豐富局部分塊的特徵語義，提升模型對複雜時序模式的擬合能力。增強序列嵌入僅依靠局部分塊增強無法修復已存在的劣質時序缺陷，因此需要構建全局無缺陷的優質序列令牌，作為後續劣質分塊的替換修復基準。增強序列嵌入分支的核心目標，就是聚合全時序、全通道的有效信息，過濾局部噪聲與異常干擾，生成具備全局最優語義的修復原型：通道特徵映射全局核心特徵聚合首先通過線性映射將原始時序轉換為通道級特徵，再通過MLP完成特徵升維變換，最後採用隨機池化操作聚合所有通道的全局有效信息，過濾局部單點干擾，生成維度為的全局核心原型令牌。該原型整合了整條時序的最優變化規律，不含局部劣質缺陷，是高質量的修復基準特徵。序列原型維度對齊擴展由於全局單原型無法適配多通道時序的差異化特徵，本文通過廣播拼接的方式將全局原型適配到每一個特徵通道，再通過第二層MLP完成維度對齊與特徵微調，最終生成與分塊特徵維度一致、適配各通道特性的全局修復原型，為後續精準替換修復奠定維度基礎。可學習Patch替換模塊——魯棒性核心可學習Patch替換模塊（LPRM）是SEER實現強魯棒性的核心關鍵，徹底解決了傳統模型無法處理劣質時序分塊的痛點。模塊整體分為「自動令牌質量篩選」和「替換因果注意力特徵修復」兩個遞進式階段，最核心的設計亮點是全程採用可微分計算邏輯，規避了傳統離散篩選操作的梯度消失問題，保證模型能夠實現端到端的完整訓練，兼顧魯棒性與訓練有效性。自動令牌篩選令牌質量評分與篩選掩碼該公式組是模型實現劣質分塊智能識別的核心。模型通過可學習的線性層與Sigmoid激活函數，為每一個增強後的分塊令牌生成0-1區間的質量評分，評分越高代表該分塊有效信息越充足、質量越高。通過預設閾值完成優劣分塊劃分，同時引入梯度分離的恆等矩陣設計，解決了離散篩選操作無法回傳梯度的行業難題，讓篩選策略能夠嵌入整體模型參與端到端優化。替換因果自注意力梯度感知掩碼生成劣質令牌全局替換基於梯度感知掩碼完成精準的分塊替換邏輯，實現優質特徵保留、劣質特徵修復的雙重效果。當掩碼值時，判定為優質分塊，保留原始增強特徵；當時，判定為劣質分塊，自動替換為對應通道的全局優質原型特徵，從根源上剔除噪聲、異常、缺失等劣質信息的干擾，補全局部語義空缺。多頭因果注意力特徵細化完成分塊替換後，模型將全局原型令牌拼接入時序序列前端，通過多頭因果自注意力機制（MCSA）細化全局與局部特徵關聯。因果掩碼的設計嚴格保證了時序預測的不可逆性，即每個時間步僅能關注歷史時序信息與全局原型，無法感知未來信息，既符合時序預測的物理邏輯，又能讓修復後的劣質分塊融合全局歷史上下文，保留完整的時序連續性與位置語義。全局特徵融合通過常規多頭自注意力機制（MSA）完成全局特徵深度融合，進一步拉近優質局部分塊、修復後分塊與全局原型的特徵關聯，統一整體時序特徵分佈，消除替換修復後可能存在的特徵斷層問題，輸出平滑、統一、高質量的全局時序特徵。預測輸出模塊自適應特徵降維最終預測生成經過前文的特徵增強與缺陷修復後，時序特徵維度較高、存在大量冗餘信息，直接預測會增加計算量、降低推理效率。因此模型設計自適應降維模塊，通過線性投影壓縮特徵維度、過濾冗餘噪聲信息，在保留核心有效特徵的前提下實現模型輕量化。最後通過特徵展平與線性映射，輸出未來F個時間步的最終預測結果，完成完整的時序預測推理流程。實驗數據數據集體系：為全面驗證模型的通用精度與魯棒性，搭建了三級數據集驗證體系，實現從常規理想場景、可控擾動場景到真實劣質場景的全覆蓋。第一級為8大通用標準數據集，涵蓋電力、氣象、能源、交通四大主流時序領域，用於驗證模型常規預測精度；第二級為4類合成擾動數據集，通過人為注入不同梯度的白噪聲、異常值、缺失值、分佈偏移，可控驗證模型的抗干擾能力；第三級為8類真實低質量工業數據集，覆蓋金融、傳感、環境等真實複雜場景，用於驗證模型的實際落地魯棒性；基線模型全覆蓋：為保證實驗結果的權威性與說服力，選取2023-2025年時序預測領域所有主流SOTA模型作為對比基線，覆蓋傳統線性模型、靜態Patch模型、新型魯棒模型三大類。包含經典基線DLinear、PatchTST，以及近年高性能模型iTransformer、FredFormer，同時包含最新魯棒SOTA模型SRSNet、DUET、Amplifier、xPatch，實現全方位橫向性能對標；評估指標：針對多元時序預測任務，採用行業通用的MSE（均方誤差）、MAE（平均絕對誤差）作為核心評估指標，精準量化預測偏差大小；針對一元短時時序預測任務，採用MASE（平均絕對標度誤差）、msMAPE（平均百分比誤差）評估模型泛化能力，多指標結合保證實驗結果客觀全面；統一超參設置：所有模型統一固定回看窗口長度為96，設置96/192/336/720四種主流預測步長，覆蓋短、中、長期時序預測場景；統一採用NVIDIA Tesla-A800 GPU訓練、ADAM優化器、L1損失函數，所有實驗環境、超參完全對齊，徹底排除實驗變量干擾，保證對比結果的公平有效。重點實驗結果多元時序預測結果：在全覆蓋的超參組合與數據集測試中，SEER展現出碾壓式的SOTA性能，在45組核心實驗參數組合中，34組取得MSE最優值、39組取得MAE最優值，整體最優率遠超所有基線模型。與2025年次優SOTA模型xPatch相比，SEER實現MSE降低7.3%、MAE降低4.9%的顯著性能提升。尤其在ETT電力這類非平穩性強、數據波動大的複雜時序數據集上，SEER的特徵增強與缺陷修復優勢被充分放大，性能優勢最為突出；一元短時時序預測結果：短時時序數據具備樣本量少、波動隨機性強、預測不確定性高、極易過擬合的特點，是時序預測的難點場景。基於TFB基準的8068組真實短時波動時序完成測試，結果顯示SEER的MASE、msMAPE指標全面優於所有基線模型。核心原因是SEER的動態分塊替換機制能夠有效規避短時時序的噪聲干擾，抑制模型過擬合，大幅提升短時時序的泛化預測能力。魯棒性量化結果合成梯度擾動場景結果：本文通過注入0%/1%/5%/10%/15%不同比例的擾動噪聲，模擬不同程度的數據劣質化場景，精準測試模型魯棒性上限。實驗結果表明，在白噪聲、數值異常、數據缺失三類強幹擾場景下，SEER的MSE、MAE誤差值均顯著低於所有對比基線，抗干擾能力碾壓傳統模型與現有魯棒模型；在分佈偏移這類隱性非平穩場景下，SEER與當前最優的非平穩適配模型SRSNet性能持平，展現出極強的隱性缺陷適配能力；真實低質量場景結果：人為合成擾動數據規律單一、干擾簡單，無法完全替代真實複雜場景。因此選取8類真實行業劣質數據集，覆蓋高缺失率、強分佈偏移、高頻異常、強環境噪聲等極端場景。實驗結果證明，SEER在所有真實劣質場景中性能穩居第一，能夠適配複雜混合缺陷干擾；SRSNet作為專用魯棒模型性能次之，而DLinear、iTransformer等傳統模型在真實劣質場景下性能大幅跳水，魯棒性極差，充分驗證了SEER的工程落地價值。消融實驗與參數敏感性模塊消融實驗移除MoE專家機制：去除多專家異構表徵模塊後，模型退化為傳統單一線性嵌入模式，特徵表達維度單一、無法擬合複雜時序模式。在ETTh2、ETTm2等複雜非平穩時序數據集上，模型MSE與MAE誤差顯著上升，性能大幅下降。這充分證明MoE混合專家機制能夠有效構建多樣化異構特徵空間，豐富時序語義信息，是提升模型特徵表達能力、適配複雜時序的核心基礎；簡化全局序列嵌入：將本文自適應優質全局原型替換為傳統簡單MLP序列嵌入後，模型無法生成高質量、無缺陷的全局修復特徵，劣質分塊替換機制完全失效。在各類低質量數據集上模型性能出現斷崖式下跌，證明高質量全局序列原型是劣質分塊修復的核心前提，通道自適應感知與全局聚合機制對模型魯棒性起到決定性支撐作用；移除令牌篩選模塊：取消分塊質量評分與篩選機制後，模型無差別保留所有優質、劣質分塊，大量含噪聲、異常、缺失的干擾分塊參與預測推理，持續引入負向特徵干擾。在高噪聲、強非平穩的劣質數據集上模型性能急劇下降，充分驗證了動態令牌篩選機制能夠有效剔除負向干擾，是保障模型魯棒性的關鍵核心環節；移除特徵降維模塊：取消自適應特徵壓縮後，模型特徵維度冗餘、參數量大幅增加，特徵中殘留大量無效噪聲與冗餘信息，不僅提升了計算複雜度、降低推理速度，還導致預測精度整體下降。證明自適應特徵降維不僅能夠實現模型輕量化、提升推理效率，還能過濾冗餘噪聲、精煉核心特徵，正向助力模型預測性能提升。超參敏感性分析MoE專家數量：實驗測試不同專家數量的模型性能，結果顯示專家數量設置為8時，模型在所有數據集上綜合性能最優。專家數量過少會導致異構特徵空間不足、特徵表達單一；數量過多會造成參數量冗餘、模型過擬合，出現性能下降問題；Patch分塊長度：分塊長度是Patch建模的核心超參，實驗證明16、24為最優區間。分塊長度過短會導致單個分塊時序信息不足，丟失局部時序關聯；分塊長度過長會引入過多冗餘噪聲信息，破壞局部語義純度，均會導致模型性能劣化；特徵降維比例：降維比例為0.5、0.75時模型綜合性能最優，該比例能夠完美平衡特徵完整性與模型輕量化程度。降維比例過大會壓縮丟失核心有效特徵，比例過小無法實現冗餘信息過濾與模型瘦身；令牌評分閾值：閾值的最優取值與數據質量強相關，低質量、高擾動數據集需要設置非零閾值，主動剔除劣質干擾分塊，提升魯棒性；Solar這類高質量純淨數據集無多餘干擾，閾值設置為0可完整保留所有有效特徵，最大化預測精度，該特性讓模型具備極強的場景自適應能力。小小總結文章提出了名為SEER的Transformer魯棒時間序列預測框架，針對現有基於分塊的時序預測模型無法動態篩選分塊、在含缺失