【儀表網(wǎng) 研發(fā)快訊】近日，北大電子學(xué)院程翔教授團(tuán)隊(duì)提出首個(gè)面向信道預(yù)測(cè)的無(wú)線基座模型WiFo，該研究成果以“WiFo: Wireless Foundation Model for Channel Prediction”為題發(fā)表于期刊SCIENCE CHINA Information Sciences(IF=7.3，JCR Q1，CCF-A類期刊)。
 

　　精確的信道狀態(tài)信息(CSI)是B5G/6G MIMO-OFDM無(wú)線通信系統(tǒng)設(shè)計(jì)的基石，在預(yù)編碼和資源分配等關(guān)鍵任務(wù)中發(fā)揮著決定性作用。然而，傳統(tǒng)的基于信道估計(jì)的CSI獲取方式在高速移動(dòng)等復(fù)雜場(chǎng)景中易受到“信道老化”等問(wèn)題影響，嚴(yán)重制約系統(tǒng)性能。相比之下，信道預(yù)測(cè)技術(shù)通過(guò)預(yù)測(cè)獲取CSI，大大降低了信道估計(jì)和反饋開(kāi)銷，顯著提升了系統(tǒng)頻譜效率，因而在過(guò)去幾十年中得到了廣泛研究，如圖1所示。早期工作探索了基于參數(shù)化模型的信道預(yù)測(cè)方案，但其性能嚴(yán)重依賴于信道模型的準(zhǔn)確度。而基于深度學(xué)習(xí)小模型的方案在高動(dòng)態(tài)等復(fù)雜環(huán)境下性能受限，且泛化能力較差，難以滿足未來(lái)通信系統(tǒng)高速率和低開(kāi)銷的要求。
 

　　近年來(lái)，基座模型的興起推動(dòng)了深度學(xué)習(xí)范式的變革，即通過(guò)在大規(guī)模數(shù)據(jù)集上進(jìn)行自監(jiān)督預(yù)訓(xùn)練，基座模型可以在多種下游任務(wù)中展現(xiàn)出卓越的泛化能力，并大幅超越任務(wù)專用模型。基座模型在自然語(yǔ)言處理等領(lǐng)域取得了突破性進(jìn)展，催生了以ChatGPT和DeepSeek為代表的大語(yǔ)言模型(LLM)。前期LLM賦能通信物理層的相關(guān)工作局限于語(yǔ)言形式和語(yǔ)義提取等相關(guān)任務(wù)，難以直接處理非語(yǔ)言形式的信道預(yù)測(cè)任務(wù)。為突破語(yǔ)言局限，團(tuán)隊(duì)前期工作(LLM4CP)首次將LLM應(yīng)用于信道預(yù)測(cè)任務(wù)，通過(guò)微調(diào)技術(shù)實(shí)現(xiàn)預(yù)訓(xùn)練LLM的通用知識(shí)遷移，提升了預(yù)測(cè)精度和泛化能力。然而，由于語(yǔ)言域和信道域的天然差異，LLM4CP在面臨超高速移動(dòng)場(chǎng)景時(shí)仍然性能不足。當(dāng)遷移到新場(chǎng)景時(shí)，LLM4CP只能降低而無(wú)法完全避免額外的數(shù)據(jù)收集和訓(xùn)練開(kāi)銷。此外，現(xiàn)有基于深度學(xué)習(xí)小模型和LLM的方案均針對(duì)時(shí)域和頻域兩種信道預(yù)測(cè)任務(wù)單獨(dú)設(shè)計(jì)網(wǎng)絡(luò)，大大增加了基站側(cè)模型部署開(kāi)銷。
 

　　綜上所述，由于并非針對(duì)信道域進(jìn)行構(gòu)建，基于通用基座模型(LLM)的信道預(yù)測(cè)方案在預(yù)測(cè)精度和泛化能力方面存在局限，無(wú)法從根本上突破傳統(tǒng)深度學(xué)習(xí)設(shè)計(jì)范式，無(wú)法打破新場(chǎng)景需重新訓(xùn)練和模型分立設(shè)計(jì)的瓶頸。那么，能否針對(duì)信道域構(gòu)建專用的無(wú)線基座模型，在大幅提升預(yù)測(cè)精度的同時(shí)實(shí)現(xiàn)一模多用，并能夠直接應(yīng)用于新場(chǎng)景而不加任何微調(diào)？ 程翔團(tuán)隊(duì)對(duì)該問(wèn)題首次進(jìn)行了初步探索和系統(tǒng)回答，提出了首個(gè)面向信道預(yù)測(cè)的無(wú)線基座模型WiFo(Wireless Foundation Model)，開(kāi)辟了全新的信道預(yù)測(cè)設(shè)計(jì)范式，從根本上克服了現(xiàn)有基于深度學(xué)習(xí)小模型和LLM信道預(yù)測(cè)方案的局限性，開(kāi)創(chuàng)了信道預(yù)測(cè)技術(shù)的基座模型時(shí)代。
 

圖1. 信道預(yù)測(cè)技術(shù)發(fā)展歷史
 

　　打破分立設(shè)計(jì)的瓶頸，WiFo首次將時(shí)域和頻域的MIMO-OFDM信道預(yù)測(cè)統(tǒng)一建模為信道重建任務(wù)。為解決信道預(yù)測(cè)任務(wù)和CSI數(shù)據(jù)的異構(gòu)性，團(tuán)隊(duì)提出了一種基于掩碼自編碼器(MAE)的網(wǎng)絡(luò)架構(gòu)，從而可以處理任意尺寸的三維CSI數(shù)據(jù)并應(yīng)用于異構(gòu)的信道預(yù)測(cè)任務(wù)。同時(shí)，他們?cè)O(shè)計(jì)了一種新的空時(shí)頻位置編碼結(jié)構(gòu)，以學(xué)習(xí)CSI樣本的三維位置信息。為充分捕獲通用的信道空時(shí)頻特征，團(tuán)隊(duì)設(shè)計(jì)了三種自監(jiān)督預(yù)訓(xùn)練任務(wù)，即隨機(jī)掩碼重建，時(shí)域掩碼重建和頻域掩碼重建。預(yù)訓(xùn)練后的WiFo可直接零樣本用于信道預(yù)測(cè)任務(wù)，而無(wú)需額外訓(xùn)練。
 

圖2. WiFo網(wǎng)絡(luò)架構(gòu)圖
 

　　團(tuán)隊(duì)基于QuaDRiGa仿真器構(gòu)建了大規(guī)模異構(gòu)CSI數(shù)據(jù)集，包括16個(gè)預(yù)訓(xùn)練數(shù)據(jù)集(包括16萬(wàn)條CSI訓(xùn)練樣本)和3個(gè)泛化性測(cè)試數(shù)據(jù)集，覆蓋多種場(chǎng)景、用戶速度、頻點(diǎn)、天線和時(shí)間等配置，并考慮了5種參數(shù)量大小(從0.3M到86.1M)的模型，如表1和表2所示。WiFo在16個(gè)預(yù)訓(xùn)練數(shù)據(jù)集的時(shí)域和頻域預(yù)測(cè)結(jié)果分別如表3和表4所示，WiFo的平均NMSE(歸一化均方根誤差)性能達(dá)到SOTA，并且在大多數(shù)數(shù)據(jù)集上實(shí)現(xiàn)最優(yōu)或次優(yōu)，說(shuō)明WiFo能夠同時(shí)在多個(gè)異構(gòu)數(shù)據(jù)集上訓(xùn)練，并同時(shí)掌握時(shí)域和頻域預(yù)測(cè)，實(shí)現(xiàn)“一模多用”。值得注意的是，為完成上述16個(gè)數(shù)據(jù)集上的時(shí)域和頻域信道預(yù)測(cè)任務(wù)，每種對(duì)比方案需要訓(xùn)練32個(gè)單獨(dú)的模型，而WiFo僅需訓(xùn)練1個(gè)模型。以D17數(shù)據(jù)集為例，WiFo的零樣本泛化性能如圖3所示。對(duì)比方案的零樣本泛化能力較差，難以有效預(yù)測(cè)，而WiFo的零樣本泛化性能超越了所有對(duì)比方案的全樣本訓(xùn)練性能，有望不加微調(diào)直接部署于新場(chǎng)景。此外，WiFo-Base的參數(shù)量?jī)H為L(zhǎng)LM4CP的1/4，而推理時(shí)間與普通小模型相當(dāng)，有望實(shí)際部署。
 

　　圖3. D17數(shù)據(jù)集：WiFo零樣本預(yù)測(cè)NMSE和對(duì)比方案的全樣本/零樣本預(yù)測(cè)NMSE

 

　　該工作的主要亮點(diǎn)包括：首個(gè)面向信道預(yù)測(cè)的無(wú)線基座模型和首個(gè)零樣本信道預(yù)測(cè)方案，首次實(shí)現(xiàn)一個(gè)模型同時(shí)解決異構(gòu)的信道預(yù)測(cè)任務(wù)和多樣的CSI數(shù)據(jù)；設(shè)計(jì)了基于MAE的無(wú)線基座模型架構(gòu)以解決任務(wù)與數(shù)據(jù)異構(gòu)性，并設(shè)計(jì)多種掩碼重建自監(jiān)督預(yù)訓(xùn)練任務(wù)以充分捕獲空時(shí)頻信道特征；構(gòu)建了大規(guī)模異構(gòu)數(shù)據(jù)集用于預(yù)訓(xùn)練(訓(xùn)練樣本數(shù)16萬(wàn))，仿真結(jié)果說(shuō)明WiFo具備優(yōu)越的多數(shù)據(jù)集聯(lián)合學(xué)習(xí)能力，在新場(chǎng)景上的零樣本預(yù)測(cè)性能超越對(duì)比方案的全樣本性能，并具備與普通深度學(xué)習(xí)小模型相當(dāng)?shù)耐评黹_(kāi)銷。
 

　　北京大學(xué)為該研究工作的第一完成單位，合作單位包括香港科技大學(xué)(廣州)。程翔為該論文的通訊作者，北京大學(xué)博士生劉伯珣為第一作者。這項(xiàng)工作得到了國(guó)家自然科學(xué)基金委杰出青年科學(xué)基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃、新基石科學(xué)基金會(huì)科學(xué)探索獎(jiǎng)等項(xiàng)目的支持。