【儀表網(wǎng) 儀表研發(fā)】7月9日，中國科學院自動化研究所在2021世界人工智能大會(WAIC2021)上就人工智能的最新進展進行報告，發(fā)布了自動化所研發(fā)的跨模態(tài)通用人工智能平臺——“紫東太初”。
 

　　“紫東太初”跨模態(tài)通用人工智能平臺以多模態(tài)大模型為核心，基于全棧國產(chǎn)化基礎軟硬件平臺，可支撐全場景AI應用。多模態(tài)預訓練模型被廣泛認為是從限定領域的弱人工智能邁向通用人工智能路徑的探索。“紫東太初”跨模態(tài)通用人工智能平臺瞄準成為實現(xiàn)通用人工智能的目標，對促進智能世界的發(fā)展具有重要意義。
 

　　依托面向超大規(guī)模的高效分布式訓練框架，自動化所構(gòu)建了具有性能優(yōu)良的中文預訓練模型、語音預訓練模型和視覺預訓練模型，并開拓性地通過跨模態(tài)語義關(guān)聯(lián)實現(xiàn)了視覺-文本-語音三模態(tài)統(tǒng)一表示，構(gòu)建了三模態(tài)預訓練大模型，賦予跨模態(tài)通用人工智能平臺多種核心能力。
 

　　“紫東太初”兼具跨模態(tài)理解和生成能力。與單模態(tài)和圖文兩模態(tài)相比，其采用一個大模型就能夠靈活支撐圖-文-音全場景AI應用，具有了在無監(jiān)督情況下多任務聯(lián)合學習、并快速遷移到不同領域數(shù)據(jù)的能力。引入語音模態(tài)后的多模態(tài)預訓練模型，可實現(xiàn)共性圖文音語義空間表征和利用，并直接實現(xiàn)三模態(tài)的統(tǒng)一表示。特別的是，該研究使“以圖生音”和“以音生圖”成為現(xiàn)實，為更廣泛、更多樣的下游任務提供了模型基礎支撐，達成AI在如視頻配音、語音播報、標題摘要、海報創(chuàng)作等更多元場景的應用。
 

　　此外，自動化所研發(fā)團隊還提出了弱關(guān)聯(lián)三模態(tài)數(shù)據(jù)的語義統(tǒng)一表達，可同時支持三種或任兩種模態(tài)弱關(guān)聯(lián)數(shù)據(jù)進行預訓練，有效降低了多模態(tài)數(shù)據(jù)收集與清洗成本。
 

　　總結(jié)來說，此跨模態(tài)通用人工智能平臺包括三大關(guān)鍵技術(shù)和六大核心能力。三大關(guān)鍵技術(shù)是多模態(tài)理解與生成的多任務統(tǒng)一建模、面向國產(chǎn)化軟硬件的高效訓練與部署、多模態(tài)預訓練模型架構(gòu)設計與優(yōu)化。六大核心能力體現(xiàn)為多模態(tài)統(tǒng)一表示與語義關(guān)聯(lián)、跨模態(tài)內(nèi)容轉(zhuǎn)化與生成、預訓練模型網(wǎng)絡架構(gòu)設計、標注受限自監(jiān)督模型學習、模型適配與分布式訓練、模型輕量化與推理加速。
 

　　會上，自動化所長徐波展示了基于“紫東太初”平臺打造的虛擬人“小初”，并進行通用多模態(tài)大模型的人機對話演示，展示了不同模態(tài)間的互相轉(zhuǎn)換和生成實例，涵蓋視頻描述、智能問答、圖像檢索、吟詩作賦、中文續(xù)寫、雙語翻譯、語音識別等多個功能。這表明，通過圖文音三模態(tài)的關(guān)聯(lián)與協(xié)同能夠有效提升機器的理解和生成能力。
 

　　“大數(shù)據(jù)+大模型+多模態(tài)”將改變當前單一模型對應單一任務的人工智能研發(fā)范式，多模態(tài)大模型將成為不同領域的共性平臺技術(shù)，是邁向通用人工智能路徑的探索，具有廣闊的應用前景；全棧國產(chǎn)化通用人工智能平臺的實踐對我國實現(xiàn)AI領域科技創(chuàng)新具有重要意義。