【儀表網(wǎng) 行業(yè)標(biāo)準(zhǔn)】按照中國(guó)電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)團(tuán)體標(biāo)準(zhǔn)制修訂項(xiàng)目工作安排，標(biāo)準(zhǔn)起草組已完成《人工智能 邊端設(shè)備模型部署工具鏈功能要求》團(tuán)體標(biāo)準(zhǔn)(項(xiàng)目號(hào)：CESA-2022-039)征求意見(jiàn)稿的編制工作。現(xiàn)按照協(xié)會(huì)《團(tuán)體標(biāo)準(zhǔn)制修訂程序(試行)》的要求，公開(kāi)征求意見(jiàn)。 意見(jiàn)反饋郵箱standards@cesa.cn、yangyz@cesi.cn，截止時(shí)間2023年6月18日前。
 

　　隨著5G與AI的快速發(fā)展，邊端設(shè)備上運(yùn)行AI算法成為了IoT的主流方式。對(duì)于移動(dòng)終端和IoT設(shè)備，由于硬件資源限制，云側(cè)的模型和推理運(yùn)行框架體積太大，無(wú)法直接部署，因此模型的壓縮和運(yùn)行框架的輕量化成為移動(dòng)終端和IoT設(shè)備上部署的關(guān)鍵。在AIoT的趨勢(shì)下，邊端設(shè)備資源受限的條件下，需部署輕量的AI算法模型用于語(yǔ)音、視覺(jué)等應(yīng)用。致力于圍繞該產(chǎn)業(yè)的各個(gè)廠商設(shè)計(jì)生產(chǎn)了針對(duì)深度學(xué)習(xí)從訓(xùn)練、優(yōu)化、部署、硬件加速的各種工具。如主流的模型訓(xùn)練框架TensorFlow、Pytorch、Caffe和MXNet等。硬件上如超低算力的MCU，定制化的AI芯片等以及語(yǔ)音模組、視覺(jué)模組等封裝模塊產(chǎn)品。該產(chǎn)業(yè)應(yīng)用范圍廣泛，但缺少標(biāo)準(zhǔn)化流程及規(guī)范。
 

　　本標(biāo)準(zhǔn)針對(duì)以上問(wèn)題，致力于解決AIoT產(chǎn)業(yè)所面臨的碎片化問(wèn)題，加速AI的部署和普及，極大地降低了面對(duì)不同硬件和場(chǎng)景而遷移平臺(tái)的成本和開(kāi)發(fā)周期。
 

　　本文件按照GB/T 1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。
 

　　本文件給出了邊端設(shè)備模型部署工具鏈的組成框架，規(guī)定了其功能要求。本文件適用于人工智能領(lǐng)域深度學(xué)習(xí)模型在邊端設(shè)備實(shí)時(shí)性運(yùn)行能力的設(shè)計(jì)、研發(fā)、推廣和應(yīng)用。
 

　　模型壓縮模塊：
 

　　模型壓縮模塊要求包括：
 

　　a) 應(yīng)支持一種主流訓(xùn)練框架(如Tensorflow,Pytorch,MindSpore,PaddlePaddle 等)，宜支持一種以上訓(xùn)練框架。
 

　　b) 應(yīng)支持剪枝、量化、知識(shí)蒸餾三種模型壓縮功能，宜支持神經(jīng)網(wǎng)絡(luò)搜索、超參數(shù)搜索、自定義算法接入。
 

　　c) 應(yīng)支持主流數(shù)據(jù)格式的模型轉(zhuǎn)換。
 

　　d) 宜支持單卡訓(xùn)練、多卡訓(xùn)練及分布式訓(xùn)練。
 

　　輔助功能模塊：
 

　　1.授權(quán)接口
 

　　授權(quán)接口要求包括：
 

　　a) 應(yīng)支持在線授權(quán)方式。
 

　　b) 應(yīng)支持離線授權(quán)方式。
 

　　2.模型版本管理
 

　　模型版本管理要求包括：
 

　　a) 應(yīng)支持模型版本回退。
 

　　b) 應(yīng)支持模型版本升級(jí)。
 

　　3.模型加密
 

　　模型加密要求包括：
 

　　a) 宜支持使用加密方式生成 Key 對(duì)模型進(jìn)行加密，解析時(shí)使用 key 進(jìn)行解碼。
 

　　4.測(cè)試集測(cè)試
 

　　測(cè)試集測(cè)試要求包括：
 

　　a) 應(yīng)支持隨機(jī)輸入對(duì)模型進(jìn)行推理，進(jìn)行資源使用、響應(yīng)時(shí)間測(cè)試。
 

　　b) 宜支持訓(xùn)練模型的測(cè)試數(shù)據(jù)集對(duì)模型性能的評(píng)估。
 

　　5.性能評(píng)估
 

　　性能評(píng)估要求包括：
 

　　a) 應(yīng)支持對(duì)模型的參數(shù)量、運(yùn)算量的評(píng)估。
 

　　b) 宜支持神經(jīng)網(wǎng)絡(luò)每層的參數(shù)量評(píng)估、運(yùn)算量評(píng)估、數(shù)據(jù)類型及計(jì)算單元的顯示。
 

　　c) 宜支持典型模型的端到端效率，內(nèi)存占用、內(nèi)存帶寬、利用率的顯示。
 

　　d) 宜支持每層的讀寫(xiě)帶寬、超參和量化信息導(dǎo)出。
 

　　6.可視化界面
 

　　可視化界面要求包括：
 

　　a) 應(yīng)支持對(duì)模型結(jié)構(gòu)的顯示。
 

　　b) 宜支持訓(xùn)練過(guò)程的可視化追蹤，包括損失函數(shù)值，性能，超參數(shù)組等。
 

　　c) 宜支持可視化工具鏈?zhǔn)褂谩?br /> 

　　d) 宜支持運(yùn)行時(shí)，各計(jì)算單元工作狀態(tài)、利用率查看。
 

　　更多詳情請(qǐng)見(jiàn)附件。