隨著人工智能等技術(shù)的快速發(fā)展,在政策和市場的驅(qū)動下,國內(nèi)智算資源池建設(shè)呈爆發(fā)式增長,尤其運(yùn)營商在全國各地布局多級算力資源池體系,需要結(jié)合網(wǎng)絡(luò)優(yōu)勢充分發(fā)揮智算資源效益,“網(wǎng)效”與“算效”需要提升互促。傳統(tǒng)的廣域網(wǎng)技術(shù)與架構(gòu)在承載智算業(yè)務(wù)流量時(shí)效率較低,微量丟包就將導(dǎo)致網(wǎng)絡(luò)智算流量吞吐能力顯著下降,造成算卡資源閑置浪費(fèi)。智能IP廣域網(wǎng)以高算效、差異化保障、云邊協(xié)同、智能運(yùn)維、綠色低碳和內(nèi)生安全,成為IP廣域網(wǎng)新的發(fā)展方向。
中國信通院作為國內(nèi)權(quán)威的第三方檢測機(jī)構(gòu),在智算技術(shù)研究與標(biāo)準(zhǔn)制定方面擁有深厚的積淀,基于企業(yè)用算的三大場景,組織制定了國內(nèi)首個(gè)智能IP廣域網(wǎng)關(guān)鍵技術(shù)及設(shè)備系統(tǒng)評估體系。測試評估項(xiàng)目重點(diǎn)面向企業(yè)海量數(shù)據(jù)入算、樣本數(shù)據(jù)拉遠(yuǎn)訓(xùn)練、云邊協(xié)同分布式推理三大用算場景,開展相應(yīng)的行業(yè)評測,構(gòu)建智能IP廣域網(wǎng)的技術(shù)標(biāo)準(zhǔn)體系,推動IP網(wǎng)絡(luò)快速向智能、高效、安全的智能IP廣域網(wǎng)演進(jìn)。
智能IP廣域網(wǎng)關(guān)鍵技術(shù)及設(shè)備系統(tǒng)測試評估主要涵蓋如下場景:
海量樣本入算
本場景驗(yàn)證設(shè)備和網(wǎng)絡(luò)的“大象流”識別和動態(tài)負(fù)載分擔(dān)能力,對不同用戶RDMA業(yè)務(wù)流精準(zhǔn)流控、流級反壓及多用戶隔離能力進(jìn)行測試,驗(yàn)證智算組網(wǎng)專線帶寬可動態(tài)調(diào)整能力,及RDMA承載網(wǎng)絡(luò)的有效吞吐率。
存算拉遠(yuǎn)訓(xùn)練
本場景驗(yàn)證設(shè)備和網(wǎng)絡(luò)在不同模型和拉遠(yuǎn)距離下算效損失率,存算拉遠(yuǎn)訓(xùn)練期間用戶訓(xùn)練數(shù)據(jù)不落盤,隔離用戶間互不影響。
云邊協(xié)同推理
本場場景驗(yàn)證云邊協(xié)同拉遠(yuǎn)推理,在不同收斂比情況下評估算效劣化率,驗(yàn)證企業(yè)推理請求及響應(yīng)原始內(nèi)容在廣域網(wǎng)及智算中心內(nèi)不可獲取,保障企業(yè)數(shù)據(jù)安全。
目前,華為基于新一代AI路由器的智能IP廣域網(wǎng)關(guān)鍵設(shè)備及系統(tǒng)首家通過評估測試。測試報(bào)告顯示,基于稠密模型LLAMA2-13B、多模態(tài)模型Qwen2.5vl-32B、CV類模型RESNET、MoE類模型DeepSeek大模型,完成了三大場景測試:
海量樣本入算場景,具備“大象流”精準(zhǔn)識別能力,可實(shí)現(xiàn)RDMA動態(tài)負(fù)載分擔(dān),避免擁塞,可靈活配置1G~100G任意專線帶寬,開啟樣本入算高算效功能后,網(wǎng)絡(luò)有效吞吐不低于90%。
存算拉遠(yuǎn)訓(xùn)練場景,支持租戶級精準(zhǔn)流控,實(shí)現(xiàn)網(wǎng)絡(luò)擁塞“0”丟包,實(shí)測拉遠(yuǎn)400KM可以做到算效損失低于1%。存算拉遠(yuǎn)訓(xùn)練測試時(shí)將用戶樣本數(shù)據(jù)駐留本地存儲池,通過廣域RDMA拉遠(yuǎn)至遠(yuǎn)端智算中心內(nèi)存訓(xùn)練,數(shù)據(jù)不在智算中心磁盤存儲,并且多用戶隔離互不影響。
云邊協(xié)同推理場景,支持關(guān)鍵幀識別和加速技術(shù),實(shí)測拉遠(yuǎn)200KM、收斂比160:1情況下,算效劣化小于3.2%。在云邊協(xié)同過程中,本地訓(xùn)推一體機(jī)部署模型首尾層,遠(yuǎn)端智算中心部署模型中間層,Prompt由本地輸入,Token在本地生成,通過智能IP廣域網(wǎng)傳輸模型的中間層矢量化計(jì)算數(shù)據(jù),實(shí)現(xiàn)了數(shù)據(jù)不出域,模型不上云,分布式訓(xùn)推全程安全,能夠滿足企業(yè)用算安全訴求。
此次信通院對智能IP廣域網(wǎng)關(guān)鍵設(shè)備和系統(tǒng)的評估,目的是為了驗(yàn)證基于智算關(guān)鍵技術(shù)和設(shè)備搭建的實(shí)際網(wǎng)絡(luò)算效吞吐等性能指標(biāo),為運(yùn)營商和業(yè)界廠商提供重要的指標(biāo)參考依據(jù)。從而滿足政企用戶對網(wǎng)絡(luò)提供高吞吐、高效率、廣域無損傳輸?shù)乃憔W(wǎng)一體化服務(wù)的迫切要求。加速推動以算力和數(shù)據(jù)為核心的新質(zhì)生產(chǎn)力發(fā)展,賦能千行百業(yè)的數(shù)字化轉(zhuǎn)型升級。