8月25日消息,近日,深度求索宣布正式發(fā)布DeepSeek-V3.1。其中一個重大的進步和驚喜,就是支持了UE8M0 FP8。
DeepSeek在其官宣發(fā)布DeepSeek-V3.1的文章中提到,UE8M0 FP8是針對即將發(fā)布的下一代國產(chǎn)芯片設計。
東莞證券指出,該格式通過更高的靈活度支持復雜模型推理,提升芯片的解碼效率與運算能力,為國產(chǎn)芯片適配更大模型提供技術路徑,國產(chǎn)AI算力生態(tài)有望加速成型。
那UE8M0 FP8到底是什么?將有何影響?
人工智能領域的企業(yè)家與技術專家、清華大學計算機系人工智能所博士梁斌表示,DeepSeek這次為什么非要強調(diào)UE8M0 FP8呢?這個和英偉達的FP8是兩個東西,兩套標準。
他解釋稱,顯存的發(fā)展是有限的,而模型的發(fā)展是快速的,對每個參數(shù)的表達必須通過量化進行壓縮,F(xiàn)P32就是32位表達一個參數(shù),F(xiàn)P8就是8位表達一個參數(shù),在可接受的范圍內(nèi),肯定是越低的表達,在顯存里面能裝下更多的參數(shù)。
FP8有英偉達的E4M3/E5M2方案和DS的這個UE8M0方案,主要區(qū)別就是前者有3-2位的小數(shù)表達,后者沒有小數(shù)表達。前者精度好,后者功耗低,運算快,對芯片要求低。
梁斌表示,現(xiàn)在DeepSeek支持UE8M0 FP8,加上國產(chǎn)芯片都向這個標準靠攏,這是徹底和英偉達決裂了,以后其他推理模型,要么選擇DS這套體系,要么選擇英偉達體系,國內(nèi)芯片公司也積極向這套體系靠攏。
“現(xiàn)在華為他們那邊真是為了適配這個標準,真是玩命干,干成了就是名垂千古,多大誘惑,而且我發(fā)現(xiàn)DeepSeek還真是有膽量,真是把國產(chǎn)大模型的發(fā)展推到了一個牛X的高度上去,太了不起了?!?/p>