3 月 18 日消息，就在剛剛，馬斯克的 AI 創(chuàng)企 xAI 正式發(fā)布了此前備受期待大模型 Grok-1，其參數(shù)量達(dá)到了 3140 億，遠(yuǎn)超 OpenAI GPT-3.5 的 1750 億。
這是迄今參數(shù)量最大的開(kāi)源大語(yǔ)言模型，遵照 Apache 2.0 協(xié)議開(kāi)放模型權(quán)重和架構(gòu)。
Grok-1 是一個(gè)混合專家（Mixture-of-Experts，MOE）大模型，這種 MOE 架構(gòu)重點(diǎn)在于提高大模型的訓(xùn)練和推理效率，形象地理解，MOE 就像把各個(gè)領(lǐng)域的 " 專家 " 集合到了一起，遇到任務(wù)派發(fā)給不同領(lǐng)域的專家，最后匯總結(jié)論，提升效率。決定每個(gè)專家做什么的是被稱為 " 門控網(wǎng)絡(luò) " 的機(jī)制。
xAI 已經(jīng)將 Grok-1 的權(quán)重和架構(gòu)在 GitHub 上開(kāi)源。
GitHub 地址：
https://github.com/xai-org/grok-1?tab=readme-ov-file
目前 Grok-1 的源權(quán)重?cái)?shù)據(jù)大小大約為 300GB。
截至北京時(shí)間 3 月 18 日上午 7 時(shí)許，Grok-1 項(xiàng)目收獲了 3400 顆星。
Grok-1 是馬斯克 xAI 自 2023 年 7 月 12 日成立以來(lái)發(fā)布的首個(gè)自研大模型。xAI 特別強(qiáng)調(diào)說(shuō)這是他們自己從頭訓(xùn)練的大模型。Grok-1 沒(méi)有針對(duì)特定應(yīng)用進(jìn)行微調(diào)。
xAI 是馬斯克去年剛剛成立的明星 AI 創(chuàng)企，其目的之一就是與 OpenAI、谷歌、微軟等對(duì)手在大模型領(lǐng)域進(jìn)行競(jìng)爭(zhēng)，其團(tuán)隊(duì)來(lái)自 OpenAI、谷歌 DeepMind、谷歌研究院、微軟研究院等諸多知名企業(yè)和研究機(jī)構(gòu)。
此前馬斯克剛剛 " 怒噴 "OpenAI 不夠 "Open"，后腳這就開(kāi)源了自家的頂級(jí) 3410 億參數(shù)自研大模型 Grok-1。雖然馬斯克在預(yù)熱到發(fā)布的過(guò)程中也 " 放了幾次鴿子 "，但最終他并沒(méi)有食言。
今天，xAI 還公布了 Grok-1 的更多細(xì)節(jié)：
基礎(chǔ)模型基于大量文本數(shù)據(jù)訓(xùn)練，未針對(duì)特定任務(wù)進(jìn)行微調(diào)。
3140 億參數(shù)的 Mixture-of-Experts 模型，其對(duì)于每個(gè) token，活躍權(quán)重比例為 25%。
xAI 從 2023 年 10 月開(kāi)始使用自定義訓(xùn)練堆棧在 JAX 和 Rust 之上從頭開(kāi)始訓(xùn)練。
但此次 xAI 并沒(méi)有放出 Grok-1 的具體測(cè)試成績(jī)，其與 OpenAI 即將發(fā)布的 GPT-5 的大模型王者之戰(zhàn)，必將成為業(yè)內(nèi)關(guān)注的焦點(diǎn)。
當(dāng)然，馬斯克發(fā)大模型，怎么會(huì)少的了大佬隔空對(duì)線 " 互懟 "？
xAI 官方消息剛剛發(fā)布，ChatGPT 的官方賬號(hào)馬上就跟馬斯克在 X 平臺(tái)上進(jìn)行了互動(dòng)，在 Grok 官方賬號(hào)評(píng)論下回復(fù)道：" 偷了我的笑話。"
馬斯克自然不會(huì)示弱，馬上說(shuō)請(qǐng)告訴我 OpenAI"Open" 之處在哪里。
馬斯克高仿號(hào)也馬上跑過(guò)來(lái)添油加醋，說(shuō)我們都知道是 Sam 在運(yùn)營(yíng) ChatGPT 的賬號(hào)。
值得一提的是，此次 xAI 發(fā)布 Grok-1 消息的封面圖片，是由 Midjourney 生成，Grok 給出了提示文本：一個(gè)神經(jīng)網(wǎng)絡(luò)的 3D 插圖，具有透明節(jié)點(diǎn)和發(fā)光連接，展示不同粗細(xì)和顏色的連接線的不同權(quán)重（A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines）。
原圖：
