腦機(jī)革命真的來(lái)了！

　　大腦活動(dòng)解碼語(yǔ)音已經(jīng)不是新鮮事，但是，實(shí)時(shí)地解碼大腦信號(hào)，將“聽(tīng)到”和“說(shuō)出”的對(duì)話轉(zhuǎn)變成文字，并且準(zhǔn)確率很高，是全球首次！

　　2017年F8大會(huì)上，F(xiàn)acebook宣布了腦機(jī)接口(BCI)計(jì)劃，概述了構(gòu)建非侵入性可穿戴設(shè)備的目標(biāo)，該設(shè)備能讓人們通過(guò)默想自己說(shuō)的話來(lái)打字。

　　作為這項(xiàng)工作的一部分，F(xiàn)acebook一直支持加州大學(xué)舊金山分校(UCSF)的一組研究人員，他們致力于通過(guò)實(shí)時(shí)檢測(cè)大腦活動(dòng)中有意“想象”的聲音，來(lái)幫助神經(jīng)損傷的患者重新說(shuō)話。

　　今天，加州大學(xué)舊金山分校的研究團(tuán)隊(duì)在《自然-通訊》上發(fā)表論文，分享了他們的新研究。他們已建成一個(gè)腦機(jī)接口，可以準(zhǔn)確地實(shí)時(shí)從大腦解碼由佩戴設(shè)備的人聽(tīng)到和說(shuō)出的對(duì)話和短語(yǔ)。這是全球首個(gè)實(shí)時(shí)解碼大腦信號(hào)的問(wèn)答語(yǔ)音的項(xiàng)目。

　　這篇文章的資深作者是華裔科學(xué)家、加州大學(xué)舊金山分校神經(jīng)外科教授 Edward Chang 博士。

　　Edward Chang

　　Edward Chang 博士的研究重點(diǎn)是言語(yǔ)、運(yùn)動(dòng)和人類情感的大腦機(jī)制，同時(shí)他也是加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的合作單位 —— 神經(jīng)工程與假肢中心的聯(lián)合負(fù)責(zé)人。該中心匯集了工程、神經(jīng)病學(xué)和神經(jīng)外科方面的專家，以開(kāi)發(fā)最先進(jìn)的生物醫(yī)學(xué)技術(shù)，用以恢復(fù)神經(jīng)系統(tǒng)殘疾患者的功能，如癱瘓和言語(yǔ)障礙。

　　不久前，新智元報(bào)道了Edward Chang團(tuán)隊(duì)通過(guò)解碼腦電波，使用深度學(xué)習(xí)方法直接從大腦信號(hào)中合成口語(yǔ)句子的突破性研究，而這次的新研究更進(jìn)一步，從大腦信號(hào)解碼出對(duì)話，并轉(zhuǎn)換成文字。

　　Edward Chang博士表示，在對(duì)話環(huán)境中實(shí)時(shí)解碼語(yǔ)音，對(duì)那些無(wú)法說(shuō)話的患者有重要意義。

　　Facebook AR/VR副總裁Boz將這一研究發(fā)到twitter上，引來(lái)吃瓜群眾熱議：

　　Gjergj Dollani打趣道——未來(lái)新聞標(biāo)題：“2300萬(wàn)大腦遭到大規(guī)模攻擊，數(shù)據(jù)安全受到破壞?！?/p>

　　Harold Thimbleby表示：有意思；我只需通過(guò)想就能打出我想說(shuō)的話。就這么簡(jiǎn)單。（我可以想象 Tommy Cooper的聲音）

　　Ed Ho表示：幫助腦部受傷的人是的非?？岬臇|西！

　　接下來(lái)就為大家解讀這項(xiàng)非常有意思的研究。

　　實(shí)時(shí)解碼問(wèn)答對(duì)話，準(zhǔn)確率大幅提升

　　Facebook的Mark Chevillet給了自己兩年時(shí)間來(lái)證明構(gòu)建一種非侵入性的BCI技術(shù)是否可行，這種技術(shù)可以從大腦活動(dòng)中每分鐘讀出100個(gè)單詞。

　　兩年過(guò)去了，Chevillet說(shuō)：“我們確實(shí)認(rèn)為這是可能的?！?/p>

　　作為Facebook現(xiàn)實(shí)實(shí)驗(yàn)室腦機(jī)接口項(xiàng)目的研究主管，Chevillet計(jì)劃推進(jìn)這個(gè)項(xiàng)目——以及開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)眼鏡的最終目標(biāo)，這種眼鏡無(wú)需大聲說(shuō)話就可以控制。

　　Mark Chevillet 是 Facebook Reality Labs 的腦機(jī)接口（BCI）項(xiàng)目研究主管

　　Chevillet的樂(lè)觀情緒在很大程度上得益于今天早上宣布的腦機(jī)接口領(lǐng)域的第一項(xiàng)突破：發(fā)表在Nature Communications上，加州大學(xué)舊金山分校由Facebook現(xiàn)實(shí)實(shí)驗(yàn)室資助的一個(gè)團(tuán)隊(duì)已建成了一個(gè)腦-機(jī)接口，能夠?qū)崟r(shí)地從大腦信號(hào)中準(zhǔn)確解碼對(duì)話。

　　這項(xiàng)研究的資深作者、加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang說(shuō)，該研究結(jié)果是朝著神經(jīng)植入物的方向邁出的重要一步，這種神經(jīng)植入物可用于恢復(fù)因中風(fēng)、脊髓損傷或其他疾病而失去說(shuō)話能力的患者的自然交流。

　　不過(guò)，與生物醫(yī)學(xué)設(shè)備相比，F(xiàn)acebook對(duì)制造增強(qiáng)現(xiàn)實(shí)眼鏡更感興趣。Chevillet說(shuō)，這項(xiàng)工作提供了一個(gè)原理證明，即通過(guò)測(cè)量大量神經(jīng)元的活動(dòng)，可以從大腦信號(hào)中解碼想象的語(yǔ)言?！斑@一結(jié)果有助于設(shè)定我們需要打造的可穿戴設(shè)備的規(guī)范。”

　　今年4月，Chang的團(tuán)隊(duì)首次推出了一種不同的腦-機(jī)接口，可以直接從大腦信號(hào)中解碼語(yǔ)音。今天發(fā)布的這項(xiàng)工作的目標(biāo)是提高解碼大腦活動(dòng)的準(zhǔn)確性。

　　Chang說(shuō)：“我們正在從大腦的兩個(gè)不同部分解碼兩種信息，并將其用作上下文?！彼f(shuō)。結(jié)果是，這對(duì)解碼的準(zhǔn)確性產(chǎn)生了“相當(dāng)大的影響”。

　　提高準(zhǔn)確度的基礎(chǔ)來(lái)自一個(gè)簡(jiǎn)單的概念：添加上下文。

　　UCSF的研究團(tuán)隊(duì)通過(guò)將電極植入三名癲癇患者的大腦中，記錄了他們的電腦活動(dòng)；同時(shí)，志愿者被要求聽(tīng)一組事先錄制的問(wèn)題，并大聲說(shuō)出他們的回答。

　　然后，這些大腦數(shù)據(jù)被用來(lái)訓(xùn)練機(jī)器學(xué)習(xí)算法。接著，當(dāng)志愿者再次被要求回答問(wèn)題時(shí)，算法只使用大腦活動(dòng)來(lái)判斷志愿者是在聽(tīng)還是在說(shuō)，然后嘗試解碼話語(yǔ)。

　　左邊是實(shí)際產(chǎn)生的問(wèn)答，右邊是系統(tǒng)的解碼。

　　大多數(shù)語(yǔ)音解碼器的工作原理是對(duì)一個(gè)人在想什么聲音做出最佳猜測(cè)，因此一般的大腦解碼器可能會(huì)將發(fā)音相似的單詞混淆，例如“synthesizer”(合成器)和“fertilizer”(肥料)。

　　UCSF開(kāi)發(fā)的新系統(tǒng)增加了上下文來(lái)幫助區(qū)分這些單詞。首先，該算法預(yù)測(cè)從一組已知問(wèn)題中聽(tīng)到的問(wèn)題，比如“What do you spread on a field?”(你在田野上撒了什么?)，然后，這些信息被用作上下文來(lái)幫助預(yù)測(cè)答案:“Fertilizer”(肥料)。

　　在一個(gè)問(wèn)題(藍(lán)色)和回答(紅色)的任務(wù)中，實(shí)時(shí)語(yǔ)音解碼的原理圖

　　Chang說(shuō)，通過(guò)添加上下文，腦-機(jī)接口更容易預(yù)測(cè)答案。

　　問(wèn)題-答案集

　　使用一組特定的問(wèn)題和答案，該系統(tǒng)能夠解碼感知(聽(tīng)到)和產(chǎn)生(說(shuō)出)的語(yǔ)音，準(zhǔn)確率分別達(dá)到76%和61%。研究團(tuán)隊(duì)表示，他們希望在未來(lái)擴(kuò)大系統(tǒng)的詞匯量。

更好的算法和更快的計(jì)算機(jī)也提高了研究中的解碼速度：Chang說(shuō)，過(guò)去需要幾周到幾個(gè)月的離線處理，現(xiàn)在可以實(shí)時(shí)完成了。

　　一個(gè)參與者的語(yǔ)音解碼和分類結(jié)果

　　Facebook的終極目標(biāo)：非侵入式的腦機(jī)接口設(shè)備

　　UCSF研究團(tuán)隊(duì)的實(shí)驗(yàn)仍使用植入電極來(lái)獲取大腦信號(hào)：參與者 1 和 2 各自植入兩個(gè) 128 通道 ECoG 陣列，參與者 3 植入一個(gè) 256 通道 ECoG 陣列。不過(guò)，F(xiàn)acebook的最終目標(biāo)是非侵入式的腦機(jī)接口設(shè)備。

　　Facebook Reality Labs 設(shè)計(jì)了非侵入式可穿戴腦機(jī)接口設(shè)備的原型（在今天發(fā)表的打字實(shí)驗(yàn)中沒(méi)有使用)。

　　在今天發(fā)表的一篇博客文章中，F(xiàn)acebook解釋了這種未來(lái)設(shè)備：

　　就像身體里的其他細(xì)胞一樣，神經(jīng)元在活動(dòng)時(shí)也會(huì)消耗氧氣。因此，如果我們能檢測(cè)到大腦中氧氣水平的變化，我們就能間接地測(cè)量大腦活動(dòng)。想象一下脈搏血氧計(jì)——一個(gè)夾子狀的傳感器，它會(huì)發(fā)出紅光，把它夾在食指上就可以測(cè)量血液的血氧飽和度。我們也可以使用類似紅外光的，以一種安全、非侵入性的方式來(lái)測(cè)量大腦中血液的氧含量。這類似于在功能性磁共振成像(fMRI)中測(cè)量到的信號(hào)——但使用的是由消費(fèi)級(jí)零件制成的便攜式可穿戴設(shè)備。

　　我們不期待這個(gè)系統(tǒng)很快就能解決 AR 的輸入問(wèn)題。目前它體積龐大，速度緩慢且不可靠。但潛力很大，因此我們認(rèn)為隨著時(shí)間的推移，不斷改進(jìn)這項(xiàng)最先進(jìn)的技術(shù)是值得的。雖然測(cè)量氧含量可能無(wú)法解碼想象的句子，但是能夠識(shí)別哪怕只有幾個(gè)想象的命令，比如 “主頁(yè)”，“選擇” 和 “刪除”，都將為我們提供與今天的VR 系統(tǒng)以及未來(lái)的AR 眼鏡交互的全新方式。

　　我們還在探索各種方法，從把測(cè)量血氧含量作為檢測(cè)大腦活動(dòng)的主要手段，轉(zhuǎn)向測(cè)量血管甚至神經(jīng)元本身的運(yùn)動(dòng)。由于智能手機(jī)和激光雷達(dá)光學(xué)技術(shù)的商業(yè)化，我們認(rèn)為可以創(chuàng)造出小型、方便的BCI設(shè)備，讓我們能夠測(cè)量更接近我們目前用植入電極記錄的神經(jīng)信號(hào)，甚至有一天可以解碼無(wú)聲的語(yǔ)音。

　　這可能需要十年時(shí)間，但我們認(rèn)為差距正在縮小。

　　Neuralink和Facebook，誰(shuí)會(huì)最先商業(yè)化？

　　Facebook并不是唯一一家致力于腦機(jī)接口的大公司。還記得本月中旬馬斯克的Neuralink公司發(fā)布的腦機(jī)接口技術(shù)新突破嗎？

　　這套腦機(jī)接口系統(tǒng)利用一臺(tái)神經(jīng)手術(shù)機(jī)器人向人腦中植入其稱為“線”的專有技術(shù)芯片和信息條，然后可以直接通過(guò)USB-C接口讀取大腦信號(hào)，甚至可以用iPhone進(jìn)行控制，簡(jiǎn)直是科幻片成真。

　　負(fù)責(zé)放大信號(hào)，并將信號(hào)發(fā)送到計(jì)算機(jī)的芯片

　　這套腦機(jī)接口系統(tǒng)已經(jīng)成功連接到實(shí)驗(yàn)鼠身上，可以從1500個(gè)電極讀取信息，馬斯克稱目前已經(jīng)通過(guò)實(shí)驗(yàn)證明，“猴子可以通過(guò)大腦控制電腦”，并表示“2020年底之前要將人腦連接到計(jì)算機(jī)上”。

　　Neuralink的系統(tǒng)植入實(shí)驗(yàn)鼠的體內(nèi)

　　詳見(jiàn)：《馬斯克發(fā)布iPhone可控大腦芯片！植入電極線細(xì)過(guò)發(fā)絲，機(jī)器縫線柔性無(wú)創(chuàng)》

　　與高調(diào)的馬斯克形成鮮明對(duì)比的是Facebook的這項(xiàng)研究。Facebook打算用紅外線制作一種從外部接收大腦信號(hào)的AR眼鏡，而Neuralink正在開(kāi)發(fā)一種植入式陣列，由3000個(gè)柔性電極組成，以增強(qiáng)大腦功能。

　　這兩家公司似乎是在競(jìng)爭(zhēng)第一名，看誰(shuí)能把通過(guò)大腦-計(jì)算機(jī)接口來(lái)解碼大腦活動(dòng)最先商業(yè)化。但朝著這一目標(biāo)的進(jìn)展可能更像是一場(chǎng)慢節(jié)奏的嘗試，而不是一次沖刺。Chevillet表示：“我們沒(méi)有任何實(shí)際的產(chǎn)品計(jì)劃，因?yàn)檫@項(xiàng)技術(shù)是早期階段的研究?！?/p>

　　與此同時(shí)，Chang希望盡快為那些不會(huì)說(shuō)話的病人帶來(lái)有意義的改變。到目前為止，該團(tuán)隊(duì)的所有工作都是由能夠說(shuō)話的志愿者完成的，因此團(tuán)隊(duì)現(xiàn)在將花費(fèi)一年的時(shí)間與一位失語(yǔ)的參與者一起工作，在計(jì)算機(jī)屏幕上生成文本。所有數(shù)據(jù)將由UCSF收集并保密保存在大學(xué)服務(wù)器上。與此同時(shí)，與Facebook合作的所有結(jié)果都正在發(fā)布，并且可供學(xué)術(shù)界使用。

　　Chang說(shuō)：“我希望這不僅有益于我們正在做的事情，而且有利于整個(gè)領(lǐng)域。”