作為一枚車載智能硬件行業(yè)的資深老鳥，我存在的價值就是給我的車廠爸爸們turn-key一些智能汽車零部件，我要保證這些零部件在非常惡劣的工作條件下，性能和壽命都是杠杠滴。在汽車電子產(chǎn)業(yè)鏈Tier 1 系統(tǒng)集成廠商長期處于國際寡頭壟斷的市場格局下，我和一眾難兄難弟一樣，長期在國際大廠的陰影下勉強(qiáng)求生，常常感覺英雄難有用武之地。終于，東風(fēng)來了，工信部要求加快國產(chǎn)化替代，加快布局和發(fā)展國產(chǎn)汽車電子芯片，還指導(dǎo)編制《汽車半導(dǎo)體供需手冊》，作為一個把業(yè)內(nèi)主流芯片都玩遍了的老手， 國產(chǎn)芯片到底能不能玩出點(diǎn)花兒樣，我的好奇心和責(zé)任感怎能讓我做吃瓜群眾？
最近我注意到市面上出現(xiàn)了一款國產(chǎn)車規(guī)AI芯片，業(yè)內(nèi)討論的特別火熱，這是上海肇觀電子研發(fā)的，老鳥兒我不禁心癢難搔，各種費(fèi)盡周章搞到了一塊開發(fā)板拿來玩玩，稍等上圖。這個開發(fā)板上的主芯片是一顆車規(guī)的NE-V163A，它的主要用途說白了也比較單純，就是幫助智能汽車在行駛時使用攝像頭識別車艙內(nèi)外的情況，當(dāng)車輛遇到障礙物的時候，能夠靈敏準(zhǔn)確的識別出障礙物是什么東西，并且還能判斷出障礙物離車有多遠(yuǎn)。這里面用到的技術(shù)當(dāng)然都是很高深的了，其實(shí)我也不完全懂，應(yīng)該主要是用到了計算機(jī)視覺里的圖像內(nèi)容理解和圖像幾何理解兩類算法，當(dāng)然肯定也少不了當(dāng)下最熱門的AI和深度學(xué)習(xí)技術(shù)。
一。硬件配置
言歸正傳，讓我們來揭開肇觀電子NE-V163A開發(fā)板的廬山真面目，先看顏值：
▲肇觀電子 NE-V163A開發(fā)板
▲肇觀電子 NE-V163A 開發(fā)板 - 側(cè)顏
從我這個行業(yè)老鳥的眼光來看，這塊開發(fā)板的做工還是很扎實(shí)的，器件布局非常合理，走線走心，看著就是個上乘的作品。開發(fā)板預(yù)留了豐富的IO接口，有音視頻接口、控制和調(diào)試接口、SD存儲卡、USB和網(wǎng)絡(luò)接口等等，都集成在了一塊板子里，基于這些接口可以非常方便地擴(kuò)展出復(fù)雜的功能，眼緣確實(shí)不錯！這大概就是傳說中的 “一塊板子打遍天下無敵手” 了吧！
值得一提的是：板子上標(biāo)配1 GB內(nèi)存（DDR3200），8GB EMMC，128Mb Flash, 這個配置相當(dāng)闊綽，和NE-V163A 強(qiáng)悍的性能很配，用來跑重型任務(wù)也不擔(dān)心內(nèi)存不夠用了。
下面先來一段官方公布的硬件配置說明，拿走不謝！具體的硬件配置型號和描述，您如果感興趣，可以拉到文末去看【附件1】：
NE-V163A開發(fā)板是基于肇觀電子Nextvpu針對車規(guī)級機(jī)器視覺產(chǎn)品開發(fā)設(shè)計的一款超低功耗、超高性能的開發(fā)板，性能強(qiáng)勁，資源豐富；其CPU采用國產(chǎn)NE-V163A雙核32位SoC芯片方案；雙核DSP；獨(dú)立的depth內(nèi)核計算單元支持基于雙目視覺技術(shù)，實(shí)時輸出深度圖；最高2.4TCNN算力；而且具備USB3.0，HDMI，Gigabit Ethernet AVB，SDIO等高性能數(shù)據(jù)傳輸及顯示接口，可以通過 GPIO拓展如485、422、232等更多通用數(shù)據(jù)接口，滿足用戶復(fù)雜的邊緣端連接需求，同時支持四路攝像頭及單路BT轉(zhuǎn)HDMI，滿足用戶高性能圖形運(yùn)算的需求。支持Linux、RTOS等低延時嵌入式OS，完備的BSP驅(qū)動，具有完善的軟件+硬件生態(tài)資源。
開發(fā)板配件考慮很周到，有TF卡、TF轉(zhuǎn)USB外設(shè)、電源、還配備了官方支持的OV4689傳感器連接板，連接板直接插到NE-V163A的MIPI擴(kuò)展連接器的位置就可以了。TF卡是用來存神經(jīng)網(wǎng)絡(luò)模型的，這東西太小了經(jīng)常找不到，廠家比較貼心送了一個，省得自己單買了。
▲肇觀電子 NE-V163A 開發(fā)板 – 配件圖 & 上電圖
廠家提供了快速啟動說明書，寫得挺明白，對老鳥來說簡直沒有任何難度，通過簡單的幾下操作，開發(fā)板的硬件環(huán)境連接無腦完成，和上圖一樣。
二。 如何啟動
按照官方的說法，只要簡單幾個步驟就能實(shí)現(xiàn)我們想要實(shí)現(xiàn)的各種功能了，讓我們來看看是不是這么一回事兒。先對主芯片NE-V163A做個理論鋪墊，名詞有點(diǎn)多，小白看著可能會有點(diǎn)暈：
開發(fā)板主要依賴于所搭載的NE-V163視覺處理單元，這里有必要提示一下，神經(jīng)網(wǎng)絡(luò)計算單元的細(xì)分領(lǐng)域非常多，而NE-V163主要是針對圖像和視頻的處理。高質(zhì)量的ISP處理器支持3D降噪和畸變矯正；高精度的雙目3D深度和幾何計算引擎支持實(shí)時特征提?。桓咝阅蹹SP支持16個單精度浮點(diǎn)MAC和32個半精度浮點(diǎn)MAC；以及支持多路攝像頭輸入，是它最大的亮點(diǎn)。所以，如果你關(guān)注的不是機(jī)器視覺領(lǐng)域，趕緊退群！
主芯片NE-V163A的Spec介紹就不贅述了，感興趣的可以拉到文末看【附件2】。再來啟動卡燒錄，使用Windows調(diào)試計算機(jī)，并安裝串口usb驅(qū)動程序：
CP210x_Universal_Windows_Driver
驅(qū)動安裝好后，使用MicroUSB數(shù)據(jù)線連接開發(fā)板和計算機(jī)，給開發(fā)板上電，在計算機(jī)的設(shè)備管理器看到了串口通信的端口號，并記下了該端口號，接下來通信時會用到。這一套搞軟件開發(fā)的都熟，就不多說了。
我習(xí)慣上會用市面上常見的測試工具PotPlayer播放器 測試rtsp視頻流，看看視頻流的分辨率和幀率是不是正常，畫面的曝光和顏色是不是隨場景變化能夠正常調(diào)整：
ISP處理性能和H.265編碼性能果然達(dá)到了4K@30fps。畫面非常穩(wěn)定，不像有些4K相機(jī)，畫面一動起來就容易卡頓。
以上就是最基本的開機(jī)測試過程了，更進(jìn)一步的測試就需要用串口調(diào)試工具登錄到開發(fā)板的系統(tǒng)里，看一下系統(tǒng)的輸出信息。我用的是SecureCRT，這是嵌入式開發(fā)人員的標(biāo)配工具，專門用于調(diào)試開發(fā)板的。如果以前沒接觸過肇觀開發(fā)板的話，建議還是先看看官方提供的技術(shù)資料，熟悉一下軟硬件環(huán)境。
【手冊圖示】
按照上圖硬件連接環(huán)境，燒錄TF卡
映像文件路徑選中SDK編譯出來的映像
設(shè)備選擇TF卡
點(diǎn)擊寫入等待燒錄完畢即可
TF卡燒錄完畢后將其插入開發(fā)板；開發(fā)板和計算機(jī)連接好，通電，按下上電開關(guān)，如下圖
打開SecureCRT，選擇快速連接
選擇Serial協(xié)議，選擇在計算機(jī)設(shè)備管理器記錄的端口號，其他參數(shù)按照圖示設(shè)置
連接后，按下回車，等到出現(xiàn)歡迎信息后，輸入root按回車進(jìn)入
看來，想要讓板子活起來，還是需要花一點(diǎn)功夫的，至少你得跟著《操作手冊》插插線，動動鼠標(biāo)。對于熟悉海思或類似方案開發(fā)的人應(yīng)該能比較快速地上手，基本風(fēng)格都相差不多。
三。 開發(fā)效果如何？Demo 一下！
啟動完以后，我們要進(jìn)行自我算法的開發(fā)，比方說車廠爸爸需要我們Tier1提供檢測駕駛員是否有疲勞駕駛或者打電話的智能零部件（DMS），又或者要能夠辨別出道路上直行或左轉(zhuǎn)的標(biāo)線，區(qū)分紅綠燈以提示制動或行駛，判斷前車離我們的距離等等（ADAS），就需要計算機(jī)視覺幫助我們進(jìn)行內(nèi)容理解和幾何理解了。
看起來，肇觀電子為了展示NE-V163A開發(fā)板穩(wěn)定的SDK、強(qiáng)大的CNN，良好的ISP等等美好神奇的blablabla，開發(fā)板上已經(jīng)內(nèi)置了很多了demo腳本，我們只要簡單跑一下就能檢閱結(jié)果了：
這么多寶貝，一看就很讓人激動，接下來我們隨手挑兩個腳本跑一下，希望結(jié)果不要讓我失望。
【Demo 1】
運(yùn)行 vi_vpss_depth_bt1120_720p_720p_imx291_stitching_fusion
1.使用HDMI線連接NE-V163A開發(fā)板和顯示器。
2.進(jìn)入
/product/media/vi_vpss_depth_venc_rtsp_vo，執(zhí)行對應(yīng)的腳本：
cd /product/media/vi_vpss_depth_venc_rtsp_vo
./vi_vpss_depth_bt1120_720p_720p_imx291_stitching_fusion.sh
【結(jié)果】
顯示器輸出：雙目720p@25fps的實(shí)時深度視頻+左相機(jī)實(shí)時視頻+右相機(jī)實(shí)時視頻。
【Demo 2】
運(yùn)行vi_cnn_venc_rtsp_vo
1.使用網(wǎng)線連接NE-V163A開發(fā)板和Windows調(diào)試計算機(jī)。
2.配置NE-V163A開發(fā)板的網(wǎng)絡(luò)地址和Windows調(diào)試計算機(jī)在同一個網(wǎng)段，確?？梢詐ing通，參考腳本如下：
ifconfig eth0 192.168.30.77 netmask 255.255.255.0
route add default gw 192.168.30.254
3.進(jìn)入
/product/media/vi_cnn_venc_rtsp_vo，執(zhí)行對應(yīng)的腳本：
cd /product/media/vi_cnn_venc_rtsp_vo
./caffe_mobilenetv1_ssd_fp16_rtsp_1080p25_imx291.sh
4.在Windows調(diào)試計算機(jī)打開PotPlayer（PotPlayer1），
輸入rtsp://192.168.30.77:5540/live0，播放主碼流的實(shí)時視頻，如下所示：
5.在Windows調(diào)試計算機(jī)打開另一個PotPlayer（PotPlayer2），輸入rtsp://192.168.30.77:5541/live1，播放輔碼流的實(shí)時視頻
【結(jié)果】
PotPlayer1輸出：實(shí)時視頻+物體識別框。
PotPlayer2輸出：實(shí)時視頻。
SecureCRT控制臺輸出：cnn的處理時間和處理結(jié)果。
果然不錯，提示信息很友好，想看的信息都在，而且結(jié)果顯示芯片的CNN性能確實(shí)是非常不錯的，比我的預(yù)期還要更好一點(diǎn)。
四。 性能和壽命
芯片的性能和壽命怎樣是我們做產(chǎn)品的人最最關(guān)心的問題，但是這個事不經(jīng)過長期批量測試誰也不好說，一般至少要幾百顆芯片經(jīng)歷過一兩個冬夏循環(huán)后才能比較靠譜，老鳥兒我作為一個謹(jǐn)慎的人不能剛拿到開發(fā)板就妄下結(jié)論，這事還得是第三方權(quán)威機(jī)構(gòu)說了算。
▲肇觀電子NE-V163A 通過AEC-Q100 認(rèn)證報告
這是我從官方發(fā)布的新聞里找到的NE-V163A通過了車規(guī)認(rèn)證的報告。AEC-Q100對于我們Tier 1 的工程師應(yīng)該不陌生，這是汽車電子協(xié)會AEC （Automotive ElectronicsCouncil） 制定和推動的一套質(zhì)量控制標(biāo)準(zhǔn)。大致流程是從廠家提供的待測芯片中隨機(jī)抽取幾千顆，對這些芯片進(jìn)行一番玩命摧殘之后，再逐一進(jìn)行苛刻的質(zhì)量和可靠性確認(rèn)。由于用于車載的電子設(shè)備涉及到用戶生命和財產(chǎn)安全，因此，相比消費(fèi)和工業(yè)電子設(shè)備而言，車規(guī)級芯片的測試項目更加繁復(fù)、測試環(huán)境更加惡劣、通過標(biāo)準(zhǔn)更加嚴(yán)苛，對質(zhì)量系統(tǒng)和安全系統(tǒng)要求極高。AEC-Q100測試涉及幾十項測試要求，被測芯片必需通過全面測試芯片產(chǎn)品的可靠性指標(biāo)，從而確保系統(tǒng)產(chǎn)品在整個生命周期的可靠性。
▲肇觀電子NE-V163A
按照廠家提供的信息，在AEC-Q100溫度循環(huán)測試中，NE-V163A芯片在-40°C至+105°C環(huán)境下多次迭代進(jìn)行1000小時的測試，確保芯片能夠在此測試溫度下保持正常工作；以人為加速老化的方式測試芯片，依然確保芯片在產(chǎn)品使用中的可靠性和壽命。
今天的基本測評就差不多結(jié)束了。總結(jié)一下，NE-V163A開發(fā)板套件硬件配置豐富，配件周到， 接口豐富；通過運(yùn)行的兩個官方提供的腳本demo程序，我們初步認(rèn)為， ISP干凈通透，色彩純正，圖像清晰；H265編碼流暢穩(wěn)定，CNN運(yùn)算實(shí)時高效，功耗常規(guī)，符合大家和市場對它的預(yù)期，尤其特別重點(diǎn)說明的是NE-V163A的雙目depth功能，點(diǎn)云圖穩(wěn)定清晰，層次分明，60cm處測試人臉五官深度清晰，精度很高，超出了我的預(yù)期。
【附件1】NE-V163A開發(fā)板硬件配置
【附件2】NE-V163A芯片Spec
