《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 嵌入式技术 > 设计应用 > 驾驶员眼部疲劳视觉检测算法及其ARM+DSP实现
驾驶员眼部疲劳视觉检测算法及其ARM+DSP实现
来源:电子技术应用2012年第2期
孙 伟1,张小瑞1,唐慧强1,张为公2
1.南京信息工程大学 信息与控制学院,江苏 南京210044; 2.东南大学 仪器科学与工程学院,江苏 南京210096
摘要: 将ARM+DSP技术应用于驾驶员的疲劳检测,使用S3C2440作为核心处理器,利用TMS320DM642作为视频采集处理模块,详细讨论了硬件平台与接口的设计。提出了一种简单有效的基于眼部特征的疲劳驾驶检测算法,结合单目机器视觉实现了驾驶员眼部睁闭状态的有效判定和疲劳驾驶的实时检测。在沪宁高速南京段的实验结果表明,该算法的实时性与精确性可以满足安全行驶的要求。
中圖分類號(hào): TP274+.5
文獻(xiàn)標(biāo)識(shí)碼: A
文章編號(hào): 0258-7998(2012)02-0024-04
Eye fatigue vision detection algorithm for driver and realization on ARM+DSP system
Sun Wei1,Zhang Xiaorui1,Tang Huiqiang1,Zhang Weigong2
1.School of Information and Control, Nanjing University of Information Science and Technology, Nanjing 210044,China; 2.School of Instrument Science and Engineering, Southeast University, Nanjing 210096,China
Abstract: The ARM+DSP technology is used to detect the fatigue driving for the drivers. S3C2440 is used as the core processor, TMS320DM642 is utilized as the video capture and processing module, and the design of the hardware platform and the interface is discussed. A simple and effective fatigue driving detection algorithm based on eye feature is proposed to realize the judgement of open-close state of eye and the real-time detection of fatigue driving. Experiments conducted on Hu-ning highway show that the algorithm is fast and accurate for the safety of driving.
Key words : fatigue driving detection;eye feature;improved integral projection;ARM+DSP

    如何為駕駛員提供一個(gè)有效實(shí)用的安全輔助駕駛系統(tǒng)是車輛安全駕駛的一個(gè)重要課題?;跈C(jī)器視覺的疲勞駕駛檢測技術(shù)已在國內(nèi)外開展了廣泛研究,其中以駕駛員眼部特征的檢測最為廣泛。

    本文以低成本、低功耗、高實(shí)時(shí)性為設(shè)計(jì)原則,以ARM+DSP構(gòu)成硬件平臺(tái),并移植了嵌入式操作系統(tǒng)Windows CE 5.0,設(shè)計(jì)了一套基于駕駛員眼部特征的疲勞駕駛檢測算法,對駕駛員駕駛過程進(jìn)行實(shí)時(shí)檢測和報(bào)警,從而提高駕駛的安全性與舒適性。
1 硬件平臺(tái)設(shè)計(jì)
    系統(tǒng)硬件平臺(tái)選用三星公司ARM9架構(gòu)的S3C2440作為核心處理器,利用TI公司的TMS320DM642作為視頻采集處理模塊,其結(jié)構(gòu)框圖如圖1所示。DSP平臺(tái)主要負(fù)責(zé)采集圖像、圖像算法處理,ARM平臺(tái)主要完成整個(gè)系統(tǒng)的控制處理,兩者之間通過網(wǎng)口實(shí)現(xiàn)通信和同步。在系統(tǒng)運(yùn)行過程中,ARM平臺(tái)可實(shí)時(shí)顯示采集到的視頻以及相應(yīng)眼部疲勞特征識(shí)別的結(jié)果,同時(shí)用戶可通過觸摸屏交互界面對系統(tǒng)進(jìn)行設(shè)置和控制。為保證系統(tǒng)平臺(tái)具有高的可靠性以實(shí)現(xiàn)復(fù)雜的系統(tǒng)調(diào)度,在設(shè)計(jì)過程中對本系統(tǒng)各平臺(tái)進(jìn)行了操作系統(tǒng)移植,DSP平臺(tái)移植了DSP/BIOS系統(tǒng),ARM平臺(tái)移植了Wince操作系統(tǒng)。

    S3C2440是一款基于ARM92OT核的16/32 bit RSIC結(jié)構(gòu)的嵌入式微處理器,主頻為400 MHz,最高可達(dá)533 MHz;片內(nèi)外資源豐富,具有強(qiáng)大的處理能力。系統(tǒng)存儲(chǔ)擴(kuò)展了64 MB的NANDFlash、64 MB的SDRAM;另外還有2 MB的NORFalsh,用于存放系統(tǒng)引導(dǎo)加載程序[1]。

 


    TMS320DM642芯片[2]能夠?qū)崟r(shí)高速地完成大數(shù)據(jù)量的數(shù)字視頻編解碼處理,是強(qiáng)大的高性能單片多媒體處理器,具有高質(zhì)量、多通道、優(yōu)越的視頻處理性能,以及完整的軟件可編程特性;基于C64x系列VelociTI.2DSP 架構(gòu)的設(shè)計(jì),與TI公司其他的C64x數(shù)字信號(hào)處理器代碼相兼容,擁有500/600 MHz時(shí)鐘頻率,性能高,其傳輸速率達(dá)4 000/4 800 MIPS;不僅具有C64x系列芯片的主要特征,還高度集成了音視頻等外部設(shè)備的接口,方便多媒體應(yīng)用開發(fā)。
2 圖像識(shí)別算法
2.1 總體檢測流程

    首先,根據(jù)臉部膚色的聚類特性檢測駕駛員臉部位置,在人臉檢測的基礎(chǔ)上,根據(jù)眼睛在人臉上的幾何位置分布,確定眼睛的大概位置,縮小眼部檢測的區(qū)域范圍;其次,在縮小的眼部搜索區(qū)域范圍內(nèi),利用Sobel邊緣檢測算法對眼部區(qū)域進(jìn)行邊緣檢測,提取眼部的邊緣信息,并對其進(jìn)行二值化處理;再對二值化后的眼部區(qū)域進(jìn)行連通成分分析,采用基于區(qū)域連通的二值圖像濾波方法去除眼部周圍圖像噪聲點(diǎn)的干擾;然后根據(jù)改進(jìn)的積分投影算法,計(jì)算左右眼角和上下眼瞼的距離,確定駕駛員眼睛的睜閉狀態(tài);最后,定義眨眼頻率,并據(jù)此實(shí)現(xiàn)疲勞駕駛的檢測。具體的算法流程如圖2所示。




3 實(shí)驗(yàn)與分析
    為驗(yàn)證眼睛疲勞特征檢測算法的有效性,在構(gòu)建的ARM+DSP系統(tǒng)上對采集到的視頻圖像進(jìn)行實(shí)驗(yàn)驗(yàn)證。在滬寧高速南京段的實(shí)驗(yàn)結(jié)果表明,該系統(tǒng)將算法處理時(shí)間控制在50 ms以內(nèi),取得了良好的實(shí)時(shí)效果,疲勞駕駛檢測正確率達(dá)97.6%。部分圖像的眼部區(qū)域檢測結(jié)果如圖4所示,其中,第一行為人臉檢測后的面部定位圖像,第二行為經(jīng)Sobel邊緣檢測后的眼部二值圖像,第三行為得到的眼部邊界定位圖像。
    通過觀察發(fā)現(xiàn),通常情況下,駕駛員在睜眼和閉眼時(shí),左、右眼的睜閉情況是同步的,即同時(shí)睜開或同時(shí)閉合。因此,在對眼睛睜閉狀態(tài)進(jìn)行判斷時(shí),為減少計(jì)算量,僅對左眼的睜閉情況進(jìn)行判斷。針對圖4所示的眼部區(qū)域檢測結(jié)果,利用式(8)計(jì)算其左眼睜閉度的大小,計(jì)算結(jié)果如表1所示。

    由表1可知,圖4中第一列和第二列所示的眼睛閉合時(shí)的睜閉度值明顯小于第三列和第四列所示的眼睛睜開時(shí)的睜閉度值。故只要選擇合適的閾值,根據(jù)眼睛睜閉度值的大小,就可對駕駛員眼睛的睜閉狀態(tài)進(jìn)行有效判斷。

    本文在ARM+DSP系統(tǒng)上實(shí)現(xiàn)了基于眼部特征的疲勞駕駛檢測算法。利用基于膚色聚類的臉部檢測算法確定臉部邊界,采用一種簡單有效的改進(jìn)積分投影算法,實(shí)現(xiàn)了駕駛員眼部睜閉狀態(tài)的有效判定和疲勞駕駛的實(shí)時(shí)檢測。
參考文獻(xiàn)
[1] 楊忻愷,張為公,于兵,等.基于DSP的車載視頻監(jiān)控存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J].電子器件,2009,32(4):805-808.
[2] 袁慶輝.基于TMS320DM 642的車道偏離預(yù)警系統(tǒng)設(shè)計(jì)[J].制造業(yè)自動(dòng)化,32(5):70-72.
[3] Li S H,Guo G Z.The application of improved HSV color space model in image processing[C].Proceedings of the 2010 International Conference on Future Computer and Communication,2010:210-213.
[4] LIN H J,WANG S Y,YEN S H,et al.Face detection based on skin color segmentation and neural network[C].Proceedings of 2005 International Conference on Neural Networks and Brain Proceedings,2005:1144-1149.
[5] SUN W,ZHANG W G,LI X,et al.Driving fatigue fusion detection based on T-S fuzzy neural network evolved by subtractive clustering and particle swarm optimization[J].Journal of Southeast University(English Edition),2009,25(3):356-361.

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容