??? 摘? 要: 設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于IP Multicast技術(shù)的遠(yuǎn)程數(shù)字音視頻" title="音視頻">音視頻監(jiān)控系統(tǒng)" title="監(jiān)控系統(tǒng)">監(jiān)控系統(tǒng), 提出了分布式音視頻接入和共享的解決方案, 能夠有效地節(jié)省網(wǎng)絡(luò)帶寬;針對(duì)視頻、音頻語音和控制數(shù)據(jù)的不同傳輸特點(diǎn), 對(duì)其所采用的傳輸技術(shù)作了詳細(xì)探討,給出了具體實(shí)現(xiàn)方法。?

??? 關(guān)鍵詞: 監(jiān)控系統(tǒng)? 分布式接入和共享? 網(wǎng)絡(luò)傳輸? IP組播" title="組播">組播? Windows套接字

?

??? 隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)、計(jì)算機(jī)視覺與模式識(shí)別技術(shù)的發(fā)展,一種以數(shù)字化、智能化為特點(diǎn)的多媒體遠(yuǎn)程數(shù)字監(jiān)控系統(tǒng)應(yīng)運(yùn)而生,即基于IP的數(shù)字監(jiān)控系統(tǒng),實(shí)現(xiàn)了由傳統(tǒng)的模擬監(jiān)控到數(shù)字監(jiān)控質(zhì)的飛躍。與傳統(tǒng)的模擬監(jiān)控系統(tǒng)相比較,數(shù)字遠(yuǎn)程監(jiān)控系統(tǒng)幾個(gè)最主要的優(yōu)勢(shì)是:可以借助網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)程監(jiān)控;在遠(yuǎn)程不同地點(diǎn)的分控中心或同一個(gè)分控中心可同時(shí)調(diào)看某一個(gè)或者幾個(gè)監(jiān)控現(xiàn)場(chǎng)的音視頻數(shù)據(jù),從而實(shí)現(xiàn)分布式的音視頻接入和音視頻數(shù)據(jù)共享,同時(shí),可以與監(jiān)控現(xiàn)場(chǎng)人員進(jìn)行對(duì)講;可以對(duì)遠(yuǎn)程監(jiān)控現(xiàn)場(chǎng)的云臺(tái)" title="云臺(tái)">云臺(tái)、攝像機(jī)等外圍設(shè)備進(jìn)行控制。視頻、音頻的實(shí)時(shí)、分布式傳輸及控制指令的可靠傳輸是遠(yuǎn)程數(shù)字監(jiān)控系統(tǒng)的一個(gè)關(guān)鍵問題。本文設(shè)計(jì)并實(shí)現(xiàn)了遠(yuǎn)程數(shù)字音視頻監(jiān)控系統(tǒng),采用IP Multicast技術(shù)作為分布式音視頻接入和共享的解決方案,并針對(duì)視頻、音頻語音和控制數(shù)據(jù)不同的特點(diǎn),對(duì)其所采用的不同傳輸技術(shù)進(jìn)行了探討,給出了具體實(shí)現(xiàn)方法。?

1 系統(tǒng)的總體結(jié)構(gòu)

??? 遠(yuǎn)程監(jiān)控系統(tǒng)一般包括三部分:前端監(jiān)控現(xiàn)場(chǎng)、通信設(shè)備和后端分控中心。整個(gè)系統(tǒng)基于Client/Server(客戶機(jī)/服務(wù)器)模式?？傮w結(jié)構(gòu)如圖1所示。?

?

?

??? (1)前端監(jiān)控現(xiàn)場(chǎng)由監(jiān)控現(xiàn)場(chǎng)主機(jī)及一些外圍設(shè)備組成。外圍設(shè)備包括攝像機(jī)、電動(dòng)鏡頭、云臺(tái)、防護(hù)罩、監(jiān)視器、多功能解碼器及報(bào)警器。監(jiān)控現(xiàn)場(chǎng)主機(jī)運(yùn)行客戶端" title="客戶端">客戶端軟件,實(shí)現(xiàn)視頻、音頻數(shù)據(jù)的實(shí)時(shí)采集、壓縮、解壓縮(音頻)(視頻傳輸是單向的,音頻傳輸是雙向的)及打包傳送;對(duì)壓縮的視(音)頻數(shù)據(jù)進(jìn)行數(shù)字化存儲(chǔ)(也可在分控中心進(jìn)行)。存儲(chǔ)方式為循環(huán)存儲(chǔ)、定時(shí)存儲(chǔ)、手動(dòng)存儲(chǔ)及運(yùn)動(dòng)視頻檢測(cè)啟動(dòng)存儲(chǔ)。接收來自分控中心的控制指令(也可在本地實(shí)施),對(duì)云臺(tái)動(dòng)作(上、下、左、右及自動(dòng))電動(dòng)鏡頭的三可變(光圈、焦距和聚焦)。?

??? (2)通信設(shè)備是指所采用的傳輸信道和相關(guān)設(shè)備,通信網(wǎng)絡(luò)為L(zhǎng)AN及WAN。?

??? (3)后端設(shè)備由若干分控中心計(jì)算機(jī)組成。各分控計(jì)算機(jī)運(yùn)行服務(wù)器端軟件,接收來自前端的壓縮視(音)頻,解壓縮、壓縮(音頻)、顯示(播放);通過網(wǎng)絡(luò)對(duì)前端云臺(tái)、攝像機(jī)進(jìn)行控制;采用組播技術(shù),實(shí)現(xiàn)分布式視頻接入和分布式視頻共享:每個(gè)分控中心主機(jī)可以同時(shí)監(jiān)控多個(gè)前端,即“一點(diǎn)對(duì)多點(diǎn)”;不同分控中心也可以同時(shí)監(jiān)控同一前端,即“多點(diǎn)對(duì)一點(diǎn)”。?

2 網(wǎng)絡(luò)傳輸模塊的設(shè)計(jì)與實(shí)現(xiàn)?

2.1 系統(tǒng)傳輸數(shù)據(jù)類型的特點(diǎn)及通信協(xié)議的選擇?

??? 系統(tǒng)傳輸數(shù)據(jù)有:控制數(shù)據(jù),音頻、視頻數(shù)據(jù)。后端分控中心通過網(wǎng)絡(luò)向監(jiān)控現(xiàn)場(chǎng)主機(jī)的外圍設(shè)備云臺(tái)及攝像機(jī)發(fā)送控制信號(hào),實(shí)現(xiàn)云臺(tái)動(dòng)作(上、下、左、右、自動(dòng))攝像機(jī)光圈、焦距及聚焦三可變,要求控制信號(hào)的傳輸準(zhǔn)確無誤;音頻、視頻是連續(xù)媒體,數(shù)據(jù)量大,允許傳輸中存在一定的數(shù)據(jù)錯(cuò)誤率及數(shù)據(jù)丟失率,但實(shí)時(shí)性要求很高。此外,在監(jiān)控系統(tǒng)中,要實(shí)現(xiàn)音視頻的分布式接入和數(shù)據(jù)共享,必須進(jìn)行音視頻的多點(diǎn)傳輸。怎樣實(shí)現(xiàn)上述目標(biāo)?首先是通信協(xié)議的選擇,TCP/IP協(xié)議是廣泛使用的互聯(lián)網(wǎng)協(xié)議,其網(wǎng)絡(luò)模型定義了四層(即網(wǎng)絡(luò)接口層、網(wǎng)絡(luò)層、傳輸層、應(yīng)用層)網(wǎng)絡(luò)通信協(xié)議。傳輸層包含兩個(gè)協(xié)議:傳輸控制協(xié)議(TCP)和用戶數(shù)據(jù)報(bào)協(xié)議(UDP)。IP是網(wǎng)際互聯(lián)協(xié)議,位于網(wǎng)絡(luò)層。TCP協(xié)議是面向連接的,提供可靠的流服務(wù);UDP是無連接的,提供數(shù)據(jù)報(bào)服務(wù);TCP采用提供確認(rèn)與超時(shí)重發(fā)、滑動(dòng)窗口機(jī)制等措施來保證傳輸?shù)目煽啃?正是這些措施增加了網(wǎng)絡(luò)的開銷。如果用TCP傳輸視(音)頻數(shù)據(jù),大量的數(shù)據(jù)容易引起重傳,使得網(wǎng)絡(luò)負(fù)載增大并會(huì)加大延遲;UDP協(xié)議是最簡(jiǎn)單的傳輸協(xié)議,不提供可靠性保證,正因?yàn)閁DP協(xié)議不進(jìn)行數(shù)據(jù)確認(rèn)與重傳,大大提高了傳輸效率,具有高效快速的特點(diǎn);IPv4定義了三種IP數(shù)據(jù)包的傳輸:單播、廣播及組播。要在系統(tǒng)中實(shí)現(xiàn)視(音)頻數(shù)據(jù)的多點(diǎn)傳輸,若采用單播,則同樣的音、視頻數(shù)據(jù)要發(fā)送多次,這將導(dǎo)致發(fā)送者負(fù)擔(dān)重、延遲長(zhǎng)、網(wǎng)絡(luò)擁塞;若用廣播, 網(wǎng)絡(luò)中的每個(gè)站點(diǎn)都將接收到數(shù)據(jù),不管該結(jié)點(diǎn)是否需要數(shù)據(jù),增加了非接收者的開銷;組播是一種允許一個(gè)或多個(gè)發(fā)送者(組播源)發(fā)送單一的數(shù)據(jù)包到多個(gè)接收者(一次的、同時(shí)的)的網(wǎng)絡(luò)技術(shù)。組播源把數(shù)據(jù)包發(fā)送到特定組播組,而只有屬于該組播組的地址才能接收到數(shù)據(jù)包。由于無論有多少個(gè)目的地址,在整個(gè)網(wǎng)絡(luò)的任何一條鏈路上都只傳送單一的數(shù)據(jù)包。因此組播提高了網(wǎng)絡(luò)傳輸?shù)男?極大地節(jié)省了網(wǎng)絡(luò)帶寬。本系統(tǒng)采用組播技術(shù)實(shí)現(xiàn)實(shí)時(shí)音(視)頻數(shù)據(jù)的多點(diǎn)傳輸。組播方式只適用于UDP。綜上所述,采用TCP/IP傳輸控制信號(hào),即信令通道;采用UDP/IP傳輸音視頻信號(hào),即數(shù)據(jù)通道。?

??? IP組播依賴一個(gè)特殊的地址組——“多播地址”,即D類地址。范圍在224.0.0.0—239.255.255.255之間(其中224.0.0.0-224.0.0.255是被保留的地址),D類地址是動(dòng)態(tài)分配和恢復(fù)的瞬態(tài)地址。組播地址只能作為信宿地址使用,而不能出現(xiàn)在任何信源地址中。每一個(gè)組播組對(duì)應(yīng)于動(dòng)態(tài)分配的一個(gè)D類地址。組播的特點(diǎn):組播組的成員是動(dòng)態(tài)的,主機(jī)可以在任何時(shí)間加入或離開組播組,主機(jī)組中的成員在位置上和數(shù)量上是沒有限制的。?

2.2 Windows下,IP組播的Winsock2實(shí)現(xiàn)?

??? Windows環(huán)境下組播通信是基于Windows Socket的。Windows Socket 提供兩種不同的IP組播的實(shí)現(xiàn)方法:Winsock1與Winsock2。在Windows2000平臺(tái)采用VC++6.0開發(fā)工具,在本系統(tǒng)中實(shí)現(xiàn)了基于Winsock2的組播通信編程。?

??? 發(fā)送端(前端、客戶端)實(shí)現(xiàn)步驟:?

??? (1)加載Winsock2庫,完成Winsock2的初始化:?

??? WSAStarup(MAKEWORD(2, 2), &wsaData);?

??? (2)建立本地套接字(UDP):?

??? m_socket=WSASocket(AF_INET,SOCK_DGRAM,IPPROTO_UDP,NULL, 0,WSA_FLAG_MULTIPOINT_C_LEAF|WSA_FLAG_MULTIPOINT_D_LEAF);?

//組播通信具有兩個(gè)層面的重要特征:控制層面和數(shù)據(jù)層面?？刂茖用鏇Q定一個(gè)多播組建立通信的方式,數(shù)據(jù)層面決定通信成員間數(shù)據(jù)傳輸?shù)姆绞?。每一個(gè)層面有兩種形式,一種是“有根的”,另一種是“無根的”;數(shù)據(jù)報(bào)IP組播在兩個(gè)層面上都是“無根”的。任一用戶發(fā)送的數(shù)據(jù)都將被傳送到組中所有其它成員。最后一個(gè)參數(shù)表明新創(chuàng)建的套接字在控制層面與數(shù)據(jù)層面都是“無根的”。?

??? 可以通過setsocket函數(shù)設(shè)置套接字的屬性,如允許地址重用,緩沖區(qū)是接收還是發(fā)送。?

??? m_localAddr . sin_family? =? AF_INET;?

??? m_localAddr.sin_port = m_iPort;//本地端口號(hào)?

??? m_localAddr..sin _addr. S_un.S_addr=m_uLocalIP;//本地IP地址;?

??? (3)綁定(將新創(chuàng)建的套節(jié)字與本地插口地址進(jìn)行綁定):?

??? bind(m_socket, (PSOCKADDR)&(m_localAddr), sizeof(m_localAddr));?

??? (4)設(shè)置生存時(shí)間(即數(shù)據(jù)包最多允許路由多少個(gè)網(wǎng)段):?

??? WSAIoctl(m_socket,SIO_MULTICAST_SCOPE, //設(shè)置數(shù)據(jù)報(bào)生存時(shí)間;?

??? &iMcastTTL, // 生存時(shí)間大小;?

??? sizeof(iMcastTTL),NULL,0,&cbRet,NULL, NULL);?

??? (5)配置Loopback, 以決定組播數(shù)據(jù)幀是否回送:?

??? int bLoopback = FALSE; ?

??? WSAIoct(m_socket, SIO_MULTIPOINT_LOOPBACK, ?

??? //允許或禁止組播數(shù)據(jù)幀回送;?

??? &bLoopback, sizeof(bLoopback), NULL, 0, &cbRet, NULL, NULL);?

??? (6)收發(fā)數(shù)據(jù):?

??? 在發(fā)送方(前端、客戶端)響應(yīng)發(fā)送的消息函數(shù)中調(diào)用下面函數(shù):?

??? WSASendTo(m_socket,&stWSABuf,1,&cbRet,0,(struct sockaddr*)&stDestAddr,? // 發(fā)送的目的地址;?

??? sizeof(struct(sockaddr), NULL, NULL));?

??? 在發(fā)送方(前端、客戶端)響應(yīng)接收消息函數(shù)中調(diào)用下面函數(shù):?

??? WSARecvFrom(m_socket,&stWSABuf,1, & cbRet,&Flag, (struct sockaddr*)&stSrcAddr, //源地址;?

??? &iLen, NULL, NULL);?

??? (7)將組播套接字設(shè)置為異步I/O工作模式,在該套節(jié)字上接收以事件為基礎(chǔ)的網(wǎng)絡(luò)事件通知:?

??? WSAEventSelect(m_socket, m_hNetworkEvent, //網(wǎng)絡(luò)事件句柄;將此套節(jié)字與該事件句柄關(guān)聯(lián)在一起;?

??? FD_WRITE|FD_READ);//??? 發(fā)生此兩個(gè)事件之一,則將m_hNetworkEvent置為有信號(hào)狀態(tài);?

??? (8)在工作線程中設(shè)置:?

??? WSAWaitForMultipleEvent(3,//等待事件的個(gè)數(shù);?

??? p->m_eventArray,//存放事件句柄的數(shù)組;?

??? FALSE, WSA_INFINITE, FALSE);? ?

??? (9)關(guān)閉組播套節(jié)字:?

??? closesocket(m_socket);?

??? 接收端(后端、服務(wù)器端)實(shí)現(xiàn)步驟:?

??? (1)—(3)與發(fā)送端(客戶端)相同;? ?

??? (4)調(diào)用WSAJLoinLeaf加入組播組:?

??? SOCKET? NetSock=WSAJoinLeaf(sock,//必須為組播標(biāo)志進(jìn)行創(chuàng)建,否則調(diào)用失敗;?

??? (PSOCKADDR)&(m_stDestAddr,//組播地址,與發(fā)送方的目的地址相同;?

??? sizeof(m_stDestAddr), NULL, NULL, NULL, NULL,?

??? JL_BOTH));//允許接收和發(fā)送;?

??? (5)與客戶端(6)相同;(6)與客戶端(7)相同;(7)與客戶端(8)相同;(8)離開組播組;closesocket(NewSock);// NewSock是調(diào)用WSAoinLeaf()返回的套節(jié)字。?

2.3 在監(jiān)控系統(tǒng)中網(wǎng)絡(luò)傳輸模塊的設(shè)計(jì)?

??? 網(wǎng)絡(luò)傳輸模塊流程如圖2所示。?

?

?

??? 發(fā)送端(前端監(jiān)控現(xiàn)場(chǎng)主機(jī)、客戶端)監(jiān)控主機(jī)運(yùn)行客戶端程序。在主線程中,啟動(dòng)視頻、音頻兩個(gè)線程分別對(duì)視頻及音頻進(jìn)行采集,放入視(音)頻緩沖區(qū);視頻在本地回放;同時(shí),監(jiān)聽分控中心的連接請(qǐng)求,收到連接請(qǐng)求,TCP三次握手,建立TCP連接(信令通道);通過信令通道,向分控中心發(fā)送二組組播地址及端口號(hào)(對(duì)應(yīng)視頻及音頻,給每個(gè)監(jiān)控點(diǎn)分配一對(duì)組播地址及端口號(hào)),啟動(dòng)視頻、音頻兩個(gè)線程;分別在視(音)頻線程中完成:利用Winsock2建立視(音)頻數(shù)據(jù)通道(UDP)(源碼前已述及);對(duì)視(音)頻進(jìn)行壓縮編碼、組播發(fā)送;音頻線程接收分控中心的音頻數(shù)據(jù)包,解碼并播放;實(shí)現(xiàn)視頻的單向傳輸和音頻的雙向傳輸。?

??? 接收端(后端分控中心、服務(wù)器端)分控中心主機(jī)運(yùn)行服務(wù)器端程序,在主線程中向前端監(jiān)控現(xiàn)場(chǎng)主機(jī)發(fā)出連接請(qǐng)求(CALL),三次握手建立TCP連接(信令通道);后端接收到組播地址及端口號(hào)后,啟動(dòng)視(音)頻兩個(gè)線程,完成;利用Winsock2建立視(音)頻數(shù)據(jù)通道(UDP),加入視(音)頻組播組,接收壓縮視(音)頻包,并解碼顯示(播放);其中音頻線程,還要完成音頻數(shù)據(jù)包的壓縮、發(fā)送;實(shí)現(xiàn)視頻的單向傳輸、音頻的雙向傳輸。?

??? 一個(gè)后端分控中心可同時(shí)監(jiān)控12路前端視頻及音頻信號(hào),在設(shè)計(jì)服務(wù)器端監(jiān)控程序時(shí),采用多線程技術(shù),每建立一對(duì)前端監(jiān)控主機(jī)與后端分控中心(服務(wù)器)的TCP連接,就開兩個(gè)接收線程(一個(gè)接收視頻線程;一個(gè)接收音頻線程), 視頻線程接收視頻數(shù)據(jù)包進(jìn)行解壓縮及回放;音頻線程接收音頻數(shù)據(jù)包進(jìn)行解壓縮及播放。對(duì)云臺(tái)及攝像機(jī)的控制指令通過信令通道傳輸。?

??? 本系統(tǒng)運(yùn)行在Win2000平臺(tái)上,用VC++6.0開發(fā)工具開發(fā)。?

??? 在遠(yuǎn)程數(shù)字音視頻監(jiān)控系統(tǒng)的傳輸模塊設(shè)計(jì)中,根據(jù)音視頻數(shù)據(jù)傳輸及控制信號(hào)傳輸?shù)奶攸c(diǎn),運(yùn)用IP組播技術(shù)極大地減輕了網(wǎng)絡(luò)負(fù)擔(dān),避免了資源的浪費(fèi),節(jié)省了網(wǎng)絡(luò)帶寬;利用TCP/IP協(xié)議設(shè)計(jì)了信令通道(TCP)和數(shù)據(jù)通道(UDP);運(yùn)用Windows多線程機(jī)制實(shí)現(xiàn)了音視頻數(shù)據(jù)的實(shí)時(shí)、多點(diǎn)傳輸和控制信號(hào)的可靠傳輸,提高了程序運(yùn)行的效率。在該系統(tǒng)的基礎(chǔ)上進(jìn)行改造與擴(kuò)展,可以應(yīng)用到遠(yuǎn)程教學(xué)、遠(yuǎn)程醫(yī)療等多種多媒體通信;因此,遠(yuǎn)程數(shù)字音視頻監(jiān)控系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)不僅具有監(jiān)控方面的現(xiàn)實(shí)意義,而且對(duì)于許多應(yīng)用都有借鑒和參考價(jià)值。?

參考文獻(xiàn)?

1 楊 磊.電視監(jiān)控實(shí)用技術(shù).北京:機(jī)械工業(yè)出版社,2002?

2 徐立新.李宗斌. IP組播技術(shù)的API編程實(shí)踐. 微型機(jī)與應(yīng)用, 2002;21(6)?

3 蔣東興.Windows Sockets網(wǎng)絡(luò)編程設(shè)計(jì)大全. 北京:清華大學(xué)出版社,1999?

4 W Richard Stevens. TCP/IP詳解 卷1:協(xié)議.北京:機(jī)械工業(yè)出版社,?

5 王險(xiǎn)峰. Windows環(huán)境下的多線程編程原理與應(yīng)用.北京:清華大學(xué)出版社,2002?

6 David J. Kruglinski.Visual C++6.0技術(shù)內(nèi)幕(第五版).北京:北京希望電子出版社, 2002