《電子技術(shù)應(yīng)用》
您所在的位置：首頁(yè) > 人工智能 > 设计应用 > 干线动态协调控制的深度Q网络方法
干线动态协调控制的深度Q网络方法
《信息技术与网络安全》2020年第6期
郭瑝清1，陈 锋1，2
1.中国科学技术大学 信息科学技术学院，安徽 合肥230027； 2.安徽中科龙安科技股份有限公司，安徽 合肥230088
摘要： 为有效降低城市交通干线的车均延误与停车次数，将深度Q网络引入干线协调控制，给出了一种干线动态协调控制的DDDQN(Dueling Double Deep Q Network)方法。该方法结合双重深度Q网络与基于竞争架构深度Q网络，并将干线作为整体处理，通过深度神经网络挖掘干线各交叉口协调控制的相关性，基于Q学习进行交通信号控制决策。通过仿真实验，在近饱和流量和干线存在初始排队的情况下，将DDDQN方法与现有绿波方法，以及经典深度Q网络、双重深度Q网络、基于竞争架构深度Q网络的干线协调控制算法进行对比，实验结果表明基于DDDQN的干线动态协调控制算法性能优于其他四种方法。
中圖分類(lèi)號(hào)： TP181
文獻(xiàn)標(biāo)識(shí)碼： A
DOI： 10.19358/j.issn.2096-5133.2020.06.001
引用格式： 郭瑝清，陳鋒. 干線(xiàn)動(dòng)態(tài)協(xié)調(diào)控制的深度Q網(wǎng)絡(luò)方法[J].信息技術(shù)與網(wǎng)絡(luò)安全，2020，39(6)：1-6.
A deep Q network method for dynamic arterial coordinated control
Guo Huangqing1，Chen Feng1，2
1.School of Information Science and Technology，University of Science and Technology of China，Hefei 230027，China； 2.Anhui LoongSec Science and Technology Ltd.，Hefei 230088，China
Abstract： In order to effectively reduce the average delay and number of stops for urban traffic trunk roads，a deep Q network is introduced to arterial coordinated control, and a DDDQN(Dueling Double Deep Q Network) method is presented in this paper. This method combines the double deep Q network and the dueling deep Q network, and views the trunk road as a whole. The deep neural network is applied to find the correlation of the coordinated control for each intersection in the trunk road, and Q learning makes these decisions for traffic signal control. Through simulation platform, in the condition of near saturation and initial queue, the method proposed in this paper is compared with the existing green wave method, the arterial coordinated methods respectively based on deep Q network, double deep Q network, and dueling deep Q network. The experimental results show that the performance of DDDQN algorithm is better than the other four methods.
Key words : urban traffic；arterial coordinated control；deep Q network；double deep Q network；dueling deep Q network

隨著城市人口的增多與經(jīng)濟(jì)的快速發(fā)展，我國(guó)汽車(chē)保有量不斷增長(zhǎng)，城市交通擁堵問(wèn)題日益嚴(yán)峻。而城市交通干線(xiàn)是城市交通的動(dòng)脈，實(shí)現(xiàn)干線(xiàn)各交叉口間交通信號(hào)的動(dòng)態(tài)協(xié)調(diào)，有效地疏導(dǎo)干線(xiàn)車(chē)輛，對(duì)于緩解城市交通擁堵具有重要意義。

       目前，城市主干道多交叉口的協(xié)調(diào)控制，主要采用Maxband和Multiband法以及圖解法、數(shù)解法等綠波方法。LITTLE J D C等人最早提出最大綠波帶寬Maxband模型；GARTNER N H等人在Maxband模型的基礎(chǔ)上，提出復(fù)合綠波帶寬Multiband模型；陳昕等人對(duì)圖解法進(jìn)行了優(yōu)化，基于綠波帶的中心線(xiàn)交點(diǎn)，設(shè)計(jì)了一種新的雙向綠波圖解法；盧凱等人[在綠燈中心點(diǎn)型雙向綠波協(xié)調(diào)設(shè)計(jì)數(shù)解法的基礎(chǔ)上，建立了一種綠燈終點(diǎn)型的雙向綠波數(shù)解法，從而減少了干線(xiàn)車(chē)隊(duì)的延誤時(shí)間；曲大義等人在綠波協(xié)調(diào)中考慮了公交車(chē)輛的影響，并通過(guò)增加綠信比與對(duì)公交車(chē)輛適當(dāng)?shù)奶崴伲M(jìn)一步提升了交叉口的通行效率。

       現(xiàn)有的綠波方法難以準(zhǔn)確地描述復(fù)雜的城市干線(xiàn)交通流狀態(tài)，且采用靜態(tài)的控制模式，無(wú)法有效地協(xié)調(diào)時(shí)變的干線(xiàn)交通流。隨著人工智能的不斷發(fā)展，采用深度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)城市交通信號(hào)優(yōu)化控制已成為研究的熱點(diǎn)。HA-LI P等人為提高交叉口通行能力，提出了一種基于深度強(qiáng)化學(xué)習(xí)算法的單交叉口信號(hào)優(yōu)化控制方法；GAO J等人提出一種深度強(qiáng)化學(xué)習(xí)算法，從實(shí)時(shí)的交通流數(shù)據(jù)中自動(dòng)提取有用特征，實(shí)現(xiàn)單交叉口交通流的自適應(yīng)控制，并采用經(jīng)驗(yàn)回放和目標(biāo)網(wǎng)絡(luò)技術(shù)，提高了算法的穩(wěn)定性；LI C C等人為提高城市路網(wǎng)通行能力，提出了一種用于區(qū)域交叉口交通信號(hào)控制的深度強(qiáng)化學(xué)習(xí)算法，通過(guò)多智能體學(xué)習(xí)最佳的交通信號(hào)控制策略；VAN DER POL E采用Max-plus算法和基于深度強(qiáng)化學(xué)習(xí)的多智能體方法，實(shí)現(xiàn)城市交通區(qū)域協(xié)調(diào)控制。

       在深度強(qiáng)化學(xué)習(xí)領(lǐng)域，目前對(duì)于城市交通信號(hào)控制的研究，多以單交叉口為研究對(duì)象，而對(duì)于多交叉口的協(xié)調(diào)處理，普遍采用多智能體的協(xié)調(diào)控制。本文結(jié)合了雙重深度Q網(wǎng)絡(luò)(Double Deep Q Network，Double DQN)與基于競(jìng)爭(zhēng)架構(gòu)深度Q網(wǎng)絡(luò)(Dueling Deep Q Network，Dueling DQN)，設(shè)計(jì)了基于DDDQN(Dueling Double Deep Q Network，DDDQN)的干線(xiàn)動(dòng)態(tài)協(xié)調(diào)控制算法。通過(guò)將干線(xiàn)多交叉口的交通信號(hào)作為一個(gè)整體進(jìn)行處理，相比于采用多智能體協(xié)調(diào)控制，減輕了智能體間通信協(xié)調(diào)的負(fù)擔(dān)，且智能體通過(guò)獲取多交叉口的實(shí)時(shí)狀態(tài)，掌握干線(xiàn)全局信息，并使用Dueling DQN網(wǎng)絡(luò)結(jié)構(gòu)模型，能更充分地發(fā)揮網(wǎng)絡(luò)提取干線(xiàn)交通流特征的能力，挖掘出多交叉口間協(xié)調(diào)控制的相關(guān)性。實(shí)驗(yàn)結(jié)果表明，本文方法相比于現(xiàn)有綠波方法、經(jīng)典的深度Q網(wǎng)絡(luò)(Deep Q Network，DQN)、以及Double DQN與Dueling DQN，能夠更有效地降低城市主干道的車(chē)均延誤和車(chē)輛的停車(chē)次數(shù)等重要的交通評(píng)價(jià)指標(biāo)。



本文詳細(xì)內(nèi)容請(qǐng)下載:http://m.ihrv.cn/resource/share/2000003143


作者信息：

郭瑝清1，陳  鋒1，2

(1.中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥230027；

2.安徽中科龍安科技股份有限公司，安徽 合肥230088)


此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。

相關(guān)內(nèi)容