基于多攝像頭和混合疏導(dǎo)模型的駕駛行為評分系統(tǒng)
作者：牛浩懿、王惠生、相良儒 所屬院系 自動化系
指導(dǎo)老師：胡堅(jiān)明 所屬院系 自動化系
關(guān)鍵詞：車輛重識別、深度強(qiáng)化學(xué)習(xí)、博弈論
摘要
我們利用路測設(shè)備中的多攝像頭感知數(shù)據(jù)，對視頻數(shù)據(jù)在仿真系統(tǒng)中進(jìn)行重建，并作為評分系統(tǒng)的輸入。評分系統(tǒng)分為直道和交叉口環(huán)境下兩部分，直道上采用改造的DQN算法，輸出的Q值函數(shù)定義在動作空間當(dāng)中，對所有動作有著天然的評分屬性；在交叉口處采用解決交叉口擁堵沖突能力強(qiáng)的博弈論方法，并采用博弈論中的支付函數(shù)作為輸出。對每一步的Q值或者支付函數(shù)值都進(jìn)行歸一化處理并根據(jù)現(xiàn)實(shí)中駕駛員選擇的動作形成實(shí)時分?jǐn)?shù)，根據(jù)評分對駕駛員反饋獎勵，可優(yōu)化駕駛習(xí)慣，提升行車安全。
圖 1：整體架構(gòu)
多攝像頭感知
我們先利用YOLO-v3算法進(jìn)行車輛物體的目標(biāo)檢測，之后利用基于時空連續(xù)性的跟蹤算法進(jìn)行多車輛目標(biāo)的跟蹤。利用ResNet網(wǎng)絡(luò)結(jié)構(gòu)和Triplet Loss方法提取車輛特征并進(jìn)行車輛重識別，從而實(shí)現(xiàn)跨攝像頭車輛的跟蹤。
圖 2：多攝像頭感知模塊流程
交叉口評分決策
從車輛個體的決策行為出發(fā)，路口形成一個博弈。由于車輛時刻決策，因此是一個動態(tài)博弈。車輛具有不同排隊(duì)優(yōu)先級，每次做出決策時，車輛的狀態(tài)均與上一次做出決策時不同，是結(jié)構(gòu)不同的序貫博弈。車輛只關(guān)注眼前幾次的效用，越遠(yuǎn)處的效用對當(dāng)前決策影響越小，引入動態(tài)k級模型。以支付函數(shù)值為交叉口環(huán)境下的評分依據(jù)。
圖 4：交叉口環(huán)境評分演示
路段評分決策
改造的DQN方法采用柔性可變的狀態(tài)空間，以最緊密的數(shù)據(jù)組織形式高效地篩選交通狀態(tài)信息，可以適應(yīng)任何的路段拓?fù)浣Y(jié)構(gòu)。除此之外在狀態(tài)空間中加入了速度適應(yīng)項(xiàng)以根據(jù)車速調(diào)整視野，加入前車是否做出避讓性質(zhì)的動作這一信息，深化DQN智能體對前車動作的理解。使用連續(xù)獎勵函數(shù)對智能體進(jìn)行密集刺激，提高了學(xué)習(xí)效果。最終用Q值函數(shù)作為路段環(huán)境下的評分依據(jù)。
圖 5：路段決策模塊算法
圖 6：路段環(huán)境評分演示
