視覺(jué)與激光雷達(dá)融合感知系統(tǒng)
作者： 葉魯斌 計(jì)算機(jī)系
鄭志龍 車(chē)輛學(xué)院
唐李源 計(jì)算機(jī)系
孫雪琳 建筑學(xué)院
霍江浩 計(jì)算機(jī)系
許璀杰 電子系
指導(dǎo)老師：張新鈺 車(chē)輛學(xué)院
關(guān)鍵詞：自動(dòng)駕駛 融合感知 互信息 通道注意力 跨層交叉融合
摘要
近年來(lái)，自動(dòng)駕駛領(lǐng)域的學(xué)者趨向于融合多源傳感器信息來(lái)開(kāi)發(fā)道路目標(biāo)檢測(cè)、分割等感知算法。融合感知算法在復(fù)雜道路環(huán)境中具有更強(qiáng)的魯棒性，能避免因單源傳感器失效而導(dǎo)致自動(dòng)駕駛系統(tǒng)崩潰，是自動(dòng)駕駛走向現(xiàn)實(shí)的關(guān)鍵。而在多模態(tài)融合感知算法的實(shí)現(xiàn)中，融合權(quán)重的選擇是至關(guān)重要的，它在很大程度上影響著融合的效果。但現(xiàn)有算法的融合權(quán)重需要手工設(shè)計(jì)，難以靈活調(diào)整。
本項(xiàng)目以此為出發(fā)點(diǎn)，分別從數(shù)據(jù)層面、特征層面、網(wǎng)絡(luò)架構(gòu)層面這三個(gè)層次，實(shí)現(xiàn)了融合權(quán)重的自適應(yīng)計(jì)算。
互信息——數(shù)據(jù)層面的權(quán)重計(jì)算
圖1 互信息
數(shù)據(jù)層面上利用了互信息進(jìn)行權(quán)重計(jì)算。所謂互信息，是指當(dāng)已知一個(gè)隨機(jī)變量的值時(shí)，能為另一個(gè)隨機(jī)變量帶來(lái)多少信息量。具體到本項(xiàng)目中，就是各傳感器的數(shù)據(jù)能為預(yù)期特征提供多少信息量。我們依據(jù)各數(shù)據(jù)源與預(yù)期特征之間的互信息來(lái)為它們分配權(quán)重，從而引導(dǎo)模型依賴(lài)更相關(guān)的、質(zhì)量更好的數(shù)據(jù)源。
通道注意力——特征層面的權(quán)重計(jì)算
圖2 通道注意力
特征層面上采用了通道注意力模型來(lái)進(jìn)行權(quán)重計(jì)算，即調(diào)整各個(gè)不同特征的權(quán)重。卷積網(wǎng)絡(luò)會(huì)從原始數(shù)據(jù)中提取到多個(gè)特征圖，每個(gè)特征圖都構(gòu)成一個(gè)通道，利用通道注意力模塊，可以使網(wǎng)絡(luò)更關(guān)注重要形更高的那一部分通道——也就是使其具有更高的權(quán)重。有別于傳統(tǒng)的通道注意力模塊（ECA）中圖像與點(diǎn)云的特征圖的簡(jiǎn)單級(jí)聯(lián)，我們提出了CF-ECA模塊，在級(jí)聯(lián)時(shí)將兩種模態(tài)的通道間隔排列，使得圖像與點(diǎn)云的特征在一維卷積時(shí)能更充分地交互、融合。
跨層交叉融合——網(wǎng)絡(luò)架構(gòu)層面的權(quán)重計(jì)算
圖3 跨層交叉融合
網(wǎng)絡(luò)架構(gòu)層面上則采用了跨層交叉融合進(jìn)行權(quán)重計(jì)算。相較于前中后融合，跨層交叉融合不需要手動(dòng)設(shè)置融合層級(jí)，也不會(huì)將融合階段限制在單個(gè)層次，而是充分利用了信息流，讓網(wǎng)絡(luò)自主決定融合的層級(jí)，從而在網(wǎng)絡(luò)架構(gòu)層面上實(shí)現(xiàn)了自適應(yīng)的權(quán)重調(diào)整。
