視覺與激光雷達(dá)融合感知系統(tǒng)
作者： 葉魯斌 計算機(jī)系
鄭志龍 車輛學(xué)院
唐李源 計算機(jī)系
孫雪琳 建筑學(xué)院
霍江浩 計算機(jī)系
許璀杰 電子系
指導(dǎo)老師：張新鈺 車輛學(xué)院
關(guān)鍵詞：自動駕駛 融合感知 互信息 通道注意力 跨層交叉融合
摘要
近年來，自動駕駛領(lǐng)域的學(xué)者趨向于融合多源傳感器信息來開發(fā)道路目標(biāo)檢測、分割等感知算法。融合感知算法在復(fù)雜道路環(huán)境中具有更強(qiáng)的魯棒性，能避免因單源傳感器失效而導(dǎo)致自動駕駛系統(tǒng)崩潰，是自動駕駛走向現(xiàn)實的關(guān)鍵。而在多模態(tài)融合感知算法的實現(xiàn)中，融合權(quán)重的選擇是至關(guān)重要的，它在很大程度上影響著融合的效果。但現(xiàn)有算法的融合權(quán)重需要手工設(shè)計，難以靈活調(diào)整。
本項目以此為出發(fā)點，分別從數(shù)據(jù)層面、特征層面、網(wǎng)絡(luò)架構(gòu)層面這三個層次，實現(xiàn)了融合權(quán)重的自適應(yīng)計算。
互信息——數(shù)據(jù)層面的權(quán)重計算
圖1 互信息
數(shù)據(jù)層面上利用了互信息進(jìn)行權(quán)重計算。所謂互信息，是指當(dāng)已知一個隨機(jī)變量的值時，能為另一個隨機(jī)變量帶來多少信息量。具體到本項目中，就是各傳感器的數(shù)據(jù)能為預(yù)期特征提供多少信息量。我們依據(jù)各數(shù)據(jù)源與預(yù)期特征之間的互信息來為它們分配權(quán)重，從而引導(dǎo)模型依賴更相關(guān)的、質(zhì)量更好的數(shù)據(jù)源。
通道注意力——特征層面的權(quán)重計算
圖2 通道注意力
特征層面上采用了通道注意力模型來進(jìn)行權(quán)重計算，即調(diào)整各個不同特征的權(quán)重。卷積網(wǎng)絡(luò)會從原始數(shù)據(jù)中提取到多個特征圖，每個特征圖都構(gòu)成一個通道，利用通道注意力模塊，可以使網(wǎng)絡(luò)更關(guān)注重要形更高的那一部分通道——也就是使其具有更高的權(quán)重。有別于傳統(tǒng)的通道注意力模塊（ECA）中圖像與點云的特征圖的簡單級聯(lián)，我們提出了CF-ECA模塊，在級聯(lián)時將兩種模態(tài)的通道間隔排列，使得圖像與點云的特征在一維卷積時能更充分地交互、融合。
跨層交叉融合——網(wǎng)絡(luò)架構(gòu)層面的權(quán)重計算
圖3 跨層交叉融合
網(wǎng)絡(luò)架構(gòu)層面上則采用了跨層交叉融合進(jìn)行權(quán)重計算。相較于前中后融合，跨層交叉融合不需要手動設(shè)置融合層級，也不會將融合階段限制在單個層次，而是充分利用了信息流，讓網(wǎng)絡(luò)自主決定融合的層級，從而在網(wǎng)絡(luò)架構(gòu)層面上實現(xiàn)了自適應(yīng)的權(quán)重調(diào)整。
