視覺與激光雷達融合感知系統(tǒng)
作者： 葉魯斌 計算機系
鄭志龍 車輛學院
唐李源 計算機系
孫雪琳 建筑學院
霍江浩 計算機系
許璀杰 電子系
指導老師：張新鈺 車輛學院
關(guān)鍵詞：自動駕駛 融合感知 互信息 通道注意力 跨層交叉融合
摘要
近年來，自動駕駛領(lǐng)域的學者趨向于融合多源傳感器信息來開發(fā)道路目標檢測、分割等感知算法。融合感知算法在復雜道路環(huán)境中具有更強的魯棒性，能避免因單源傳感器失效而導致自動駕駛系統(tǒng)崩潰，是自動駕駛走向現(xiàn)實的關(guān)鍵。而在多模態(tài)融合感知算法的實現(xiàn)中，融合權(quán)重的選擇是至關(guān)重要的，它在很大程度上影響著融合的效果。但現(xiàn)有算法的融合權(quán)重需要手工設計，難以靈活調(diào)整。
本項目以此為出發(fā)點，分別從數(shù)據(jù)層面、特征層面、網(wǎng)絡架構(gòu)層面這三個層次，實現(xiàn)了融合權(quán)重的自適應計算。
互信息——數(shù)據(jù)層面的權(quán)重計算
圖1 互信息
數(shù)據(jù)層面上利用了互信息進行權(quán)重計算。所謂互信息，是指當已知一個隨機變量的值時，能為另一個隨機變量帶來多少信息量。具體到本項目中，就是各傳感器的數(shù)據(jù)能為預期特征提供多少信息量。我們依據(jù)各數(shù)據(jù)源與預期特征之間的互信息來為它們分配權(quán)重，從而引導模型依賴更相關(guān)的、質(zhì)量更好的數(shù)據(jù)源。
通道注意力——特征層面的權(quán)重計算
圖2 通道注意力
特征層面上采用了通道注意力模型來進行權(quán)重計算，即調(diào)整各個不同特征的權(quán)重。卷積網(wǎng)絡會從原始數(shù)據(jù)中提取到多個特征圖，每個特征圖都構(gòu)成一個通道，利用通道注意力模塊，可以使網(wǎng)絡更關(guān)注重要形更高的那一部分通道——也就是使其具有更高的權(quán)重。有別于傳統(tǒng)的通道注意力模塊（ECA）中圖像與點云的特征圖的簡單級聯(lián)，我們提出了CF-ECA模塊，在級聯(lián)時將兩種模態(tài)的通道間隔排列，使得圖像與點云的特征在一維卷積時能更充分地交互、融合。
跨層交叉融合——網(wǎng)絡架構(gòu)層面的權(quán)重計算
圖3 跨層交叉融合
網(wǎng)絡架構(gòu)層面上則采用了跨層交叉融合進行權(quán)重計算。相較于前中后融合，跨層交叉融合不需要手動設置融合層級，也不會將融合階段限制在單個層次，而是充分利用了信息流，讓網(wǎng)絡自主決定融合的層級，從而在網(wǎng)絡架構(gòu)層面上實現(xiàn)了自適應的權(quán)重調(diào)整。
