多情境下的交通視頻多目標(biāo)跟蹤算法
作者：曾哲妮 新雅書(shū)院
指導(dǎo)老師：無(wú)
關(guān)鍵詞：多目標(biāo)跟蹤；計(jì)算機(jī)視覺(jué)；自適應(yīng)算法
摘要
多目標(biāo)跟蹤，即Multiple Object Tracking（MOT），指給定一個(gè)圖像序列，希望找到圖像序列中某些運(yùn)動(dòng)物體，并將不同幀的運(yùn)動(dòng)物體進(jìn)行匹配識(shí)別。在實(shí)際應(yīng)用場(chǎng)景中，自動(dòng)辨識(shí)道路視頻中的車(chē)流通行情況與交通違章行為需要強(qiáng)有力的多目標(biāo)跟蹤算法支持。本作品在目前最流行的MOT開(kāi)源算法deep SORT上進(jìn)行改進(jìn)，有下述兩個(gè)主要貢獻(xiàn)：1. 考慮到車(chē)輛視頻低幀高速的特性，減弱坐標(biāo)絕對(duì)位置的約束作用，嘗試搭建運(yùn)動(dòng)模型進(jìn)行位置預(yù)測(cè)；2. 提出將pipeline參數(shù)在各交通情境下進(jìn)行自適應(yīng)調(diào)整的想法，顯著提升算法作用效果。
普適性改進(jìn)
a）前處理。檢測(cè)器返回的bounding box通常存在不少冗余，對(duì)于置信度不高的檢測(cè)對(duì)象，可以考慮直接忽略。另外，reid特征提取的可靠性在圖片太小、太不清晰時(shí)也大打折扣，故篩除面積太小的檢測(cè)框。
b) 軌跡合并時(shí)間差限定。只用reid閾值進(jìn)行相似程度判斷并規(guī)定bbox移動(dòng)速度合理是不夠的，可能存在把不同時(shí)間出現(xiàn)的相似車(chē)輛軌跡連起來(lái)的情況。我們規(guī)定在每一個(gè)traj的“交錯(cuò)點(diǎn)”時(shí)間差不能超過(guò)2秒。
c) 匹配策略。目前直接取當(dāng)前traj前向檢測(cè)框的平均特征與待匹配框進(jìn)行計(jì)算（或計(jì)算平均距離，在該codebase上效果差異不明顯）。考慮到時(shí)間越近的框與當(dāng)前結(jié)果應(yīng)越相似，可以嘗試引入時(shí)間衰減權(quán)重項(xiàng)。另外，在進(jìn)入匈牙利算法之間可以將分?jǐn)?shù)足夠高的 pair 預(yù)訂匹配。
d) 軌跡檢測(cè)框quality判別。其一是通過(guò)邏輯篩選特征突變或判定遮擋框；其二是通過(guò)框大小、圖片模糊因子等從CNN中得到quality分?jǐn)?shù)。
車(chē)輛運(yùn)動(dòng)假設(shè)模型
行人的運(yùn)動(dòng)狀況復(fù)雜多變，很多方案中使用卡爾曼濾波器解決，但效果上也沒(méi)有特別突出。車(chē)輛的運(yùn)動(dòng)相對(duì)固定而簡(jiǎn)單不少，但移動(dòng)相對(duì)畫(huà)幅而言更加明顯，故不能簡(jiǎn)單地視之為線性運(yùn)動(dòng)模型。嘗試使用二次擬合方案得到 estimated position 來(lái)計(jì)算IoU，會(huì)更有參考價(jià)值；同時(shí)也能代替速度閾值篩選，能納入更多快車(chē)。
對(duì)于一條軌跡向前回溯3秒找到所有檢測(cè)框。為篩選位置置信度高的框，分別對(duì)檢測(cè)框長(zhǎng)和寬做線性擬合。若實(shí)際長(zhǎng)寬與回歸值的比超出容忍范圍，則不納入后續(xù)計(jì)算。對(duì)剩余檢測(cè)框取至多10個(gè)在x與y方向分別進(jìn)行二次擬合。我們得到了對(duì)檢測(cè)框的長(zhǎng)、寬以及中心位置的回歸函數(shù)，可以代入當(dāng)前幀求解。為避免結(jié)果出現(xiàn)明顯不符合常理的偏移趨勢(shì)，我們規(guī)定：w與h能過(guò)小。若求解結(jié)果為負(fù)說(shuō)明該條軌跡應(yīng)已消失；正常車(chē)輛長(zhǎng)寬比應(yīng)在既定范圍內(nèi)，若形狀偏差太大應(yīng)向中庸作出調(diào)整；不能越過(guò)二次函數(shù)頂點(diǎn)，最近一幀檢測(cè)框與預(yù)測(cè)結(jié)果應(yīng)在對(duì)稱(chēng)軸同側(cè)。這并不表示車(chē)輛實(shí)際軌跡不能出現(xiàn)反向彎，而是避免預(yù)測(cè)框回退到其余車(chē)輛上的情況發(fā)生。
繪制預(yù)測(cè)框的位置并與實(shí)際檢測(cè)框位置進(jìn)行比對(duì)，發(fā)現(xiàn)該模型對(duì)于動(dòng)態(tài)和靜態(tài)車(chē)輛的預(yù)測(cè)效果都比較良好（橙色為預(yù)測(cè)框，其余顏色為被匹配的檢測(cè)框）：
圖1 車(chē)輛運(yùn)動(dòng)預(yù)測(cè)結(jié)果（a）
圖2 車(chē)輛運(yùn)動(dòng)預(yù)測(cè)結(jié)果（b）
圖3 普適改進(jìn)與運(yùn)動(dòng)模型在業(yè)務(wù)視頻上的測(cè)試結(jié)果
參數(shù)自適應(yīng)調(diào)整
我們?yōu)镸OT中的pipeline參數(shù)調(diào)整提出了一個(gè)新穎的自評(píng)測(cè)參數(shù)?，F(xiàn)有的評(píng)測(cè)參數(shù)全部要求在有g(shù)round truth的情況下進(jìn)行，故而在實(shí)際應(yīng)用的多變環(huán)境下失效。而我們的參數(shù)反映了假設(shè)軌跡的內(nèi)部特征，不需gt標(biāo)注即可評(píng)測(cè)跟蹤質(zhì)量。
從觀察經(jīng)驗(yàn)中得到，好的跟蹤軌跡結(jié)果應(yīng)盡可能長(zhǎng)且軌跡同時(shí)盡可能多，以確保所有符合規(guī)定的運(yùn)動(dòng)物體都被納入考慮且不出現(xiàn)不合理的斷裂或串聯(lián)。在此前提下，我們認(rèn)為相同軌跡所有幀圖像特征應(yīng)盡可能相似而不同軌跡間特征應(yīng)盡可能相異?；谠摷僭O(shè)可以得到，理想軌跡的自差和互差應(yīng)呈單峰分布，而多峰則往往暗示著軌跡錯(cuò)誤。
圖4 軌跡分布假設(shè)
圖5 軌跡分布假設(shè)在MOT16集上的驗(yàn)證
從該現(xiàn)象出發(fā)，利用2-class高斯混合模型進(jìn)行軌跡幀特征歐式距離分布的擬合，并根據(jù)峰間距判斷其質(zhì)量。由于基于x該方法在MOT16 Challenge等經(jīng)典數(shù)據(jù)集上取得了良好的表現(xiàn)。這也是在整個(gè)MOT社群中首次提出的自評(píng)測(cè)方法。
圖6 自適應(yīng)算法在MOT16與KITTI數(shù)據(jù)集上的測(cè)試結(jié)果
