多情境下的交通視頻多目標(biāo)跟蹤算法
作者：曾哲妮 新雅書院
指導(dǎo)老師：無
關(guān)鍵詞：多目標(biāo)跟蹤；計算機視覺；自適應(yīng)算法
摘要
多目標(biāo)跟蹤，即Multiple Object Tracking（MOT），指給定一個圖像序列，希望找到圖像序列中某些運動物體，并將不同幀的運動物體進(jìn)行匹配識別。在實際應(yīng)用場景中，自動辨識道路視頻中的車流通行情況與交通違章行為需要強有力的多目標(biāo)跟蹤算法支持。本作品在目前最流行的MOT開源算法deep SORT上進(jìn)行改進(jìn)，有下述兩個主要貢獻(xiàn)：1. 考慮到車輛視頻低幀高速的特性，減弱坐標(biāo)絕對位置的約束作用，嘗試搭建運動模型進(jìn)行位置預(yù)測；2. 提出將pipeline參數(shù)在各交通情境下進(jìn)行自適應(yīng)調(diào)整的想法，顯著提升算法作用效果。
普適性改進(jìn)
a）前處理。檢測器返回的bounding box通常存在不少冗余，對于置信度不高的檢測對象，可以考慮直接忽略。另外，reid特征提取的可靠性在圖片太小、太不清晰時也大打折扣，故篩除面積太小的檢測框。
b) 軌跡合并時間差限定。只用reid閾值進(jìn)行相似程度判斷并規(guī)定bbox移動速度合理是不夠的，可能存在把不同時間出現(xiàn)的相似車輛軌跡連起來的情況。我們規(guī)定在每一個traj的“交錯點”時間差不能超過2秒。
c) 匹配策略。目前直接取當(dāng)前traj前向檢測框的平均特征與待匹配框進(jìn)行計算（或計算平均距離，在該codebase上效果差異不明顯）。考慮到時間越近的框與當(dāng)前結(jié)果應(yīng)越相似，可以嘗試引入時間衰減權(quán)重項。另外，在進(jìn)入匈牙利算法之間可以將分?jǐn)?shù)足夠高的 pair 預(yù)訂匹配。
d) 軌跡檢測框quality判別。其一是通過邏輯篩選特征突變或判定遮擋框；其二是通過框大小、圖片模糊因子等從CNN中得到quality分?jǐn)?shù)。
車輛運動假設(shè)模型
行人的運動狀況復(fù)雜多變，很多方案中使用卡爾曼濾波器解決，但效果上也沒有特別突出。車輛的運動相對固定而簡單不少，但移動相對畫幅而言更加明顯，故不能簡單地視之為線性運動模型。嘗試使用二次擬合方案得到 estimated position 來計算IoU，會更有參考價值；同時也能代替速度閾值篩選，能納入更多快車。
對于一條軌跡向前回溯3秒找到所有檢測框。為篩選位置置信度高的框，分別對檢測框長和寬做線性擬合。若實際長寬與回歸值的比超出容忍范圍，則不納入后續(xù)計算。對剩余檢測框取至多10個在x與y方向分別進(jìn)行二次擬合。我們得到了對檢測框的長、寬以及中心位置的回歸函數(shù)，可以代入當(dāng)前幀求解。為避免結(jié)果出現(xiàn)明顯不符合常理的偏移趨勢，我們規(guī)定：w與h能過小。若求解結(jié)果為負(fù)說明該條軌跡應(yīng)已消失；正常車輛長寬比應(yīng)在既定范圍內(nèi)，若形狀偏差太大應(yīng)向中庸作出調(diào)整；不能越過二次函數(shù)頂點，最近一幀檢測框與預(yù)測結(jié)果應(yīng)在對稱軸同側(cè)。這并不表示車輛實際軌跡不能出現(xiàn)反向彎，而是避免預(yù)測框回退到其余車輛上的情況發(fā)生。
繪制預(yù)測框的位置并與實際檢測框位置進(jìn)行比對，發(fā)現(xiàn)該模型對于動態(tài)和靜態(tài)車輛的預(yù)測效果都比較良好（橙色為預(yù)測框，其余顏色為被匹配的檢測框）：
圖1 車輛運動預(yù)測結(jié)果（a）
圖2 車輛運動預(yù)測結(jié)果（b）
圖3 普適改進(jìn)與運動模型在業(yè)務(wù)視頻上的測試結(jié)果
參數(shù)自適應(yīng)調(diào)整
我們?yōu)镸OT中的pipeline參數(shù)調(diào)整提出了一個新穎的自評測參數(shù)?，F(xiàn)有的評測參數(shù)全部要求在有g(shù)round truth的情況下進(jìn)行，故而在實際應(yīng)用的多變環(huán)境下失效。而我們的參數(shù)反映了假設(shè)軌跡的內(nèi)部特征，不需gt標(biāo)注即可評測跟蹤質(zhì)量。
從觀察經(jīng)驗中得到，好的跟蹤軌跡結(jié)果應(yīng)盡可能長且軌跡同時盡可能多，以確保所有符合規(guī)定的運動物體都被納入考慮且不出現(xiàn)不合理的斷裂或串聯(lián)。在此前提下，我們認(rèn)為相同軌跡所有幀圖像特征應(yīng)盡可能相似而不同軌跡間特征應(yīng)盡可能相異。基于該假設(shè)可以得到，理想軌跡的自差和互差應(yīng)呈單峰分布，而多峰則往往暗示著軌跡錯誤。
圖4 軌跡分布假設(shè)
圖5 軌跡分布假設(shè)在MOT16集上的驗證
從該現(xiàn)象出發(fā)，利用2-class高斯混合模型進(jìn)行軌跡幀特征歐式距離分布的擬合，并根據(jù)峰間距判斷其質(zhì)量。由于基于x該方法在MOT16 Challenge等經(jīng)典數(shù)據(jù)集上取得了良好的表現(xiàn)。這也是在整個MOT社群中首次提出的自評測方法。
圖6 自適應(yīng)算法在MOT16與KITTI數(shù)據(jù)集上的測試結(jié)果
