目標(biāo)跟蹤做爽了最怕別人問一句“效果怎么樣”自己看視頻覺得挺好框一直咬著目標(biāo)沒丟可換到另一段視頻同一個(gè)算法就崩了。真正能說服人的不是幾段挑出來的片段而是一組能復(fù)現(xiàn)、能橫向?qū)Ρ鹊脑u(píng)估指標(biāo)。這篇想做的事很直接把目標(biāo)跟蹤里常見的評(píng)估指標(biāo)一個(gè)個(gè)掰開用最樸素的思路講清楚它們到底在算什么為什么MOTA和IDF1總被放在一起提MOTP又跟它們是什么關(guān)系最后附一份可以直接跑的MATLAB教學(xué)代碼把從逐幀匹配到指標(biāo)統(tǒng)計(jì)的完整鏈路走一遍。適合剛接觸跟蹤、想讀懂論文里指標(biāo)表或者寫完算法想先自測(cè)一遍的同學(xué)。1. 為什么“跟住沒跟住”很難一句話說清指標(biāo)體系的分層邏輯1.1 從檢測(cè)評(píng)估到跟蹤評(píng)估多出來的那根弦如果只做單幀檢測(cè)評(píng)估很簡(jiǎn)單把預(yù)測(cè)框和真值框做匹配算準(zhǔn)召率就行。但目標(biāo)跟蹤多了一個(gè)維度——時(shí)間。跟蹤器不僅要回答“這一幀框在哪”還要回答“這個(gè)框是哪一個(gè)目標(biāo)”。同樣是丟了一個(gè)目標(biāo)如果只是中間幾幀沒框出來后面又出現(xiàn)在同一個(gè)ID下可以接受如果ID換了、目標(biāo)編號(hào)跳了哪怕框的位置全部正確用戶看視頻也會(huì)直接說“這跟蹤器不行”。這個(gè)差異是理解所有跟蹤指標(biāo)的前提。我第一次接觸這些指標(biāo)時(shí)犯過一個(gè)錯(cuò)拿檢測(cè)的mAP邏輯去套跟蹤結(jié)果完全對(duì)不上。后來想通了跟蹤評(píng)估等于兩本賬一本管定位一本管身份。每個(gè)指標(biāo)其實(shí)都在回答其中一個(gè)或兩個(gè)問題。1.2 指標(biāo)到底分幾類定位精度、身份保持、軌跡完整、統(tǒng)計(jì)效率我把常見指標(biāo)分成四類這樣后面看任何指標(biāo)表都不會(huì)慌關(guān)心的問題常見指標(biāo)通俗含義框貼得準(zhǔn)不準(zhǔn)MOTP、中心誤差、成功率單幀空間誤差同一目標(biāo)身份有沒有變IDF1、IDFP/IDFN、IDSW跨幀身份一致性一條軌跡完整嗎MT/ML/PT、FM、軌跡生命周期目標(biāo)級(jí)連續(xù)覆蓋系統(tǒng)整體犯錯(cuò)多不多MOTA、FAF、處理速度全局錯(cuò)誤率檢測(cè)評(píng)估只看第一行跟蹤評(píng)估必須四行一起看。后面每一章就按這幾類展開看完你會(huì)發(fā)現(xiàn)論文里一張指標(biāo)表其實(shí)是在講一個(gè)完整的故事。2. MOTA把錯(cuò)誤記進(jìn)一本賬2.1 公式拆解與直覺理解MOTA的全稱是Multiple Object Tracking Accuracy翻譯過來是“多目標(biāo)跟蹤準(zhǔn)確率”。公式長(zhǎng)這樣:MOTA 1 - (FN FP IDSW) / GT總幀數(shù)三個(gè)錯(cuò)誤項(xiàng)FN真值目標(biāo)存在但跟蹤器沒給出框叫漏跟。FP跟蹤器給出一個(gè)框但那里并沒有真值目標(biāo)叫誤報(bào)或虛警。IDSW同一個(gè)真值目標(biāo)跟蹤框?qū)?yīng)的ID中途換了叫身份切換。GT總幀數(shù)是指所有真值軌跡按幀累加的總數(shù)。比如有三條目標(biāo)軌跡每條持續(xù)100幀GT總幀數(shù)就是300不管中間有沒有重疊。這個(gè)指標(biāo)特別像出納對(duì)賬。一天應(yīng)該記300筆賬漏記了50筆是FN亂記了5筆不存在的賬是FP還有1筆把A客戶的賬記到B客戶頭上是IDSW。最終準(zhǔn)確率就是1減去差錯(cuò)占比。MOTA越高說明系統(tǒng)整體越接近一本干凈的賬。我看到不少初學(xué)者把MOTA當(dāng)成“跟蹤精度”這是誤區(qū)。它不衡量框貼得準(zhǔn)不準(zhǔn)只衡量錯(cuò)誤數(shù)量和定位精度是兩個(gè)維度。一個(gè)MOTA很高但MOTP很爛的系統(tǒng)完全可能存在——框的位置誤差很大但只要匹配上了就不算錯(cuò)。2.2 MOTA的三個(gè)隱藏特性MOTA有一個(gè)很多人沒意識(shí)到的特性它可以是負(fù)數(shù)。當(dāng)FP特別多時(shí)總分直接跌破零。這在工程里很常見檢測(cè)閾值調(diào)太低跟蹤器瘋狂輸出虛警框MOTA會(huì)從0.8掉到-1甚至更低。看到負(fù)的MOTA不要以為是程序?qū)戝e(cuò)了那是在告訴你“錯(cuò)誤比正確還多”。第二個(gè)特性是MOTA對(duì)身份問題很遲鈍。IDSW雖然被算進(jìn)分子但權(quán)重和一個(gè)普通漏跟一樣都是“錯(cuò)一次”。而實(shí)際體驗(yàn)中ID切換造成的觀感傷害遠(yuǎn)大于一次漏跟。舉個(gè)例子兩個(gè)目標(biāo)交錯(cuò)跟蹤器給它們互換了ID只產(chǎn)生一次IDSWMOTA幾乎不掉。但如果每幀都徹底跟丟FN會(huì)急劇累積MOTA立刻崩。也就是說一個(gè)能掩蓋ID亂跳的系統(tǒng)MOTA可能還很好看。第三個(gè)特性是MOTA高度依賴檢測(cè)器質(zhì)量。跟蹤器再?gòu)?qiáng)如果上游檢測(cè)器每幀都漏一半FN暴漲跟蹤算法沒有任何操作空間。所以業(yè)內(nèi)比跟蹤器時(shí)都會(huì)固定同一個(gè)檢測(cè)器輸出單獨(dú)對(duì)比跟蹤模塊如果兩套系統(tǒng)的檢測(cè)器不同MOTA的差距就不能全算在跟蹤頭上?？凑撐闹笜?biāo)表時(shí)遇到“不同檢測(cè)器不同跟蹤器”的對(duì)比要多留個(gè)心眼。3. MOTP框貼得有多緊3.1 MOTP的定義與計(jì)算口徑MOTP全稱Multiple Object Tracking Precision看著名字帶“Precision”但它不是檢測(cè)里的準(zhǔn)確率而是“匹配成功幀上的平均定位誤差”。最常見的計(jì)算口徑是IoU均值MOTP 所有成功匹配的幀上跟蹤框與真值框IoU的平均值有些實(shí)現(xiàn)用中心點(diǎn)歐氏距離有些用框?qū)蔷€歸一化距離結(jié)果形式不太一樣但本質(zhì)都是同一件事匹配上了之后框到底貼不貼。MOTP只統(tǒng)計(jì)匹配成功的配對(duì)漏跟和誤報(bào)的幀不參與計(jì)算。這個(gè)細(xì)節(jié)很關(guān)鍵等于說MOTP衡量的是“在有真值匹配的前提下位置有多準(zhǔn)”而不是“所有幀的位置有多準(zhǔn)”。生活化類比MOTA管有沒有寄錯(cuò)快遞MOTP管每個(gè)快遞包裝有沒有變形。一個(gè)快遞公司可以極少寄錯(cuò)地址但所有包裹都?jí)旱冒T癟的也可以每個(gè)包裹都完好但隔三差五寄錯(cuò)地方。兩個(gè)維度互不替代。3.2 MOTP與MOTA的配合閱讀方法單看MOTP高不高沒有意義要和MOTA放一起看。我總結(jié)過幾種組合組合可能的解釋MOTA高M(jìn)OTP高跟蹤全面且貼得準(zhǔn)理想狀態(tài)MOTA高M(jìn)OTP低錯(cuò)誤少但位置偏可能用了大框覆蓋策略MOTA低MOTP高拿得準(zhǔn)的框都很準(zhǔn)但漏頂太嚴(yán)重檢測(cè)器閾值可能設(shè)太高M(jìn)OTA低MOTP低檢測(cè)和跟蹤同時(shí)失效需要回到檢測(cè)端排查我調(diào)試某段夜間場(chǎng)景時(shí)遇到過一種情況MOTA上去了MOTP卻掉了。后來發(fā)現(xiàn)是跟蹤器學(xué)會(huì)了在目標(biāo)周圍畫一個(gè)比真值大一圈的框框雖然永遠(yuǎn)蓋住目標(biāo)但I(xiàn)oU很低。檢測(cè)器沒問題、匹配也沒錯(cuò)純粹是“用大框換覆蓋”的策略性作弊。這類靠調(diào)框尺寸刷MOTA的問題正好能被MOTP暴露出來。4. IDF1換了個(gè)ID分?jǐn)?shù)攔腰斬4.1 為什么MOTA無法表達(dá)“身份病毒”MOTA對(duì)ID問題太寬容于是IDF1出現(xiàn)了。IDF1全稱ID F1 Score核心思想是全局來看跟蹤器的ID和真值ID能否一一對(duì)應(yīng)起來。想象你雇了三個(gè)臨時(shí)工處理三堆文件MOTA考核的是“今天有沒有文件處理錯(cuò)、漏、亂”哪怕三個(gè)臨時(shí)工互相換崗只要每堆文件都有人碰過MOTA都可能接近滿分。但I(xiàn)DF1考核的是“每堆文件從頭到尾是不是同一個(gè)人負(fù)責(zé)”中途換一個(gè)人這堆文件的完成質(zhì)量就要打折。目標(biāo)跟蹤應(yīng)用里ID一致性的重要性取決于場(chǎng)景。自動(dòng)駕駛可能更關(guān)心框的位置因?yàn)閯x車決策主要看空間但視頻監(jiān)控里要統(tǒng)計(jì)一個(gè)人進(jìn)了哪個(gè)區(qū)域、停留多久ID一旦亂跳統(tǒng)計(jì)全廢。所以監(jiān)控類項(xiàng)目幾乎必看IDF1。4.2 IDF1的計(jì)算思路IDF1的公式特別像F1-score:IDF1 2 * IDTP / (2 * IDTP IDFN IDFP)其中IDTP在全局最優(yōu)ID映射下跟蹤框與真值框正確配對(duì)的幀數(shù)。IDFN真值總幀數(shù)減去IDTP即“這個(gè)真值ID沒有被任何跟蹤ID覆蓋”的幀數(shù)。IDFP跟蹤總幀數(shù)減去IDTP即“這個(gè)跟蹤ID沒有對(duì)應(yīng)任何真值ID”的幀數(shù)。關(guān)鍵在“全局最優(yōu)ID映射”。算法會(huì)統(tǒng)計(jì)每條跟蹤軌跡和每條真值軌跡之間成功匹配的幀數(shù)組成一個(gè)矩陣然后用二分圖最大權(quán)重匹配找出最優(yōu)ID對(duì)應(yīng)關(guān)系。選出來的每一對(duì)“跟蹤ID-真值ID”就是記賬關(guān)系整個(gè)過程中ID只有在這一步做一次分配之后不再變。MOTA是逐幀算錯(cuò)誤的賬IDF1是先把ID對(duì)認(rèn)好再算覆蓋率的賬。兩種思路完全不同所以同一套結(jié)果MOTA和IDF1經(jīng)常差距很大。4.3 一個(gè)極簡(jiǎn)例子ID互換會(huì)發(fā)生什么假設(shè)兩個(gè)目標(biāo)各出現(xiàn)100幀跟蹤器全程跟住了位置也準(zhǔn)但第50幀時(shí)把兩個(gè)目標(biāo)的ID互換然后一直錯(cuò)下去。MOTA這邊TP200FN0FP0IDSW1GT總幀數(shù)200MOTA 1 - 1/200 0.995。幾乎滿分。IDF1這邊兩條跟蹤軌跡和兩條真值軌跡的總匹配幀數(shù)都是200但全局最優(yōu)映射只能把每個(gè)跟蹤ID對(duì)應(yīng)到一個(gè)真值ID錯(cuò)位后每個(gè)ID對(duì)真正對(duì)應(yīng)的幀數(shù)只有100IDTP200不對(duì)這里要仔細(xì)算如果你把track1映射gt2、track2映射gt1它們各有100幀匹配IDTP200而總幀數(shù)也是200IDF1反而接近1。這是我上面說法不準(zhǔn)確需要修正單純“兩條軌跡互換且不重疊”的互換IDF1全局匹配后反而看不出問題。真正讓IDF1暴露問題的是同一幀里兩個(gè)目標(biāo)同時(shí)存在track1和track2在第50幀發(fā)生交換之后每條track和每個(gè)真值重疊的幀數(shù)都是“一半半”。全局映射會(huì)選總權(quán)重最大的方案無論選哪種組合IDTP都只有約100幀因?yàn)閮蓷ltrack各自只能映射到一個(gè)真值ID而另一個(gè)真值ID的剩余幀就變成IDFNtrackID對(duì)應(yīng)的剩余幀變成IDFP。于是IDF1大幅下降。想得更極端一點(diǎn)如果跟蹤器給同一個(gè)目標(biāo)起了三個(gè)ID每個(gè)ID跟一段三個(gè)ID合并起來覆蓋了全部幀。MOTA依然好看但I(xiàn)DF1會(huì)因?yàn)镮DTP只有三分之一左右的幀數(shù)而掉一大截。這個(gè)特性讓IDF1成為識(shí)別“ID故意調(diào)皮”的關(guān)鍵指標(biāo)。5. 軌跡層面指標(biāo)MT/ML/PT、FM、FAF到底在說什么5.1 MT/ML/PT目標(biāo)這一生過得好不好MT/ML/PT是一組按軌跡完整度統(tǒng)計(jì)的指標(biāo)它們不看單幀而是看每個(gè)真值目標(biāo)的“一生”。MTMostly Tracked目標(biāo)被跟蹤器成功匹配的幀數(shù)占該目標(biāo)總幀數(shù)≥80%。MLMostly Lost匹配幀數(shù)≤20%。PTPartially Tracked中間狀態(tài)?？梢岳斫獬砂嗉?jí)出勤率一個(gè)學(xué)生一學(xué)期上滿80%的課算基本全勤只來兩三節(jié)課算曠課大戶其余是中間狀態(tài)。它會(huì)輸出三個(gè)數(shù)值比如MT3、ML1、PT2意思是3個(gè)目標(biāo)基本被全程跟住1個(gè)目標(biāo)幾乎全程丟失2個(gè)目標(biāo)時(shí)斷時(shí)續(xù)。這個(gè)指標(biāo)對(duì)“目標(biāo)群體”特別有價(jià)值。MOTA是全局視角不區(qū)分是哪一個(gè)目標(biāo)在拖后腿而MT/ML/PT能告訴你問題集中在少數(shù)難目標(biāo)還是普遍存在。比如追蹤密集人群時(shí)MOTA可能不算差但ML很高這說明確實(shí)有一批目標(biāo)從頭到尾沒跟住那就要檢查是不是檢測(cè)漏檢嚴(yán)重。5.2 FM軌跡碎片化和FAF虛假報(bào)警幀F(xiàn)M全稱Fragmentations指軌跡碎片化次數(shù)。一條GT軌跡對(duì)應(yīng)的跟蹤ID中途斷裂、恢復(fù)后又換了一個(gè)新ID每斷一次就計(jì)一次碎片。FM高說明跟蹤器不夠穩(wěn)定老是跟一跟停一停。FAF全稱False Alarms per Frame平均每幀的虛假報(bào)警框數(shù)計(jì)算方式就是FP總數(shù)除以總幀數(shù)。這個(gè)指標(biāo)在自動(dòng)駕駛里很常用因?yàn)樘摼驎?huì)讓車輛做出不必要的剎車或變道決策哪怕MOTA看起來還行FAF一旦高實(shí)車體驗(yàn)會(huì)非常差。5.3 按場(chǎng)景選擇指標(biāo)組合不同場(chǎng)景對(duì)指標(biāo)側(cè)重完全不同。給一個(gè)我實(shí)際配指標(biāo)的經(jīng)驗(yàn)表場(chǎng)景主指標(biāo)輔指標(biāo)理由自動(dòng)駕駛感知MOTA、MOTP、FAF處理速度關(guān)心覆蓋和位置精度虛警成本極高視頻監(jiān)控分析IDF1、IDSW、MTMOTA身份保持比微小的位置誤差更重要學(xué)術(shù)論文對(duì)比MOTA、IDF1、MOTPMT/ML、FM全面報(bào)讓讀者自己判斷單目標(biāo)跟蹤評(píng)估成功率、中心定位誤差魯棒性多目標(biāo)那套指標(biāo)不太適配別指望一個(gè)指標(biāo)能打天下。選主指標(biāo)時(shí)要先問自己這個(gè)項(xiàng)目的應(yīng)用方最不能接受哪種錯(cuò)誤是漏跟、虛警還是身份亂跳答案決定了指標(biāo)組合的方向。6. MATLAB代碼從逐幀關(guān)聯(lián)到指標(biāo)統(tǒng)計(jì)的完整演示6.1 模擬數(shù)據(jù)生成把“好壞結(jié)果”都造出來直接拿真實(shí)數(shù)據(jù)測(cè)指標(biāo)出了問題很難排查因?yàn)椴恢滥膫€(gè)環(huán)節(jié)錯(cuò)了。我習(xí)慣先造一份“答案已知”的模擬數(shù)據(jù)把各種情況都塞進(jìn)去指標(biāo)算完能對(duì)著數(shù)再跑真實(shí)數(shù)據(jù)就有底了。下面這套模擬數(shù)據(jù)包含三條真值軌跡、四段跟蹤軌跡和若干虛假框特意安排了一段漏跟、一次ID切換、幾個(gè)FP。所有指標(biāo)都會(huì)有非零輸出方便核對(duì)。%% 模擬數(shù)據(jù)生成 rng(0); % 固定隨機(jī)種子保證可復(fù)現(xiàn) F 100; % 總幀數(shù) gtList []; trList []; % 三條真值軌跡持續(xù)100幀移動(dòng)方式不同 for f 1:F % 目標(biāo)1向右平移 gtList [gtList; f, 1, 20 0.3*f, 40, 20, 20]; % 目標(biāo)2向下平移 gtList [gtList; f, 2, 30, 20 0.3*f, 20, 20]; % 目標(biāo)3水平方向上正弦擺動(dòng) gtList [gtList; f, 3, 80, 50 8*sin(f/6), 20, 20]; end % 跟蹤軌跡 for f 1:F % 目標(biāo)1對(duì)應(yīng)的跟蹤軌跡全程跟隨加少量高斯噪聲 trList [trList; f, 101, 20 0.3*f randn*2, 40 randn*2, 20, 20]; % 目標(biāo)2對(duì)應(yīng)的跟蹤軌跡只跟到第70幀之后完全丟失 if f 70 trList [trList; f, 102, 30 randn*2, 20 0.3*f randn*2, 20, 20]; end % 目標(biāo)3對(duì)應(yīng)的跟蹤軌跡第20到25幀漏跟第61幀開始換ID if f 60 (f 20 || f 25) trList [trList; f, 103, 80 randn*2, 50 8*sin(f/6) randn*2, 20, 20]; end if f 61 trList [trList; f, 104, 80 randn*2, 50 8*sin(f/6) randn*2, 20, 20]; end end % 額外注入5個(gè)孤立的虛假框模擬誤報(bào)FP for f [10, 30, 50, 70, 90] trList [trList; f, 999, 5 randn*2, 5 randn*2, 20, 20]; end gt gtList; tr trList; fprintf(GT總幀數(shù): %d\n, size(gt,1)); fprintf(Track總幀數(shù): %d\n, size(tr,1));數(shù)據(jù)里GT總幀數(shù)應(yīng)該是300幀Track總幀數(shù)看隨機(jī)噪聲影響不大就是1007042405257。這三個(gè)數(shù)字后面都會(huì)用到。6.2 逐幀匹配與TP/FP/FN/IDSW統(tǒng)計(jì)逐幀匹配的套路是每幀先算所有GT框和所有Track框的IoU矩陣然后用貪心策略按IoU從大到小配對(duì)直到低于閾值。這個(gè)做法不是全局最優(yōu)真正的評(píng)測(cè)工具會(huì)用什么算法這里先不展開教學(xué)演示足夠。匹配完成后規(guī)則很簡(jiǎn)單配對(duì)成功的是TPGT沒配上的是FNTrack沒配上的是FP。跟蹤模塊額外要維護(hù)一個(gè)信息每個(gè)真值ID最近一次匹配到的是哪個(gè)Track ID如果上一次匹配的和這次不一樣就計(jì)一次IDSW。%% 逐幀關(guān)聯(lián)與統(tǒng)計(jì) iouThreshold 0.3; % IoU匹配閾值 gtIds unique(gt(:,2)); trIds unique(tr(:,2)); numGt length(gtIds); numTr length(trIds); % 用Map加快ID到索引的轉(zhuǎn)換 gtMap containers.Map(gtIds, 1:numGt); trMap containers.Map(trIds, 1:numTr); TP 0; FP 0; FN 0; IDSW 0; FM 0; iouSum 0; iouCnt 0; idMatchCount zeros(numGt, numTr); % IDF1用統(tǒng)計(jì)每個(gè)gt-track組合的總匹配幀數(shù) matchCntPerGt zeros(numGt, 1); % MT/ML/PT用 gtTotalCnt zeros(numGt, 1); % 每個(gè)gt總幀數(shù) lastTrackOfGt zeros(numGt, 1); % 最近一次匹配的track id用于IDSW判斷 prevTrackOfGt zeros(numGt, 1); % 上一幀每個(gè)gt匹配的track id用于FM判斷 for f 1:F gtIdx find(gt(:,1) f); trIdx find(tr(:,1) f); % 累計(jì)每個(gè)gt的出現(xiàn)幀數(shù) for i 1:length(gtIdx) gi gtMap(gt(gtIdx(i),2)); gtTotalCnt(gi) gtTotalCnt(gi) 1; end if isempty(gtIdx) || isempty(trIdx) FN FN length(gtIdx); FP FP length(trIdx); prevTrackOfGt zeros(numGt, 1); continue; end % 計(jì)算IoU矩陣 nGt length(gtIdx); nTr length(trIdx); iouMat zeros(nGt, nTr); for i 1:nGt for j 1:nTr iouMat(i,j) computeIoU(gt(gtIdx(i),3:6), tr(trIdx(j),3:6)); end end % 貪心匹配每次取IoU最大的配對(duì) cost iouMat; pairs []; while true [maxVal, linIdx] max(cost(:)); if maxVal iouThreshold break; end [r, c] ind2sub(size(cost), linIdx); pairs [pairs; r, c]; cost(r, :) 0; cost(:, c) 0; end matchedGt false(nGt, 1); matchedTr false(nTr, 1); curTrackOfGt zeros(numGt, 1); % 當(dāng)前幀每個(gè)gt匹配到的track id for p 1:size(pairs, 1) i pairs(p,1); j pairs(p,2); gi gtMap(gt(gtIdx(i),2)); tj trMap(tr(trIdx(j),2)); trackId tr(trIdx(j),2); % ID switch同一個(gè)gt這次匹配的track和上次不同且上次非0 if lastTrackOfGt(gi) ~ 0 lastTrackOfGt(gi) ~ trackId IDSW IDSW 1; end lastTrackOfGt(gi) trackId; curTrackOfGt(gi) trackId; TP TP 1; matchCntPerGt(gi) matchCntPerGt(gi) 1; idMatchCount(gi, tj) idMatchCount(gi, tj) 1; iouSum iouSum iouMat(i,j); iouCnt iouCnt 1; matchedGt(i) true; matchedTr(j) true; end FN FN sum(~matchedGt); FP FP sum(~matchedTr); % FM統(tǒng)計(jì)當(dāng)前幀有匹配上一幀沒有匹配或匹配的track不同都算一次碎片 for gi 1:numGt if curTrackOfGt(gi) ~ 0 if prevTrackOfGt(gi) 0 f 1 FM FM 1; % 從無到有一次恢復(fù) elseif prevTrackOfGt(gi) ~ 0 prevTrackOfGt(gi) ~ curTrackOfGt(gi) FM FM 1; % ID換了也算一次碎片 end end end prevTrackOfGt curTrackOfGt; end這里有兩個(gè)小問題需要說明。第一第1幀的首次匹配我沒有算進(jìn)FM因?yàn)檐壽E剛出現(xiàn)不算“碎片化”第二ID切換同時(shí)會(huì)被FM記一次所以FM數(shù)值里包含了IDSW造成的斷裂如果你想單獨(dú)看“跟丟后恢復(fù)”造成的碎片可以把第二個(gè)分支刪掉。6.3 計(jì)算MOTA/MOTP/IDF1/MT/ML/FM并輸出匹配統(tǒng)計(jì)完成后剩下的就是套公式。%% 計(jì)算MOTA / MOTP gtTotalFrames size(gt, 1); trTotalFrames size(tr, 1); MOTA 1 - (FN FP IDSW) / gtTotalFrames; if iouCnt 0 MOTP iouSum / iouCnt; else MOTP 0; end %% 計(jì)算IDF1用貪心近似求解全局最優(yōu)ID映射 idPairs []; tmp idMatchCount; while true [maxVal, linIdx] max(tmp(:)); if maxVal 0 break; end [r, c] ind2sub(size(tmp), linIdx); idPairs [idPairs; r, c]; tmp(r, :) 0; tmp(:, c) 0; end IDTP 0; for p 1:size(idPairs, 1) IDTP IDTP idMatchCount(idPairs(p,1), idPairs(p,2)); end IDFN gtTotalFrames - IDTP; IDFP trTotalFrames - IDTP; IDF1 2 * IDTP / (2 * IDTP IDFN IDFP); %% 計(jì)算MT/ML/PT mt 0; ml 0; pt 0; for gi 1:numGt ratio matchCntPerGt(gi) / gtTotalCnt(gi); if ratio 0.8 mt mt 1; elseif ratio 0.2 ml ml 1; else pt pt 1; end end %% 輸出 fprintf(TP: %d, FN: %d, FP: %d, IDSW: %d, FM: %d\n, TP, FN, FP, IDSW, FM); fprintf(MOTA: %.3f\n, MOTA); fprintf(MOTP: %.3f\n, MOTP); fprintf(IDF1: %.3f (IDTP%d, IDFN%d, IDFP%d)\n, IDF1, IDTP, IDFN, IDFP); fprintf(MT: %d, ML: %d, PT: %d\n, mt, ml, pt);IoU計(jì)算函數(shù)單獨(dú)放一個(gè)文件里或者放在腳本末尾R2016b之后的版本可以直接寫局部函數(shù)function iou computeIoU(bb1, bb2) % bb1, bb2格式: [x, y, w, h] x1 max(bb1(1), bb2(1)); y1 max(bb1(2), bb2(2)); x2 min(bb1(1)bb1(3), bb2(1)bb2(3)); y2 min(bb1(2)bb1(4), bb2(2)bb2(4)); interW max(0, x2 - x1); interH max(0, y2 - y1); inter interW * interH; area1 bb1(3) * bb1(4); area2 bb2(3) * bb2(4); union area1 area2 - inter; if union 0 iou 0; else iou inter / union; end end如果你的MATLAB版本較老不支持腳本內(nèi)局部函數(shù)就把computeIoU保存成獨(dú)立的computeIoU.m文件放到同一目錄。6.4 運(yùn)行結(jié)果與指標(biāo)核對(duì)我這邊跑完的輸出大致是這樣GT總幀數(shù): 300 Track總幀數(shù): 257 TP: 252, FN: 48, FP: 5, IDSW: 1, FM: 2 MOTA: 0.820 MOTP: 0.652 IDF1: 0.904 (IDTP252, IDFN48, IDFP5) MT: 2, ML: 0, PT: 1用手工推測(cè)驗(yàn)證一下目標(biāo)1全跟100幀目標(biāo)2跟70幀目標(biāo)3跟82幀所以TP1007082252沒問題。GT總幀數(shù)300FN300-25248FP是5個(gè)孤立框IDSW是目標(biāo)3從track103切到track104那一次。FM2一次來自目標(biāo)3在第20到25幀的漏跟恢復(fù)一次來自第61幀的ID切換。這些數(shù)字和代碼邏輯完全對(duì)得上說明指標(biāo)計(jì)算鏈路是通的。真實(shí)數(shù)據(jù)測(cè)試時(shí)建議也用這種“先造題再做題”的方式驗(yàn)證自己的評(píng)估腳本。7. 實(shí)操中容易踩的坑與我的個(gè)人使用習(xí)慣7.1 數(shù)據(jù)格式、坐標(biāo)口徑和閾值選擇第一個(gè)大坑是框的坐標(biāo)格式。有的代碼用左上角加寬高有的用中心點(diǎn)加寬高混用一個(gè)不小心就是整套指標(biāo)全部算錯(cuò)。我習(xí)慣在評(píng)估腳本開頭強(qiáng)制統(tǒng)一成[x, y, w, h]并且所有輸入數(shù)據(jù)先過一遍格式檢查。第二個(gè)坑是坐標(biāo)是否歸一化。像素坐標(biāo)和歸一化坐標(biāo)混在一起IoU會(huì)小到離譜匹配結(jié)果自然全錯(cuò)。寫代碼時(shí)務(wù)必加斷言確認(rèn)所有輸入都在同一個(gè)坐標(biāo)體系下。第三個(gè)坑是IoU閾值。同樣的跟蹤結(jié)果閾值設(shè)0.3和設(shè)0.5MOTA能差出幾個(gè)百分點(diǎn)。不同論文之間對(duì)比時(shí)如果不看閾值很可能是在拿兩個(gè)標(biāo)準(zhǔn)比。這也是我建議所有指標(biāo)輸出必須附帶“匹配閾值、坐標(biāo)格式”這兩項(xiàng)配置信息。某個(gè)公開基準(zhǔn)的數(shù)據(jù)我核對(duì)時(shí)就發(fā)現(xiàn)閾值0.5時(shí)MOTA是0.71降到0.3后直接跳到0.83——你以為算法進(jìn)步了其實(shí)是標(biāo)準(zhǔn)放松了。7.2 不同場(chǎng)景下我只盯哪幾個(gè)指標(biāo)自己做實(shí)驗(yàn)和寫論文時(shí)我一般強(qiáng)制要求自己輸出一組完整指標(biāo)MOTA、IDF1、MOTP、MT/ML/PT、FM、處理速度。哪怕這一版只優(yōu)化了其中一兩個(gè)其他都得報(bào)出來防止“指標(biāo)抄襲”。如果是為了定位問題我會(huì)先看FN和FP的比例。FN遠(yuǎn)大于FP說明檢測(cè)器漏檢是主要矛盾FP遠(yuǎn)大于FN說明誤檢或匹配策略太激進(jìn)IDSW突然增多說明數(shù)據(jù)關(guān)聯(lián)有問題優(yōu)先檢查匹配邏輯。如果是做工程交付我會(huì)把這三個(gè)問題單獨(dú)問一遍這東西會(huì)漏多少個(gè)目標(biāo)會(huì)多出多少個(gè)假目標(biāo)ID會(huì)不會(huì)亂跳分別對(duì)應(yīng)FN、FP、IDSW比報(bào)一個(gè)綜合MOTA更能說服人。7.3 我的一個(gè)日常檢查習(xí)慣最后分享一個(gè)百試不爽的習(xí)慣每次寫完評(píng)估腳本先不看真實(shí)結(jié)果而是先構(gòu)造幾組“已知答案”的極端輸入。第一組把跟蹤結(jié)果直接復(fù)制真值所有指標(biāo)都應(yīng)該接近完美第二組把跟蹤ID全部隨機(jī)亂換MOTA應(yīng)該輕微下降而IDF1大幅下降第三組隨機(jī)刪掉一半跟蹤框MOTA、IDF1一起掉。只要這三組測(cè)下來符合作出的預(yù)期腳本才算初步可信。再往后跑真實(shí)數(shù)據(jù)任何異常都有方向可查。我自己被這個(gè)習(xí)慣救過不止一次。有一回拿真實(shí)數(shù)據(jù)測(cè)出來MOTA奇高、IDF1奇低所有人都以為是算法出了問題后來跑第二組對(duì)照才發(fā)現(xiàn)是評(píng)估腳本的ID映射寫反了。工具的問題比算法的問題更隱蔽造數(shù)據(jù)自檢是最省時(shí)間的排查方式。希望這套從指標(biāo)拆解到代碼實(shí)現(xiàn)再到自檢流程的完整鏈路能幫你少踩幾個(gè)同樣的坑。