基于跨視角信息的人體三維重建模型
作者：邢健開 計算機系
指導老師：張松海 計算機系
關鍵詞：姿態(tài)估計 三維重建SMPL視覺 圖形學
摘要
本項目旨在解決基于跨視角信息的人體三維模型重建問題，重建出的人體三維模型將進一步應用于幫助醫(yī)生在體檢中判斷此人是否存在亞健康或者其他疾病?；诖四繕?，本項目通過融合不同視角中的RGB-D多模態(tài)信息重建出高精度的人體模型?？紤]到人體形態(tài)的多樣性和關節(jié)結構的復雜性，項目采用目前效果最好的人體參數(shù)化模型SMPL來減少結果空間的維度，使重建結果更加平滑合理。同時利用多個視角的深度相機獲取到的RGB圖像與深度圖來優(yōu)化SMPL模型的參數(shù)。試驗結果表明，項目所采用的方法在SURREAL合成人體數(shù)據(jù)集上的測試準確度已達到了同類方法最高水準。
項目背景
我國體檢行業(yè)起步較晚，相對其他發(fā)達國家，國民健康體檢覆蓋率仍然較低。近幾年，隨著國民生活水平的提高以及消費的升級、健康觀念愈加深入人心，國民健康體檢行業(yè)的市場需求旺盛，呈現(xiàn)井噴發(fā)展的趨勢。由于體檢人次的增加，醫(yī)院對體檢人員的需求也越來越大。
目前外科體檢，如體勢能評估、動作評價等環(huán)節(jié)，尚需專家全程指導體檢者完成指定動作，然后進行判斷評估。實現(xiàn)此過程自動化的難點在于通過計算機視覺的方法難以獲得精準的患者體態(tài)信息，而往往正常體態(tài)和存在問題的體態(tài)差距不大，所以計算機獲取的人體精度對判斷結果有極大影響。
圖 1
算法設計
我們所采用的算法主要分為了如下幾個步驟。首先利用多視角的RGB信息進行人體姿態(tài)估計，獲得關鍵點在三維空間中的位置，然后利用此信息初步估計SMPL參數(shù)，粗略確定人體姿態(tài)，最后利用點云數(shù)據(jù)對SMPL參數(shù)進行優(yōu)化，使得重建結果表面與實際數(shù)據(jù)更加接近。
姿態(tài)檢測部分，模型首先從多視角RGB圖像中進行2D姿態(tài)的檢測， 首先獲取heatmap，然后通過尋找兩個視角之間的對應區(qū)域，獲得fused heatmap，接下來用自適應空間細分的方式，確定三維坐標。
接下來估計人體模型，采用迭代+反向傳播的方式，首先利用關鍵點優(yōu)化SMPL控制姿態(tài)的參數(shù)，再利用點云信息優(yōu)化SMPL控制體態(tài)的參數(shù)。
測試結果
模型在SURREAL數(shù)據(jù)集上隨機選取了1000個場景進行了測試，和同類方法得到結果的對比如表1，我們的方法無論在關鍵點誤差還是表面頂點誤差都比當前最先進的同類模型表現(xiàn)要好
|
|
Our |
MHPE |
SMPLify-x |
PointNet |
|
關鍵點最大誤差(mm) |
35.83 |
47.73 |
\ |
\ |
|
關鍵點平均誤差(mm) |
10.22 |
34.28 |
62.6 |
\ |
|
表面頂點最大誤差(mm) |
34.57 |
\ |
\ |
423.1 |
|
表面頂點平均誤差: (mm) |
14.28 |
\ |
52.9 |
15.5 |
表 1
下面是部分結果展示
圖 2 結果展示
圖 3 結果展示
圖 4 結果展示
