基于跨視角信息的人體三維重建模型
作者：邢健開 計(jì)算機(jī)系
指導(dǎo)老師：張松海 計(jì)算機(jī)系
關(guān)鍵詞：姿態(tài)估計(jì) 三維重建SMPL視覺 圖形學(xué)
摘要
本項(xiàng)目旨在解決基于跨視角信息的人體三維模型重建問題，重建出的人體三維模型將進(jìn)一步應(yīng)用于幫助醫(yī)生在體檢中判斷此人是否存在亞健康或者其他疾病?；诖四繕?biāo)，本項(xiàng)目通過融合不同視角中的RGB-D多模態(tài)信息重建出高精度的人體模型?？紤]到人體形態(tài)的多樣性和關(guān)節(jié)結(jié)構(gòu)的復(fù)雜性，項(xiàng)目采用目前效果最好的人體參數(shù)化模型SMPL來(lái)減少結(jié)果空間的維度，使重建結(jié)果更加平滑合理。同時(shí)利用多個(gè)視角的深度相機(jī)獲取到的RGB圖像與深度圖來(lái)優(yōu)化SMPL模型的參數(shù)。試驗(yàn)結(jié)果表明，項(xiàng)目所采用的方法在SURREAL合成人體數(shù)據(jù)集上的測(cè)試準(zhǔn)確度已達(dá)到了同類方法最高水準(zhǔn)。
項(xiàng)目背景
我國(guó)體檢行業(yè)起步較晚，相對(duì)其他發(fā)達(dá)國(guó)家，國(guó)民健康體檢覆蓋率仍然較低。近幾年，隨著國(guó)民生活水平的提高以及消費(fèi)的升級(jí)、健康觀念愈加深入人心，國(guó)民健康體檢行業(yè)的市場(chǎng)需求旺盛，呈現(xiàn)井噴發(fā)展的趨勢(shì)。由于體檢人次的增加，醫(yī)院對(duì)體檢人員的需求也越來(lái)越大。
目前外科體檢，如體勢(shì)能評(píng)估、動(dòng)作評(píng)價(jià)等環(huán)節(jié)，尚需專家全程指導(dǎo)體檢者完成指定動(dòng)作，然后進(jìn)行判斷評(píng)估。實(shí)現(xiàn)此過程自動(dòng)化的難點(diǎn)在于通過計(jì)算機(jī)視覺的方法難以獲得精準(zhǔn)的患者體態(tài)信息，而往往正常體態(tài)和存在問題的體態(tài)差距不大，所以計(jì)算機(jī)獲取的人體精度對(duì)判斷結(jié)果有極大影響。
圖 1
算法設(shè)計(jì)
我們所采用的算法主要分為了如下幾個(gè)步驟。首先利用多視角的RGB信息進(jìn)行人體姿態(tài)估計(jì)，獲得關(guān)鍵點(diǎn)在三維空間中的位置，然后利用此信息初步估計(jì)SMPL參數(shù)，粗略確定人體姿態(tài)，最后利用點(diǎn)云數(shù)據(jù)對(duì)SMPL參數(shù)進(jìn)行優(yōu)化，使得重建結(jié)果表面與實(shí)際數(shù)據(jù)更加接近。
姿態(tài)檢測(cè)部分，模型首先從多視角RGB圖像中進(jìn)行2D姿態(tài)的檢測(cè)， 首先獲取heatmap，然后通過尋找兩個(gè)視角之間的對(duì)應(yīng)區(qū)域，獲得fused heatmap，接下來(lái)用自適應(yīng)空間細(xì)分的方式，確定三維坐標(biāo)。
接下來(lái)估計(jì)人體模型，采用迭代+反向傳播的方式，首先利用關(guān)鍵點(diǎn)優(yōu)化SMPL控制姿態(tài)的參數(shù)，再利用點(diǎn)云信息優(yōu)化SMPL控制體態(tài)的參數(shù)。
測(cè)試結(jié)果
模型在SURREAL數(shù)據(jù)集上隨機(jī)選取了1000個(gè)場(chǎng)景進(jìn)行了測(cè)試，和同類方法得到結(jié)果的對(duì)比如表1，我們的方法無(wú)論在關(guān)鍵點(diǎn)誤差還是表面頂點(diǎn)誤差都比當(dāng)前最先進(jìn)的同類模型表現(xiàn)要好
|
|
Our |
MHPE |
SMPLify-x |
PointNet |
|
關(guān)鍵點(diǎn)最大誤差(mm) |
35.83 |
47.73 |
\ |
\ |
|
關(guān)鍵點(diǎn)平均誤差(mm) |
10.22 |
34.28 |
62.6 |
\ |
|
表面頂點(diǎn)最大誤差(mm) |
34.57 |
\ |
\ |
423.1 |
|
表面頂點(diǎn)平均誤差: (mm) |
14.28 |
\ |
52.9 |
15.5 |
表 1
下面是部分結(jié)果展示
圖 2 結(jié)果展示
圖 3 結(jié)果展示
圖 4 結(jié)果展示
