作者：武笑石 軟件學(xué)院
指導(dǎo)老師：徐楓 軟件學(xué)院
關(guān)鍵詞：三維重建、實(shí)時(shí)渲染、深度估計(jì)
1.摘要
每當(dāng)節(jié)假日來(lái)臨，清華校內(nèi)總會(huì)面臨巨大的游客接待壓力?？土?/span>不僅影響了師生的正常教學(xué)、而且校園路面上到處散落的煙頭、廣告單、塑料瓶等垃圾都為學(xué)校的環(huán)衛(wèi)工作帶來(lái)了巨大的壓力。
本作品旨在對(duì)清華園進(jìn)行完整的重建，這樣游客便可足不出戶，通過(guò)VR眼鏡在家中游覽清華園，這將為廣大游客提供另一種參觀渠道，從而從根本上緩解清華的游客接待壓力。
2.背景介紹
2.1重建
重建是指通過(guò)一定的圖片或視頻輸入經(jīng)過(guò)一系列運(yùn)算得到輸入所表征的三維空間的一種易于展示的表達(dá)。重建是一項(xiàng)極為復(fù)雜的工作，首先，與計(jì)算機(jī)其他領(lǐng)域不同，視覺(jué)效果是檢驗(yàn)一項(xiàng)技術(shù)成熟與否重要指標(biāo)，因此人類視覺(jué)的敏感性為重建技術(shù)帶來(lái)了較高的門檻。其次，受限于相機(jī)采集能力，例如色彩畸變、鏡頭畸變，重建算法往往被迫需要處理輸入圖像中并不符合幾何關(guān)系的情況，以及一些并不總是成立的先驗(yàn)假設(shè)，如何對(duì)這些異常進(jìn)行處理往往會(huì)極大地影響算法的可行性以及魯棒性。
2.2渲染
渲染是指給定一個(gè)三維模型、特定的觀察角度以及光照信息，計(jì)算得到該視角下三維模型的二維圖像。渲染的效果直接影響了用戶的視覺(jué)體驗(yàn)。評(píng)價(jià)渲染算法有許多衡量指標(biāo)，其中實(shí)時(shí)性是重要的指標(biāo)之一。本作品旨在實(shí)現(xiàn)實(shí)時(shí)交互式渲染。
3.實(shí)現(xiàn)方法
在重建階段，該作品參考了Eric Penner等人的Soft 3D reconstruction for view synthesis，借鑒了其Consensus系統(tǒng)，確保了重建的效果。在此基礎(chǔ)上，該作品創(chuàng)新性地提出了一種基于傅里葉變換的重復(fù)性結(jié)構(gòu)探測(cè)方法，提高了重建的精確度。
該作品的渲染系統(tǒng)以OpenGL為基礎(chǔ)，支持PC端以及VR眼鏡兩種觀察方式，實(shí)現(xiàn)了多角度、全方位的交互式觀察。
3.1重建
該系統(tǒng)首先以多張輸入圖片為輸入估計(jì)出各種圖片的深度圖，然后根據(jù)多張深度圖之間的印證關(guān)系生成每個(gè)圖片各處在各個(gè)深度下的置信度，作為重建結(jié)果。深度圖的計(jì)算采用了較為傳統(tǒng)的方式，首先指定一個(gè)視角下的圖片，預(yù)設(shè)一些列深度值，然后在不同深度下根據(jù)透視變換將附近視角的圖片投影到這個(gè)視角下，根據(jù)不同深度下的匹配情況計(jì)算出該視角下的深度圖。根據(jù)這種方法可以得到每一個(gè)視角的深度圖。
圖 1 視覺(jué)深度圖
3.2重復(fù)區(qū)域
值得一提的是，在重建的過(guò)程中，該作品創(chuàng)新型地利用傅里葉變換探測(cè)出原圖中的重復(fù)區(qū)域，從而減少了重復(fù)性結(jié)構(gòu)對(duì)深度圖估測(cè)的影響。
讀罷上述重建方法的介紹，讀者可能會(huì)很自然地想到，基于顏色匹配的方法在圖像中的無(wú)紋理區(qū)域、或重復(fù)紋理區(qū)域會(huì)失效，可能會(huì)對(duì)深度估計(jì)造成不良影響。例如，在具有重復(fù)性結(jié)構(gòu)的圖片中，錯(cuò)誤的深度可能會(huì)導(dǎo)致更高的匹配度，導(dǎo)致深度計(jì)算錯(cuò)誤。本作品創(chuàng)新型地通過(guò)頻域分析的方法檢測(cè)出圖片中存在重復(fù)性結(jié)構(gòu)的區(qū)域，從而減小其影響。
圖 2 未應(yīng)用周期性檢測(cè)
圖 3 應(yīng)用周期性檢測(cè)
3.3渲染
本作品中渲染階段由OpenGL的內(nèi)核來(lái)完成，主要工作在于實(shí)現(xiàn)以及向VR平臺(tái)的移植。具體效果請(qǐng)參考附件。
圖 4 渲染效果圖
