作者：武笑石 軟件學院
指導老師：徐楓 軟件學院
關(guān)鍵詞：三維重建、實時渲染、深度估計
1.摘要
每當節(jié)假日來臨，清華校內(nèi)總會面臨巨大的游客接待壓力。客流不僅影響了師生的正常教學、而且校園路面上到處散落的煙頭、廣告單、塑料瓶等垃圾都為學校的環(huán)衛(wèi)工作帶來了巨大的壓力。
本作品旨在對清華園進行完整的重建，這樣游客便可足不出戶，通過VR眼鏡在家中游覽清華園，這將為廣大游客提供另一種參觀渠道，從而從根本上緩解清華的游客接待壓力。
2.背景介紹
2.1重建
重建是指通過一定的圖片或視頻輸入經(jīng)過一系列運算得到輸入所表征的三維空間的一種易于展示的表達。重建是一項極為復雜的工作，首先，與計算機其他領(lǐng)域不同，視覺效果是檢驗一項技術(shù)成熟與否重要指標，因此人類視覺的敏感性為重建技術(shù)帶來了較高的門檻。其次，受限于相機采集能力，例如色彩畸變、鏡頭畸變，重建算法往往被迫需要處理輸入圖像中并不符合幾何關(guān)系的情況，以及一些并不總是成立的先驗假設(shè)，如何對這些異常進行處理往往會極大地影響算法的可行性以及魯棒性。
2.2渲染
渲染是指給定一個三維模型、特定的觀察角度以及光照信息，計算得到該視角下三維模型的二維圖像。渲染的效果直接影響了用戶的視覺體驗。評價渲染算法有許多衡量指標，其中實時性是重要的指標之一。本作品旨在實現(xiàn)實時交互式渲染。
3.實現(xiàn)方法
在重建階段，該作品參考了Eric Penner等人的Soft 3D reconstruction for view synthesis，借鑒了其Consensus系統(tǒng)，確保了重建的效果。在此基礎(chǔ)上，該作品創(chuàng)新性地提出了一種基于傅里葉變換的重復性結(jié)構(gòu)探測方法，提高了重建的精確度。
該作品的渲染系統(tǒng)以OpenGL為基礎(chǔ)，支持PC端以及VR眼鏡兩種觀察方式，實現(xiàn)了多角度、全方位的交互式觀察。
3.1重建
該系統(tǒng)首先以多張輸入圖片為輸入估計出各種圖片的深度圖，然后根據(jù)多張深度圖之間的印證關(guān)系生成每個圖片各處在各個深度下的置信度，作為重建結(jié)果。深度圖的計算采用了較為傳統(tǒng)的方式，首先指定一個視角下的圖片，預設(shè)一些列深度值，然后在不同深度下根據(jù)透視變換將附近視角的圖片投影到這個視角下，根據(jù)不同深度下的匹配情況計算出該視角下的深度圖。根據(jù)這種方法可以得到每一個視角的深度圖。
圖 1 視覺深度圖
3.2重復區(qū)域
值得一提的是，在重建的過程中，該作品創(chuàng)新型地利用傅里葉變換探測出原圖中的重復區(qū)域，從而減少了重復性結(jié)構(gòu)對深度圖估測的影響。
讀罷上述重建方法的介紹，讀者可能會很自然地想到，基于顏色匹配的方法在圖像中的無紋理區(qū)域、或重復紋理區(qū)域會失效，可能會對深度估計造成不良影響。例如，在具有重復性結(jié)構(gòu)的圖片中，錯誤的深度可能會導致更高的匹配度，導致深度計算錯誤。本作品創(chuàng)新型地通過頻域分析的方法檢測出圖片中存在重復性結(jié)構(gòu)的區(qū)域，從而減小其影響。
圖 2 未應(yīng)用周期性檢測
圖 3 應(yīng)用周期性檢測
3.3渲染
本作品中渲染階段由OpenGL的內(nèi)核來完成，主要工作在于實現(xiàn)以及向VR平臺的移植。具體效果請參考附件。
圖 4 渲染效果圖
