基本信息
- 項目名稱：
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作A類
- 簡介：
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)基于首創(chuàng)的“分割再拼接”思想。系統(tǒng)提取立體模型的四角度圖像數(shù)據(jù)，經(jīng)過二次光路成像，在金字塔狀的成像空間中實現(xiàn)圖像的拼接，還原出完整的立體圖像。它具有突破性大尺寸圖像顯示、立體圖像懸浮于空氣中和360度環(huán)視立體圖像的特點。裸眼立體影像以其真實生動的表現(xiàn)力，優(yōu)美高雅的環(huán)境感染力，強烈震撼的視覺沖擊力深受觀眾的喜愛，可廣泛應(yīng)用于廣告宣傳以及醫(yī)學(xué)、軍事等虛擬現(xiàn)實領(lǐng)域。
- 詳細介紹：
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)是基于“分割再拼接”顯示思想的新型立體顯示系統(tǒng)。系統(tǒng)將立體模型分割為四角度的獨立部分，利用獨立研發(fā)的立體播放軟件，準確提模型四角度的圖像數(shù)據(jù)，并通過播放主機控制四角度圖像在特殊成像空間中同步投影顯示。在成像空間中，立體圖像懸浮于空中，還原出完整的空間立體圖像。這種立體圖像懸浮顯示在空中，可以360度自由裸眼觀看。 系統(tǒng)整體主要由數(shù)據(jù)采集與處理模塊、數(shù)據(jù)顯示模塊以及交互模塊構(gòu)成。下面將進行詳細闡述： 1.數(shù)據(jù)采集與處理模塊的構(gòu)建 為采集到三維模型的完整信息，我們提出四角度圖像采集處理技術(shù)。該技術(shù)將三維物體的完整信息分割為四個角度部分（如前、后、左、右四部分），對四角度部分的信息進行采集和優(yōu)化處理，從而獲取到三維物體的完整信息。該技術(shù)根據(jù)采集對象的不同，可分為三維動畫模型的數(shù)據(jù)采集與實時拍攝數(shù)據(jù)的采集。下面將分別介紹： 1.1三維動畫模型的數(shù)據(jù)采集和處理 該部分實現(xiàn)對三維軟件中的虛擬模型三維信息的采集。為了使系統(tǒng)能夠快速、準確獲取到虛擬模型同一時刻的四角度數(shù)據(jù)，我們獨立研發(fā)了同步采集技術(shù)。同時我們獨立研發(fā)出多投影儀同步技術(shù)，實現(xiàn)模型四角度圖像的嚴格同步輸出。下面將詳細介紹： （1）同步采集技術(shù) 首先在三維軟件中建立所需的三維動畫模型，將模型完整的三維信息分割為四個角度部分。接著利用三維軟件分別提取模型四個部分的圖像信息。該采集技術(shù)的關(guān)鍵在于，如何使系統(tǒng)能夠方便、準確地從采集的數(shù)據(jù)中獲取模型同一時刻的四個角度的圖像信息。 我們獨立研發(fā)了系統(tǒng)專用渲染器。此渲染器支持對模型四角度信息同步采集，并能夠?qū)⑼粫r刻模型的四角度信息組合到一幀圖片中，然后對每一幀圖片進行優(yōu)化處理，再將所有幀整合到一個視頻文件中，對此視頻文件進行壓縮處理，以滿足所需顯示效果，同時減少數(shù)據(jù)所占空間。 （2）多投影儀同步技術(shù) 為了實現(xiàn)從動畫模型的圖形數(shù)據(jù)中準確提取四角度數(shù)據(jù)，有序地將數(shù)據(jù)傳送至顯示系統(tǒng)，并控制四角度圖像同步顯示，本系統(tǒng)創(chuàng)新性地提出單控制機對多投影儀同步控制技術(shù)。我們獨立研發(fā)了環(huán)視系統(tǒng)立體播放及控制軟件，實現(xiàn)對四角度數(shù)據(jù)的提取、優(yōu)化以及它們的同步輸出。該軟件利用一個雙頭輸出顯卡識別四臺投影儀，并通過對顯卡中底層圖像數(shù)據(jù)的直接處理，準確將各角度圖像數(shù)據(jù)輸送給相應(yīng)投影儀，保證四角度圖像顯示的同步性。 該軟件不僅實現(xiàn)四臺投影機的嚴格同步輸出，而且降低了系統(tǒng)實現(xiàn)的復(fù)雜性，大大減少了系統(tǒng)成本。 1.2實時數(shù)據(jù)采集和處理 實時數(shù)據(jù)采集實現(xiàn)對現(xiàn)實模型三維數(shù)據(jù)的采集。系統(tǒng)利用多進程同步采集技術(shù)實現(xiàn)對模型360度三維信息的同步采集，并利用多屏顯示技術(shù)實現(xiàn)模型360度圖像信息的同步輸出。下面將分別介紹： （1）多進程同步采集 在系統(tǒng)中通過四個進程分別對模型四角度進行采集，為實現(xiàn)四路圖像的同步，我們采用了模擬信號量對比法。在多個進程間進行同步通信對比，從而保證四角度圖像采集的同步性。系統(tǒng)利用高清攝像頭進行數(shù)據(jù)采集。由于數(shù)據(jù)量過大，傳統(tǒng)方法會使顯示的圖像出現(xiàn)撕裂和遲滯的現(xiàn)象，這樣會降低顯示效果。為了能清晰、流暢地顯示數(shù)據(jù)量較大的四角度圖像，我們團隊采用多種方法進行優(yōu)化處理。具體如下： a. 高清數(shù)據(jù)的壓縮。本系統(tǒng)利用差值法對高清數(shù)據(jù)進行優(yōu)化，壓縮了數(shù)據(jù)量，在保證顯示圖像清晰度的同時減少了系統(tǒng)處理的數(shù)據(jù)量。 b. 多級緩沖處理。一級緩沖保證從攝像頭采集數(shù)據(jù)的完整性。二級和三級緩沖的使用可以克服撕裂以及閃爍等圖像顯示問題。 （2）多屏顯示技術(shù) 系統(tǒng)利用單控制主機控制四臺投影儀同步輸出，為了使四角度數(shù)據(jù)能夠?qū)崟r、正確地顯示在對應(yīng)的顯示器上，本系統(tǒng)創(chuàng)新性地提出一套圖像顯示優(yōu)化算法，并為每個顯示設(shè)備創(chuàng)建相應(yīng)的專用繪圖接口。通過像素映射的方法，該接口使得GDI能夠準確、方便地在每個顯示器對應(yīng)的位置上繪制圖像。 2.數(shù)據(jù)顯示模塊的構(gòu)建 數(shù)據(jù)顯示模塊主要實現(xiàn)四角度圖像的拼接。在采集四角度數(shù)據(jù)時會丟失立體模型的部分物理深度信息，這會降低圖像顯示時的立體感。為了增強圖像的立體感，我們創(chuàng)新性地提出環(huán)視系統(tǒng)立體感增強技術(shù)。然而傳統(tǒng)顯示方式無法實現(xiàn)這一技術(shù)構(gòu)想，所以該模塊的構(gòu)建需要對成像光路進行創(chuàng)新性設(shè)計，同時基于該成像光路的設(shè)計，我們獨自研發(fā)了多角度環(huán)視拼接技術(shù)。 （1）大場景成像光路設(shè)計 基于光學(xué)反射原理進行立體成像的思想，我們專門為系統(tǒng)設(shè)計了二次成像光路。首先，投影儀在幕布上投影形成實像；然后，實像經(jīng)過幕布下方的特殊玻璃反射，從而使觀眾能夠觀察到懸浮于玻璃后方的虛像。 經(jīng)理論和實踐證明，成像玻璃對投影儀投出的光線進行直接反射的成像效果較差。原因如下：第一點，直接投影會產(chǎn)生鏡面反射，這樣會導(dǎo)致只有玻璃前方一定角度范圍內(nèi)才能看到圖像，減小了系統(tǒng)的觀看角度。第二點，投影儀光線亮度較高，直接反射會導(dǎo)致反射光線過強，使觀眾無法正常觀看。第三點，直接投影會使觀眾看到投影儀的虛像，降低了系統(tǒng)的觀賞性。基于以上原因，我們設(shè)計出二次成像光路。投影儀在幕布上投出實像，幕布具有較好的漫反射性，從而極大增加了觀眾的有效觀看范圍。 系統(tǒng)采用短焦投影儀，實現(xiàn)在較短的距離內(nèi)投影出較大尺寸的圖像。利用多角度環(huán)視拼接技術(shù)對四角度大尺寸圖像進行拼接，實現(xiàn)1m*1m*1m的立體圖像的顯示。該立體圖像能夠360度環(huán)視，模擬真三維圖像的視覺效果，而且本系統(tǒng)所顯示的立體圖像的尺寸數(shù)十倍于目前真三維技術(shù)所顯示的圖像的尺寸，從而實現(xiàn)了大尺寸立體圖像顯示。 （2）環(huán)視系統(tǒng)立體感增強技術(shù) 人眼所覺察到的圖像的深度感是由生理學(xué)因素和心理學(xué)上的暗示得到的。生理學(xué)因素主要是通過雙目視差等因素在人腦中產(chǎn)生物理深度，它來源于物體真實的物理深度；心理學(xué)因素則利用了視網(wǎng)膜像的大小、線性透視、面積透視、重疊等四大重要暗示因素，它主要來源于人的視覺錯覺。 為了彌補因物理深度信息的丟失而造成的顯示效果的降低，本系統(tǒng)創(chuàng)新性地提出了立體感重現(xiàn)技術(shù)。該技術(shù)的核心思想是：增加心理學(xué)因素在立體感形成中所占的比重，進而減弱因物理深度信息的部分丟失而造成的影響。 因為采集的四角度圖像自身具有部分深度信息，所以在幕布上形成的實像本身也具有一定的立體感（即具有深度信息）?；诹Ⅲw感增強技術(shù)，本系統(tǒng)創(chuàng)新性地提出膜處理法，改善反射玻璃的光學(xué)性能，增強人眼在觀察圖像時所產(chǎn)生的心理學(xué)因素的作用。對不同玻璃匹配不同性能的反射薄膜，調(diào)整玻璃的反射率與透射率，這樣，在觀眾觀看虛像的同時，也能夠看到玻璃后方的真實環(huán)境，虛擬與現(xiàn)實在人眼中相互結(jié)合，產(chǎn)生了以上的心理學(xué)的暗示。 經(jīng)過不斷實驗得出，經(jīng)處理后的玻璃的反射率與透射率相互接近時效果比較理想，即50%左右的反射率和50%左右的透射率。（對于膜的制作，由本團隊與專門的膜生產(chǎn)廠商合作完成，由我方提出具體的性能指標，廠方負責(zé)生產(chǎn)。） （3）四角度拼接 為實現(xiàn)四角度圖像的拼接，我們創(chuàng)新性設(shè)計空心金字塔做為整個系統(tǒng)的成像空間，該空間的構(gòu)建使得 360度全角度投影成為可能。 首先，環(huán)視系統(tǒng)立體播放及控制軟件控制四臺投影儀進行四角度同步投影，每臺投影儀分別在相對應(yīng)的幕布上形成實像，而且每塊幕布都與金字塔的一個面相對應(yīng)。然后，四個實像通過金子塔進行反射分別在金字塔中形成懸浮的虛像。觀眾圍繞金子塔 360度觀看，便可觀看到立體模型的不同側(cè)面。為實現(xiàn)不同側(cè)面的自然過渡，我們對多個方面進行優(yōu)化處理。下面將分別闡述： 圖像變形問題：觀眾看到的像是由玻璃反射形成的虛像，所以由光學(xué)反射原理可知，必須嚴格控制玻璃與幕布的角度關(guān)系，才能保證人眼中的虛像不發(fā)生變形。經(jīng)過一系列光路計算和反復(fù)的實驗得出：當(dāng)成像玻璃與投影幕布呈45度角時，才能保證虛像在人眼中不發(fā)生變形。 圖像尺寸一致性問題：為實現(xiàn)四角度虛像尺寸的一致性，據(jù)近大遠小的成像原理，首先系統(tǒng)應(yīng)保證四角度實像大小的一致性。其次系統(tǒng)應(yīng)保證幕布與相應(yīng)金字塔表面距離的一致性。這需要對整個硬件結(jié)構(gòu)進行精心的設(shè)計。同時由于幕布尺寸較大，很容易發(fā)生變形，為此我們專門為系統(tǒng)設(shè)計了環(huán)形幕布結(jié)構(gòu)，該結(jié)構(gòu)能夠有效均勻載荷，降低幕布的變形程度。 3.交互模塊的構(gòu)建 大場景360度環(huán)視動態(tài)顯示系統(tǒng)為觀眾生成逼真的虛擬環(huán)境，實現(xiàn)視、聽、觸覺一體化的虛擬體驗，人們將身在“太虛幻境”中，親自感受物質(zhì)生活外的虛擬時空。 配備了觸摸交互機的大場景360度環(huán)視動態(tài)顯示系統(tǒng)使觀眾能夠與虛擬景物實時交互，優(yōu)美的交互界面，流暢的動畫交互以及快速的功能切換，使得觀眾深深沉浸在系統(tǒng)創(chuàng)造的虛擬現(xiàn)實之中。在系統(tǒng)中，立體動畫播放功能和直播功能都需要處理較大數(shù)據(jù)量，所以實現(xiàn)這兩個功能的啟動和關(guān)閉都會出現(xiàn)一定的時間延遲和畫面撕裂的現(xiàn)象。 為了能夠?qū)崿F(xiàn)立體動畫播放功能和直播功能的自然過渡。我們專門為系統(tǒng)開發(fā)了環(huán)視系統(tǒng)切換軟件。該軟件通過實時偵測觸摸交互機所發(fā)送的通訊信息，利用獨立研發(fā)的切換算法，對通信信息進行預(yù)處理，同時執(zhí)行相應(yīng)的功能過渡操作。確保在前一個功能完全關(guān)閉前，下一個功能的全部數(shù)據(jù)已經(jīng)準備完畢。為了能讓兩個程序在切換中過渡自然，實驗發(fā)現(xiàn)發(fā)現(xiàn)，從播放動畫程序切換到直播程序過渡流暢，而由于播放動畫程序打開后，需要加載多角度數(shù)據(jù)進入內(nèi)存，同時又需和客戶端通信。經(jīng)過多次試驗得出，從啟動動畫播放功能到全屏顯示的過程大約需要2.2s左右的預(yù)處理時間。
作品圖片
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標
- 作品制作目的： 立體顯示具有廣闊的應(yīng)用前景，目前傳統(tǒng)的二維平面顯示在某些方面已經(jīng)不能滿足人類的需求，人們希望顯示器能真實地還原顯示出空間的三維信息。大場景360度環(huán)視動態(tài)顯示系統(tǒng)能夠顯示懸浮于空中的大尺寸立體圖像，給予觀眾直觀的深度感和空間感。 基本思路： 系統(tǒng)首先提取立體模型的四角度信息。然后利用播放主機精確控制四臺投影機同步投影立體模型的四角度畫面，在特殊成像空間中形成懸浮于空中的各角度虛像，四角度圖像在成像空間中重新拼接成完整的空間立體圖像。系統(tǒng)顯示的三維立體圖像懸浮顯示在空中，可以裸眼360度自由觀看，而且從不同角度觀看是不同的圖像，基本實現(xiàn)真三維的視覺效果。 創(chuàng)新點： 1. 首創(chuàng)“分割再拼接”全新的立體顯示技術(shù)。 2. 1m×1m×1m大尺寸立體圖像顯示。 3. 立體圖像懸浮于空氣中，海市蜃樓般的幻境。 4. 現(xiàn)實物體的實時再現(xiàn)。 技術(shù)關(guān)鍵： 1. 三維數(shù)據(jù)同步采集和處理技術(shù)。 2. 單控制機同步顯示技術(shù)。 3. 多角度圖像環(huán)視拼接技術(shù)。 4. 環(huán)視系統(tǒng)立體感增強技術(shù)。 主要指標： 1. 觀看角度：360度環(huán)視。 2. 立體圖像空間大小：1m×1m×1m（長×寬×高）。 3. 四角度圖像采集時，各角度采集的圖像分別率為800×600。（經(jīng)試驗當(dāng)分辨率設(shè)為800×600時，系統(tǒng)中圖像效果比較好）
科學(xué)性、先進性
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)基于首創(chuàng)的“分割再拼接”思想。系統(tǒng)提取立體模型的360度圖像數(shù)據(jù)，經(jīng)過二次光路成像，在金字塔狀的成像空間中實現(xiàn)圖像的拼接，還原出完整的立體圖像。它具有突破性大尺寸圖像顯示、立體圖像懸浮于空中和360度環(huán)視立體圖像的特點。 它與目前三維顯示技術(shù)的原理有著本質(zhì)區(qū)別。它不同于基于雙目視差的三維顯示技術(shù)，大場景360度環(huán)視動態(tài)顯示系統(tǒng)能夠?qū)崿F(xiàn)裸眼觀看立體圖像效果，而且沒有角度限制。它也不同于真三維顯示技術(shù)，大場景360度環(huán)視動態(tài)顯示系采用全新的三維顯示理論，不包含運動部件，大大降低了系統(tǒng)實現(xiàn)的復(fù)雜性。 實質(zhì)性進步： 1. 提出全新的三維顯示技術(shù)：分割再拼接技術(shù)。 2. 1m×1m×1m大尺寸立體圖像顯示。 3. 實現(xiàn)對現(xiàn)實物體三維數(shù)據(jù)的實時采集和顯示。 大場景360度環(huán)視動態(tài)顯示系統(tǒng)具有成本低、功耗小、搭建方便和效果新穎等特點，在產(chǎn)品展示、廣告宣傳和虛擬現(xiàn)實模擬領(lǐng)域都具有廣闊的發(fā)展前景。
獲獎情況及鑒定結(jié)果
- 獲得校大學(xué)生科技節(jié)暨第十二屆“挑戰(zhàn)杯”全國大學(xué)生課外學(xué)術(shù)科技作品競賽校內(nèi)選拔賽特等獎。
作品所處階段
- 該作品實物制作已經(jīng)完成，正處于中試階段。
技術(shù)轉(zhuǎn)讓方式
- 同意技術(shù)轉(zhuǎn)讓或合作開發(fā)。
作品可展示的形式
- 該作品可現(xiàn)場進行現(xiàn)場實物演示。
使用說明,技術(shù)特點和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預(yù)測
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)具有技術(shù)領(lǐng)先、結(jié)構(gòu)設(shè)計精度高、擴展性好、逼真度高等技術(shù)特色。觀眾可以在360度范圍內(nèi)，根據(jù)自己的需要，任意選取不同角度觀看。并可實現(xiàn)人機交互。 市場前景分析 該產(chǎn)品可廣泛運用于各種虛擬場景的動態(tài)展示，市場前景無限，目前正在市場推廣中。 a)醫(yī)學(xué)領(lǐng)域 目前的醫(yī)學(xué)顯示儀器主要是平面顯示，醫(yī)生需要從復(fù)雜的平面投影中還原出人體的立體結(jié)構(gòu)。使用環(huán)視系統(tǒng)可以直接觀察人體三維立體結(jié)構(gòu)，給醫(yī)務(wù)工作者直觀的判斷。 b）軍事領(lǐng)域 環(huán)視系統(tǒng)通過真實的三維信息，完全模擬戰(zhàn)場環(huán)境，導(dǎo)彈運行軌跡等，給軍事人員最直觀的視覺判斷。 c）廣告、娛樂、大型單位的標志性形象廣告?zhèn)髅秸故? 環(huán)視系統(tǒng)能夠?qū)崿F(xiàn)大場景的立體展示，它比一般的平面展示更具有吸引力和震撼力。 d）博物館、規(guī)劃館展示及建筑設(shè)計領(lǐng)域的展示 可幫助產(chǎn)品的設(shè)計者或建筑設(shè)計師在360度空間全方位展示他們的設(shè)計。
同類課題研究水平概述
- 大場景360度環(huán)視動態(tài)顯示系統(tǒng)所采用的三維顯示思想是本系統(tǒng)獨創(chuàng)性的“分割再拼接”思想，國內(nèi)外尚無相同的原理性的研究和應(yīng)用。 國內(nèi)外目前的三維立體顯示技術(shù)主要是基于雙目視差原理的立體顯示技術(shù)和真三維顯示技術(shù)?；陔p目視差的立體顯示方式目前主要有： （1）需要佩戴輔助眼鏡。在這種方式下，驅(qū)動程序會交替渲染左右眼的圖像，通過輔助的眼鏡，使左眼只能看見左眼的圖像，右眼只能看見右眼的圖像，然后由大腦綜合這兩幅圖像，形成立體感。這種方式就像我們所看的3D電影，需要專門的場合，對光線等條件有限制，而且無法自由360度觀看立體圖像。 （2）立體顯示器。例如在液晶中精確配置用來遮擋光線行進的“視差屏障（Barrier）”。由于右眼和左眼觀看液晶的角度不同，利用這一角度差遮住光線就可將圖像分配給右眼或左眼。這種方式雖然實現(xiàn)了裸眼三維，但是對觀察者的位置和角度有嚴格的限制，一旦偏離了范圍將不再有立體感。 真三維顯示是一種能夠在一個真正具有寬度、高度和深度的真實三維空間內(nèi)進行圖像信息再現(xiàn)的技術(shù)。真三維顯示裝置通過適當(dāng)方式激勵位于透明顯示體積內(nèi)的物質(zhì)，利用可見輻射的產(chǎn)生、吸收或散射形成體素。但是由于真三維顯示原理復(fù)雜，到目前該技術(shù)還只能是通過視覺錯覺形成的、在性能上具有巨大缺點的、基本不具備商業(yè)價值的實驗室產(chǎn)品。 本系統(tǒng)提出分割再拼接思想，利用光學(xué)反射進行立體成像，空間立體圖像懸浮于空氣中，實現(xiàn)裸眼觀看，觀察者可360度自由觀看立體圖像的不同側(cè)面。這種顯示技術(shù)在國內(nèi)外公開發(fā)表的文獻中均未見相同報道，在世界上處于領(lǐng)先水平。
