題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于交互式自由視點(diǎn)的網(wǎng)絡(luò)視頻直播/點(diǎn)播系統(tǒng)
- 來(lái)源：
- 第十二屆“挑戰(zhàn)杯”省賽作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作A類
- 簡(jiǎn)介：
- 本項(xiàng)目提出一種基于交互式自由視點(diǎn)技術(shù)的網(wǎng)絡(luò)視頻直播點(diǎn)播系統(tǒng)，設(shè)計(jì)并完成從前端多像機(jī)視頻拍攝到終端交互式播放的一整套交互式網(wǎng)絡(luò)視頻直播和點(diǎn)播系統(tǒng)，在本系統(tǒng)中用戶可完全自主地選擇觀看視點(diǎn)，且采用虛擬視點(diǎn)生成技術(shù)實(shí)現(xiàn)鏡頭切換過(guò)程中視頻畫面的平滑且平穩(wěn)地過(guò)渡。
- 詳細(xì)介紹：
- 針對(duì)當(dāng)前視頻和影視系統(tǒng)中用戶只能被動(dòng)地接受拍攝者或?qū)РT的視角選擇或鏡頭切換，以及視角切換時(shí)視點(diǎn)位置和視頻畫面的大范圍空間跳躍導(dǎo)致用戶缺乏臨場(chǎng)感等問(wèn)題，本項(xiàng)目提出一種基于交互式自由視點(diǎn)技術(shù)的網(wǎng)絡(luò)視頻直播點(diǎn)播系統(tǒng)，設(shè)計(jì)并完成從前端多像機(jī)視頻拍攝到終端交互式播放的一整套交互式網(wǎng)絡(luò)視頻直播和點(diǎn)播系統(tǒng)，在本系統(tǒng)中用戶可完全自主地選擇觀看視點(diǎn)，且采用虛擬視點(diǎn)生成技術(shù)實(shí)現(xiàn)鏡頭切換過(guò)程中視頻畫面的平滑且平穩(wěn)地過(guò)渡。 與現(xiàn)有視頻和影視系統(tǒng)相比，本系統(tǒng)的主要特色和創(chuàng)新在于： 1、用戶對(duì)觀看視角和內(nèi)容的選擇具有完全自主性和獨(dú)立性。不同用戶可獨(dú)立選擇不同的觀看視角同時(shí)觀看同一個(gè)視頻直播內(nèi)容。并且本系統(tǒng)針對(duì)不同的顯示終端設(shè)計(jì)了三種實(shí)現(xiàn)用戶視角變換的交互模式：基于Kinect體感控制器或鍵盤鼠標(biāo)的互動(dòng)播放；基于特定目標(biāo)跟蹤的半自主式互動(dòng)播放；以及基于場(chǎng)景分析的全自主式互動(dòng)播放。 2、用戶具有更強(qiáng)的現(xiàn)場(chǎng)感和臨場(chǎng)感。用戶觀看的視角和視點(diǎn)不受實(shí)際像機(jī)個(gè)數(shù)、位置以及實(shí)際像機(jī)視角的限制，系統(tǒng)通過(guò)虛擬視點(diǎn)生成技術(shù)實(shí)現(xiàn)了視點(diǎn)畫面平滑且平穩(wěn)地變換，增強(qiáng)用戶觀看的現(xiàn)場(chǎng)感和臨場(chǎng)感，尤其是在體育比賽、文藝娛樂(lè)節(jié)目等現(xiàn)場(chǎng)直播中更為突出。 3、具有更廣的覆蓋率和更好的可控性。充分利用互聯(lián)網(wǎng)優(yōu)勢(shì)，具體表現(xiàn)為：a）視頻直播和點(diǎn)播的覆蓋范圍不受地域限制。b）網(wǎng)絡(luò)傳輸中采用了H.264 + RTSP的實(shí)時(shí)流媒體技術(shù)，并可根據(jù)用戶網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)質(zhì)量選擇不同的視頻編碼質(zhì)量。c）用戶可自由選擇觀看現(xiàn)場(chǎng)直播或錄像節(jié)目點(diǎn)播。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 作品設(shè)計(jì)和發(fā)明的基本思路： 整個(gè)系統(tǒng)總體架構(gòu)采用C/S模式。服務(wù)器端實(shí)現(xiàn)多路像機(jī)的實(shí)時(shí)視頻數(shù)據(jù)采集，并根據(jù)已離線標(biāo)定得到的像機(jī)外部參數(shù)，經(jīng)實(shí)時(shí)圖像處理算法拼接成全景視頻。然后全景視頻數(shù)據(jù)經(jīng)壓縮編碼，傳輸?shù)搅髅襟w服務(wù)器。當(dāng)有客戶端發(fā)送流媒體播放請(qǐng)求時(shí)，流媒體服務(wù)器采用RTST實(shí)時(shí)流媒體傳輸協(xié)議將視頻碼流經(jīng)網(wǎng)絡(luò)發(fā)送到客戶端?？蛻舳私邮盏揭曨l碼流后，解碼恢復(fù)出全景視頻，并根據(jù)用戶設(shè)置的不同智能導(dǎo)播模式，在全景視頻上進(jìn)行視點(diǎn)定位。最后通過(guò)自由視點(diǎn)生成獲得視頻畫面并在用戶的視頻終端上播放。由于每個(gè)客戶端都是一個(gè)獨(dú)立的視頻終端，因此不同用戶可獨(dú)立選擇不同的導(dǎo)播模式，從不同視點(diǎn)觀看同一個(gè)視頻直播或點(diǎn)播節(jié)目。 作品設(shè)計(jì)和發(fā)明的關(guān)鍵技術(shù)： 交互式視點(diǎn)定位技術(shù)、自由視點(diǎn)生成技術(shù)和網(wǎng)絡(luò)流媒體傳輸技術(shù)。 作品設(shè)計(jì)和發(fā)明的主要技術(shù)指標(biāo)： 1）單路視頻分辨率為1024×768像素,幀率為30幀/秒。 2）合成后全景視頻的最大分辨率為3500×1750像素。根據(jù)實(shí)際需求可選分辨率有1024×512像素和2048×1024像素。生成的全景視頻幀率大于25幀/秒。 3）在全景視頻的最大分辨率下，H.264編碼速度大于20幀/秒。在1024×512像素和2048×1024像素低分辨率下，H.264編碼速度大于25幀/秒。
科學(xué)性、先進(jìn)性
- 作品關(guān)鍵技術(shù)為國(guó)際相關(guān)領(lǐng)域的前沿技術(shù) 整個(gè)系統(tǒng)融合了當(dāng)前國(guó)際上在計(jì)算機(jī)視覺(jué)、圖像視頻、網(wǎng)絡(luò)流媒體傳輸領(lǐng)域的前沿技術(shù)。交互式、自由視點(diǎn)和網(wǎng)絡(luò)是本系統(tǒng)的主要特色，目前尚未見(jiàn)到相關(guān)成熟系統(tǒng)提出。整個(gè)系統(tǒng)從立項(xiàng)到研發(fā)過(guò)程，都受到了美國(guó)斯坦福研究院譚義博士、土耳其比爾肯特大學(xué)李建軍博士等國(guó)內(nèi)外多家研究機(jī)構(gòu)和大學(xué)中相關(guān)領(lǐng)域?qū)＜业拇罅χС趾蛶椭?。因而在科技含量上具有?guó)際先進(jìn)水平。 作品符合產(chǎn)業(yè)發(fā)展趨勢(shì)和產(chǎn)業(yè)前景 從產(chǎn)業(yè)發(fā)展趨勢(shì)和產(chǎn)業(yè)化前景來(lái)看，交互式視頻已逐漸成為全球新一代多媒體數(shù)字影視和數(shù)字娛樂(lè)技術(shù)的主流。當(dāng)前電視和影視產(chǎn)業(yè)的發(fā)展正面臨著新形勢(shì)和新挑戰(zhàn)，用戶被動(dòng)式的觀看體驗(yàn)已無(wú)法滿足目前人們對(duì)于觀看過(guò)程的自主性、以及對(duì)觀看時(shí)的現(xiàn)場(chǎng)感和臨場(chǎng)感要求。本系統(tǒng)為此提出的融合交互式、自由視點(diǎn)和網(wǎng)絡(luò)的新方案和新設(shè)想，符合產(chǎn)業(yè)的發(fā)展趨勢(shì)，具有廣闊的產(chǎn)業(yè)前景。在系統(tǒng)測(cè)試和小試階段，亦受到杭州立體世界攝影器材有限責(zé)任公司的大力支持和幫助，并提供了相關(guān)的用戶使用報(bào)告。
獲獎(jiǎng)情況及鑒定結(jié)果
- 杭州電子科技大學(xué)“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競(jìng)賽二等獎(jiǎng) 浙江省第十二屆“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競(jìng)賽一等獎(jiǎng)
作品所處階段
- 小試階段（用戶試用和體驗(yàn)）
技術(shù)轉(zhuǎn)讓方式
- 專利轉(zhuǎn)讓、提供拍攝、錄制和網(wǎng)絡(luò)直播點(diǎn)播服務(wù)以及設(shè)備和系統(tǒng)租賃服務(wù)，進(jìn)一步推廣后可實(shí)現(xiàn)成套設(shè)備轉(zhuǎn)讓。
作品可展示的形式
- 實(shí)物、現(xiàn)場(chǎng)演示、錄像
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 作品使用說(shuō)明： 本系統(tǒng)中只有前端多像機(jī)采集需要Ladybug2這個(gè)專業(yè)設(shè)備。在客戶端則無(wú)需特定專業(yè)設(shè)備。整個(gè)系統(tǒng)軟件平臺(tái)包括服務(wù)器端軟件平臺(tái)和客戶端軟件平臺(tái)。 技術(shù)特點(diǎn)和優(yōu)勢(shì)： 本系統(tǒng)主要技術(shù)特點(diǎn)在于融合了交互式視點(diǎn)定位技術(shù)、自由視點(diǎn)生成技術(shù)和網(wǎng)絡(luò)流媒體傳輸技術(shù)，實(shí)現(xiàn)了交互式自由視點(diǎn)的網(wǎng)絡(luò)視頻直播/點(diǎn)播系統(tǒng)。使用技術(shù)包括數(shù)字圖像視頻處理，計(jì)算機(jī)視覺(jué)、網(wǎng)絡(luò)通信，模式識(shí)別等多個(gè)計(jì)算機(jī)學(xué)科的重要研究領(lǐng)域。 本系統(tǒng)的主要優(yōu)勢(shì)： 1、利用自由視點(diǎn)技術(shù)，使得用戶觀看的視角和視點(diǎn)不受實(shí)際像機(jī)個(gè)數(shù)、位置以及實(shí)際像機(jī)視角的限制，增強(qiáng)用戶觀看的現(xiàn)場(chǎng)感和臨場(chǎng)感。 2、通過(guò)交互設(shè)備。實(shí)現(xiàn)不同用戶可獨(dú)立選擇不同的觀看視角同時(shí)觀看同一個(gè)視頻直播內(nèi)容。 3、充分利用網(wǎng)絡(luò)優(yōu)勢(shì)，使得視頻直播和點(diǎn)播的覆蓋范圍不受地域限制。
同類課題研究水平概述
- 本項(xiàng)目涉及到兩個(gè)方面的技術(shù)，智能交互式網(wǎng)絡(luò)視頻領(lǐng)域和自由視點(diǎn)技術(shù)。將這兩樣技術(shù)結(jié)合的系統(tǒng)或研究較為少見(jiàn)。這也是本項(xiàng)目的創(chuàng)新點(diǎn)之一。 i.智能交互式網(wǎng)絡(luò)視頻領(lǐng)域 較為多的研究集中在遠(yuǎn)程智能課堂方向。美國(guó)、英國(guó)、日本等發(fā)達(dá)國(guó)家都十分重視遠(yuǎn)程課堂教學(xué)平臺(tái)的建設(shè)，已經(jīng)建立起不同程度的平臺(tái)網(wǎng)絡(luò)。 ii.自由視點(diǎn)技術(shù)的發(fā)展： 國(guó)外研究現(xiàn)狀 國(guó)外對(duì)于自由視點(diǎn)視頻的研究從20世紀(jì)90年代己經(jīng)開(kāi)始，但真正形成氣候的是2002年MPEG(Moving Picture Expert Group)組織提出了3DAV的探索性草案，向全世界征集實(shí)現(xiàn)3DAV的方案及核心實(shí)驗(yàn)。比較著名的有日本名古屋大學(xué)的基于光線空間的自由視點(diǎn)電視(FTV，F(xiàn)ree view point Television)系統(tǒng)、斯坦福大學(xué)的Light Field系統(tǒng)、德國(guó)HHI研究所的基于模型的由視點(diǎn)視頻方案，還有微軟、卡內(nèi)基梅隆大學(xué)等也在系統(tǒng)的實(shí)現(xiàn)上進(jìn)行了廣泛的工作。更為重要的是2004年初歐洲提出了一個(gè)為期48個(gè)月3DTV的計(jì)劃。進(jìn)入2006年，MPEG組織明顯加快了3DAV的步伐，JVT(Joint Video Team)組織也將多視點(diǎn)視頻編碼(MVC，Multi-view Coding)作為其H.264的一部分。 2.國(guó)內(nèi)的研究現(xiàn)狀 國(guó)內(nèi)學(xué)術(shù)界對(duì)于自由視點(diǎn)視頻技術(shù)的研究與國(guó)際上的研究幾乎是同步的，到目前為止，已在多視點(diǎn)視頻編碼、校正及虛擬視點(diǎn)合成等方面取得了一定的研究成果。其中，寧波大學(xué)蔣剛毅教授領(lǐng)導(dǎo)的團(tuán)隊(duì)對(duì)于自由視點(diǎn)視頻的研究開(kāi)展得非常深入，一直走在國(guó)內(nèi)的前列。清華大學(xué)也較早地展開(kāi)了對(duì)于自由視點(diǎn)視頻技術(shù)研究. 自由視點(diǎn)應(yīng)用發(fā)展： 谷歌公司的一項(xiàng)特色服務(wù)——谷歌街景已經(jīng)為用戶提供可以360°自由視點(diǎn)觀看靜態(tài)場(chǎng)景的功能。 Digital Elite Inc.與匈牙利布達(dá)佩斯理工大學(xué)合作的全交互全景廣播技術(shù)(a fully interactive Panoramic Broadcasting technology)——PanoCAST，可以產(chǎn)生出360°沉浸式電影。使用該技術(shù)所導(dǎo)播的短片《THE METAMORPHOSIS》2010年12月在洛杉磯獲得“Hollywood Reel Independent Film Festival”電影節(jié)大獎(jiǎng)。
