題-1_100_100.jpg)
基本信息
- 項(xiàng)目名稱：
- 基于單攝像機(jī)視線跟蹤技術(shù)的眼控人機(jī)交互系統(tǒng)
- 來(lái)源：
- 第十一屆“挑戰(zhàn)杯”國(guó)賽作品
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡(jiǎn)介：
- 視線跟蹤技術(shù)是未來(lái)智能人機(jī)接口的關(guān)鍵技術(shù)之一，在工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的應(yīng)用前景。本項(xiàng)目基于角膜反射原理，提出了一種單攝像機(jī)視線跟蹤方法，實(shí)現(xiàn)了對(duì)人眼視線方向的識(shí)別與跟蹤；提出了一種眨眼檢測(cè)算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)；搭建了基于單攝像機(jī)視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)，開發(fā)了幾款人機(jī)交互眼控游戲。
- 詳細(xì)介紹：
- 人機(jī)交互技術(shù)已成為計(jì)算機(jī)科學(xué)研究的一個(gè)越來(lái)越重要的領(lǐng)域，與之相關(guān)的技術(shù)中視線跟蹤技術(shù)倍受該研究領(lǐng)域的重視，是未來(lái)智能人機(jī)接口的關(guān)鍵技術(shù)之一。 本項(xiàng)目采用的是角膜反射原理：近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點(diǎn)（普爾欽斑點(diǎn)）作為參考點(diǎn)；當(dāng)眼球轉(zhuǎn)動(dòng)注視屏幕上不同位置時(shí)，由于眼球近似為球體，光斑不動(dòng)，瞳孔相對(duì)光斑發(fā)生偏移；利用瞳孔中心和光斑的位置關(guān)系確定視線方向。對(duì)視線跟蹤技術(shù)的光學(xué)采集系統(tǒng)進(jìn)行了研究，設(shè)計(jì)了一種實(shí)時(shí)跟蹤眼睛與調(diào)光、變焦、聚焦相結(jié)合的 CCD 攝像機(jī)自動(dòng)調(diào)節(jié)系統(tǒng)。在不同外部環(huán)境光強(qiáng)及用戶不同使用位置情況下，攝像機(jī)可由大視場(chǎng)下的頭肩圖像通過(guò)自動(dòng)調(diào)節(jié)，實(shí)時(shí)跟蹤眼睛并捕獲到小視場(chǎng)下的眼睛清晰圖像，避免了人工調(diào)節(jié)的繁瑣并提高了調(diào)節(jié)的準(zhǔn)確性。提出了一種單攝像機(jī)視線跟蹤方法，利用三個(gè)光斑和瞳孔中心的位置關(guān)系計(jì)算視線方向，校準(zhǔn)參數(shù)隨用戶頭部位置不同而自動(dòng)選擇；對(duì)眼睛圖像中瞳孔定位算法進(jìn)行了研究，提出了一種眼睛紅外圖像中瞳孔橢圓邊緣及中心的亞像素定位算法，能夠精確地確定瞳孔中心位置，提出的方法減少了系統(tǒng)在使用過(guò)程中對(duì)用戶頭部的限制，提高了系統(tǒng)的精確度、可靠性及便利性。提出了一種眨眼檢測(cè)算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，提出的算法檢測(cè)正確率高，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)。 在上述技術(shù)的基礎(chǔ)上，搭建了基于單攝像機(jī)視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)，開發(fā)了幾款人機(jī)交互眼控游戲。
作品圖片
作品專業(yè)信息
設(shè)計(jì)、發(fā)明的目的和基本思路、創(chuàng)新點(diǎn)、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 眼睛是人類從周圍世界中獲取信息的重要器官，也是反映人的心理活動(dòng)的窗口。將視線應(yīng)用于人機(jī)交互可帶來(lái)直接性、自然性和雙向性等優(yōu)點(diǎn)。眼注視是一種非常好的能使人機(jī)對(duì)話變得簡(jiǎn)便、自然的候選輸入通道，將人的眼睛作為輸入媒介，通過(guò)眼睛盯視對(duì)外部設(shè)備進(jìn)行控制可以實(shí)現(xiàn)多任務(wù)操作，在一些工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的發(fā)展前景。 系統(tǒng)采用角膜反射原理。近紅外光源發(fā)出的光在用戶眼睛角膜上形成高亮度反射點(diǎn)（普爾欽斑點(diǎn)），作為參考點(diǎn)；當(dāng)眼球轉(zhuǎn)動(dòng)注視屏幕上不同位置時(shí)，由于眼球近似為球體，光斑不動(dòng)，瞳孔相對(duì)光斑發(fā)生偏移；利用瞳孔中心和光斑的位置關(guān)系確定視線方向。 創(chuàng)新點(diǎn)： 1.提出了一種單攝像機(jī)視線跟蹤方法，利用三個(gè)光斑和瞳孔中心的位置關(guān)系計(jì)算視線方向，校準(zhǔn)參數(shù)隨用戶頭部位置不同而自動(dòng)選擇，減少了對(duì)用戶頭部的限制。 2.設(shè)計(jì)了一種實(shí)時(shí)跟蹤眼睛的CCD攝像機(jī)自動(dòng)調(diào)節(jié)系統(tǒng)，可實(shí)時(shí)跟蹤眼睛并捕獲到清晰圖像，避免了人工調(diào)節(jié)的繁瑣，提高了調(diào)節(jié)的準(zhǔn)確性。 3.設(shè)計(jì)了視線跟蹤及眼睛狀態(tài)檢測(cè)的相關(guān)算法，提高了系統(tǒng)的精確度及可靠性。 4.開發(fā)了適于視線跟蹤技術(shù)的眼控人機(jī)交互平臺(tái)。 技術(shù)關(guān)鍵：用戶頭部運(yùn)動(dòng)情況下，視線方向的檢測(cè)方法。 主要技術(shù)指標(biāo)：系統(tǒng)中，用戶坐在計(jì)算機(jī)前，頭部（面向計(jì)算機(jī)屏幕）正常情況下距離屏幕50-100 cm；水平移動(dòng)處于40cm 區(qū)域內(nèi)。眼睛轉(zhuǎn)動(dòng)范圍基本上水平、垂直方向在30度視角內(nèi)。
科學(xué)性、先進(jìn)性
- 項(xiàng)目設(shè)計(jì)了實(shí)時(shí)跟蹤眼睛的CCD攝像機(jī)自動(dòng)調(diào)節(jié)系統(tǒng)，可實(shí)時(shí)跟蹤眼睛并捕獲到清晰圖像，避免了人工調(diào)節(jié)的繁瑣，提高了調(diào)節(jié)的準(zhǔn)確性。項(xiàng)目設(shè)計(jì)了一種眼睛紅外圖像中瞳孔橢圓邊緣及中心的亞像素定位算法，提高了系統(tǒng)定位的精確度。提出了一種眨眼檢測(cè)算法和在人臉圖像序列中判別眼睛睜、閉狀態(tài)的方法，可應(yīng)用于視疲勞監(jiān)視及眼控鼠標(biāo)。項(xiàng)目提出了一種單攝像機(jī)視線跟蹤方法，配合攝像機(jī)自動(dòng)調(diào)節(jié)系統(tǒng)，建立了一種能對(duì)環(huán)境光強(qiáng)變化、用戶頭部位置變化自動(dòng)適應(yīng)的視線跟蹤方法，實(shí)現(xiàn)了頭動(dòng)情況下的視線跟蹤，減少了對(duì)用戶頭部的限制。
獲獎(jiǎng)情況及鑒定結(jié)果
- 無(wú)
作品所處階段
- 處于實(shí)驗(yàn)室階段。正在進(jìn)行基于DSP(DM642)的程序移植工作，實(shí)現(xiàn)作品小型化，滿足多種應(yīng)用。
技術(shù)轉(zhuǎn)讓方式
- 待專利獲批后，獨(dú)家轉(zhuǎn)讓。
作品可展示的形式
- 實(shí)物展示（現(xiàn)場(chǎng)演示人機(jī)交互的眼控游戲等程序）。
使用說(shuō)明,技術(shù)特點(diǎn)和優(yōu)勢(shì),適應(yīng)范圍,推廣前景的技術(shù)性說(shuō)明,市場(chǎng)分析,經(jīng)濟(jì)效益預(yù)測(cè)
- 視線跟蹤技術(shù)早期主要應(yīng)用于心理學(xué)研究、助殘等領(lǐng)域，后來(lái)才被應(yīng)用于圖像壓縮及人機(jī)交互和可用性工程。視線在人機(jī)交互中應(yīng)用的精髓不在于用來(lái)獨(dú)立地利用其指點(diǎn)功能，而是與其它通道相結(jié)合提供空間的或其它的約束信息，消除在單通道輸入時(shí)存在的歧義。視線跟蹤在人機(jī)交互領(lǐng)域有著廣闊的應(yīng)用前景。 視線跟蹤技術(shù)還可以在醫(yī)學(xué)或駕駛等其他領(lǐng)域廣泛應(yīng)用。另外視線跟蹤技術(shù)的一個(gè)誘人的應(yīng)用領(lǐng)域就是虛擬現(xiàn)實(shí)和游戲，一方面使人與計(jì)算機(jī)間的交互與現(xiàn)實(shí)世界中的交互方式趨于一致，更為簡(jiǎn)單、自然、高效；另一方面又提高計(jì)算機(jī)圖形、圖像、動(dòng)畫的繪制、渲染速度。近來(lái)，國(guó)際上一些公司與科研機(jī)構(gòu)正致力于眼控鼠標(biāo)、眼控游戲的開發(fā)與研究，眼控游戲是在基于視線跟蹤技術(shù)的人機(jī)交互系統(tǒng)上實(shí)現(xiàn)的。在游戲過(guò)程中，人的四肢被解放出來(lái)，通過(guò)眼控實(shí)現(xiàn)人機(jī)交流可以讓游戲過(guò)程更具有享受性，并且可以滿足癱瘓病人或四肢麻痹、殘疾病人的游戲需求。
同類課題研究水平概述
- 視線跟蹤技術(shù)是未來(lái)智能人機(jī)接口的關(guān)鍵技術(shù)之一，在工業(yè)控制、機(jī)器人學(xué)和臨床醫(yī)學(xué)上有著廣泛的應(yīng)用前景。基于角膜反射原理和圖像處理的視線跟蹤技術(shù)，具有非侵入的優(yōu)點(diǎn)，近年來(lái)取得了較快進(jìn)展。但該技術(shù)在用戶頭部不動(dòng)情況下可獲得較高精度，但對(duì)頭動(dòng)敏感。為減少對(duì)用戶的限制，Sugioka使用超聲技術(shù)測(cè)得CCD和人眼之間的距離，Ebisawa增加兩個(gè)攝像機(jī)來(lái)獲得眼睛的三維空間坐標(biāo)。這不僅增加了系統(tǒng)復(fù)雜性，且系統(tǒng)精度受位置測(cè)量精度的局限。日本靜岡大學(xué)工學(xué)系海老澤嘉伸教授發(fā)明了“瞳孔鼠標(biāo)”。布拉格捷克技術(shù)大學(xué)的研究人員推出一款可用眼睛控制電腦的廉價(jià)操作系統(tǒng)MEMREC。2008年3月日本的研究人員稱已經(jīng)開發(fā)出了名為“Kome Kami Switch”或“Temple Switch” 的裝置，它可通過(guò)眨眼實(shí)現(xiàn)對(duì)iPod播放器的控制。近來(lái)來(lái)自的報(bào)道稱，英國(guó)蒙特福德大學(xué)的一項(xiàng)研究計(jì)劃正開發(fā)軟件幫助運(yùn)動(dòng)障礙患者使用視覺(jué)追蹤系統(tǒng)體驗(yàn)3D電腦游戲，例如魔獸世界。國(guó)內(nèi)在視線跟蹤技術(shù)方面起步比較晚，但是我國(guó)的有關(guān)專家也進(jìn)行了這方面的探索。近幾年，南京航空航天大學(xué)基于角膜反射-瞳孔中心的視線跟蹤技術(shù),構(gòu)建了頭部靜止臺(tái)架式和頭部自由運(yùn)動(dòng)頭盔式兩套視線跟蹤硬件框架,并開發(fā)了與之配套的軟件系統(tǒng)。上海大學(xué)實(shí)現(xiàn)了一種具有多種信息感知與反饋功能的多通道自然人機(jī)交互系統(tǒng)。 為提高算法速度和精度，目前視線跟蹤算法普遍采用了閾值技術(shù)和橢圓擬合算法，但由于眼睛圖像固有的噪聲干擾，特征閾值確定困難，橢圓擬合算法不穩(wěn)定。本作品主要針對(duì)上述問(wèn)題，提出了一種能對(duì)環(huán)境光強(qiáng)變化、用戶頭部位置變化自動(dòng)適應(yīng)的視線跟蹤方法，改進(jìn)了閾值提取、特征檢測(cè)、橢圓擬合等算法，實(shí)現(xiàn)了高精度視線跟蹤。
