題-1_100_100.jpg)
基本信息
- 項目名稱：
- 智能家居中的手勢人機交互系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作B類
- 簡介：
- 人們一直在追求一種自然的人機交互方式。微軟推出的基于深度攝像頭的Kinect和海爾推出的手勢控制電視，實現(xiàn)了機遇肢體動作的手勢控制人機交互方式，但這類方式成本較高，操作不準(zhǔn)確。本項目提出了基于普通攝像頭的手指控制的人機交互方式，實現(xiàn)了更便捷、更自然、更精確的控制，并且將其使用在未來的只能家居中，實現(xiàn)了新型的信息管理。
- 詳細介紹：
- 人們一直在追求一種自然的人機交互方式。微軟推出的基于深度攝像頭的Kinect和海爾推出的手勢控制電視，實現(xiàn)了機遇肢體動作的手勢控制人機交互方式，但這類方式成本較高，操作不準(zhǔn)確。本項目提出了基于普通攝像頭的手指控制的人機交互方式，實現(xiàn)了更便捷、更自然、更精確的控制，并且將其使用在未來的只能家居中，實現(xiàn)了新型的信息管理。
作品圖片
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標(biāo)
- 目的： 實現(xiàn)智能家居環(huán)境中基于手勢的人機交互完整方案，突破傳統(tǒng)家居的空間限制，使用戶能夠隨心所欲的控制居住環(huán)境，為用戶的家庭生活提供更為寬廣的交互空間和舒適的操作體驗。 基本思路： 使用基于特征提取與AdaBoost算法的特定手勢檢測； 基于變形模板的人手參數(shù)化跟蹤與人手姿態(tài)識別； 建立通用的手勢控制通信協(xié)議和編程接口； 建立基于局域網(wǎng)的分布式系統(tǒng)構(gòu)架； 創(chuàng)新點： 針對復(fù)雜背景的高魯棒性人手檢測與跟蹤算法，適用于不同環(huán)境不同背景，可滿足各種場景應(yīng)用需求。 針對精確控制的需求，實現(xiàn)手指控制的，使操作更加精確高效，并實現(xiàn)手指控制與虛擬鍵盤的結(jié)合，解決了手勢控制無法進行文本輸入的不足。 先進的自然人機交互方案，使用戶擺脫鼠標(biāo)鍵盤等設(shè)備的限制，并實現(xiàn)了可擴展的網(wǎng)絡(luò)化手勢信息通信協(xié)議； 關(guān)鍵技術(shù)： 基于LBP特征和改進的HOG特征的結(jié)合AdaBoost算法的手勢檢測； 結(jié)合手勢檢測和CONDENSATION算法的手勢跟蹤算法； 基于變形模板和CONDENSATION算法的手指跟蹤算法； 分布式系統(tǒng)構(gòu)架； 基于網(wǎng)絡(luò)的手勢交互信息傳輸協(xié)議； 結(jié)合用戶心理學(xué)的人機交互界面實現(xiàn)。 技術(shù)指標(biāo)： 手勢檢測準(zhǔn)確率> 90% 系統(tǒng)操作準(zhǔn)確率> 85% 系統(tǒng)最佳操作距離：2～3M 操作響應(yīng)時間<0.5s
科學(xué)性、先進性
- 1）設(shè)計思路上的先進性 2）高性能的檢測算法 3）精確的指尖定位算法 4）分布式計算確保響應(yīng)的實時性 5）自定義手勢信息傳輸協(xié)議 6）人性化的交互界面設(shè)計 7）功能設(shè)計具有先進性
獲獎情況及鑒定結(jié)果
- 華南理工大學(xué)“賽萊拉”第十二屆“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競賽一等獎； 廣東省第十一屆“挑戰(zhàn)杯”大學(xué)生課外學(xué)術(shù)科技作品競賽三等獎；
作品所處階段
- 算法向芯片轉(zhuǎn)換階段
技術(shù)轉(zhuǎn)讓方式
- 專利實施轉(zhuǎn)讓
作品可展示的形式
- 現(xiàn)場展示
使用說明,技術(shù)特點和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預(yù)測
- 使用說明： 本系統(tǒng)可完成未來智能家居中的各種手勢控制。手勢操作流程大致包括以下幾個方面：手的初始化，手勢識別與跟蹤，操作響應(yīng)，操作結(jié)束。 適用范圍： 本作品的使用范圍包括： 1）主要應(yīng)用于各種智能家居的控制，提供自然便捷的操控方式； 2）還可獨立應(yīng)用于社交性互動電視、游戲等家庭娛樂方面，豐富數(shù)字家庭體驗； 3）可應(yīng)用于個人電腦的操控，提高用戶工作效率、增強娛樂體驗； 4）應(yīng)用于多媒體展廳、科技展館等，帶給消費者更加直觀的信息傳遞方式和虛擬世界漫游體驗。 推廣前景: 本作品提出的新型人機交互技術(shù)，提供了更便捷、自然的人機交互接口，潛在的推廣應(yīng)用領(lǐng)域包括以下幾個方面： 1）智能家居系統(tǒng)的控制 2）社交性互動電視的操作 3）個人電腦的操控。 4）多媒體展廳、科技展館等應(yīng)用領(lǐng)域 市場經(jīng)濟預(yù)測： 本作品提出的新型人機交互技術(shù)可轉(zhuǎn)化為帶有通用通信接口的小型集成設(shè)備，適合推廣應(yīng)用，在后期產(chǎn)業(yè)化研究基礎(chǔ)上，有望獲得可觀的經(jīng)濟效益。
同類課題研究水平概述
- 如何實現(xiàn)自然、和諧的人機交互方式是信息科學(xué)面臨的重要問題，涉及計算機科學(xué)、認(rèn)知心理學(xué)和人工智能等多個學(xué)科領(lǐng)域。目前各國都將人機交互作為研究重點。國內(nèi)外許多知名大學(xué)和研究機構(gòu)都在自然人機交互領(lǐng)域開展相關(guān)研究，如UC Berkeley、MIT、Stanford等大學(xué)和微軟、IBM、英特爾、索尼等公司以及國內(nèi)的中科院研究所等都在自然人機交互研究上做了大量工作。 現(xiàn)在手勢及手指人機交互主要解決的問題包括一下三個方面：（1）復(fù)雜環(huán)境下的手勢檢測；（2）復(fù)雜環(huán)境下高魯棒性的人手跟蹤；（3）復(fù)雜環(huán)境下的手勢輪廓跟蹤。 現(xiàn)在手勢檢測算法方面，主要分為兩大類：1）基于膚色特征的人手檢測；2）基于特征的人手檢測?；谀w色的人手檢測方法在一定環(huán)境下可以取得不錯的效果，但膚色在光照變化時，效果較差。為了提高膚色檢測對光照變化的魯棒性，研究者提出了一種自適應(yīng)的膚色檢測算法，與傳統(tǒng)的膚色檢測算法相比，對光照變化具有較高的魯棒性。在基于特征的人手檢測算法研究方面，有研究者提出了一種基于Haar特征的人手檢測方法，取得不錯的效果。 人手具有27個自由度，這給手勢跟蹤帶來了巨大的困難，一類手勢跟蹤算法是需要輔助設(shè)備幫助定位手勢位置的，如數(shù)據(jù)手套，此類方法并不適用自然人機交互，另一類手勢跟蹤算法是基于顏色和形狀特征的，此類方法與基于膚色特征進行人手檢測一樣面臨著對光線變化時，效果較差的難題。第三類方法是基于Viola提出的級聯(lián)分類器的物體檢測框架下，這類方法可實現(xiàn)魯棒性高，快速的人手檢測。 在輪廓跟蹤方面，主要分為兩大類：1）基于active contour model(snake)的輪廓跟蹤；2）基于active shape model的輪廓跟蹤。Active contour model 首先由Michael等提出，之后便有了大量的運用此模型對物體輪廓進行跟蹤的方法研究。Mingyou Hu等人中提出了利用運用運動信息和紋理特征來預(yù)測出被跟蹤物體的初步位置，然后用snake模型來尋找物體輪廓，從而進行實時跟蹤的方法，這種方法對于被跟蹤物體位置的預(yù)測效率很低，效果較差，容易受到環(huán)境變化的干擾；Michael Isard 和 Andrew Blake等人提出了運用active shape model和粒子濾波算法進行結(jié)合的輪廓跟蹤框架，奠定了這一跟蹤算法的基礎(chǔ)。
