智能感知導(dǎo)盲杖
作者:冀澤華 江德?lián)P 童宇昂 余孟繁 董巖 自動化系
指導(dǎo)老師:張濤 自動化系
關(guān)鍵詞:智能輔助設(shè)備 環(huán)境感知 LSTM 注意力機(jī)制
摘要
本項目旨在設(shè)計一款能夠幫助視障人士更好地感知周圍環(huán)境的智能導(dǎo)盲杖。該導(dǎo)盲杖使用了近幾年興起的image-caption技術(shù)。盲杖使用單目相機(jī)對周圍環(huán)境進(jìn)行拍攝,然后使用socket通信將圖片傳輸至服務(wù)器。服務(wù)器使用基于pytorch框架和注意力機(jī)制的圖像轉(zhuǎn)文字(image-caption)技術(shù),將輸入的圖片通過LSTM模塊輸出為完整的描述。然后再將描述傳回導(dǎo)盲杖。盲杖最終使用翻譯模塊將英文描述轉(zhuǎn)換為中文釋義,通過語音輸出模塊輸出給盲人,以實現(xiàn)幫助盲人感知周圍環(huán)境的目的。
網(wǎng)絡(luò)簡述
算法主要由編碼器,解碼器和注意力機(jī)制組成。編碼器用于將原始圖片通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼;解碼器是基于長短期注意力機(jī)制的語句生成模塊;注意力機(jī)制和解碼器相互配合,生成圖片中各個像素點的權(quán)值,即注意力。解碼器通過注意力學(xué)習(xí)生成圖片的描述。
1 注意力機(jī)制網(wǎng)絡(luò)圖
效果展示
在一定的范圍內(nèi)達(dá)到了良好的準(zhǔn)確度和精準(zhǔn)率,可以通過翻譯和語音合成再經(jīng)有揚(yáng)聲器將語音信號傳遞給視障人士,實現(xiàn)指引視障人士出行的功能。
2 效果展示圖
成品展示
最終,我們得到了如下的導(dǎo)盲杖樣品,該導(dǎo)盲杖依托頂部的按鈕,通過按下按鈕啟動,實現(xiàn)樹莓派與服務(wù)器之間的通信,最終將傳輸?shù)慕Y(jié)果通過下部的揚(yáng)聲器傳遞出來。
3 導(dǎo)盲杖實物展示