基本信息
- 項目名稱：
- 基于實時彩色圖像融合的低能見度輔助駕駛系統(tǒng)
- 小類：
- 信息技術(shù)
- 大類：
- 科技發(fā)明制作A類
- 簡介：
- 本作品是在一種低能見度條件下的輔助駕駛系統(tǒng)，用于幫助直升機、船只、車輛等交通工具進行安全駕駛。系統(tǒng)由探測器前端和融合電路兩部分組成。探測器前端在保證光軸平行度，滿足圖像配準率95%以上的前提下采集紅外和微光圖像；融合電路實現(xiàn)降噪、融合、視頻輸出。輸出圖像采用了雙光譜彩色融合成像，兼具微光圖像分辨率高，層次感好和紅外圖像穿透煙霧能力強、作用距離遠的特點。本系統(tǒng)在微光圖像降噪、圖像配準、彩色融合等方面也提出了獨到的技術(shù)與方法，在提高系統(tǒng)信噪比的同時，大大提高了圖像的清晰度，取得了令人十分滿意的效果。與市面上其它單獨采用紅外和微光成像的輔助駕駛系統(tǒng)相比，本系統(tǒng)具有成像質(zhì)量高，適于人眼觀察等優(yōu)越性。這些優(yōu)越性使得該產(chǎn)品還可以應(yīng)用到海事搜救（安裝至直升機、船上，特別適合于夜間或極端天氣情況下的搜救工作），要害部門的安保監(jiān)控等領(lǐng)域。
- 詳細介紹：
- 本作品是在一種低能見度條件下的輔助駕駛系統(tǒng)，用于幫助直升機、船只、車輛等交通工具進行安全駕駛。系統(tǒng)由探測器前端和融合電路兩部分組成。探測器前端在保證光軸平行度，滿足圖像配準率95%以上的前提下采集紅外和微光圖像；融合電路對微光視頻進行時空濾波降噪處理，以清除微光圖像中的閃爍噪聲。降噪后的微光視頻和紅外視頻將首先進行圖像的配準處理，配準后的紅外和微光圖像將進行基于YCbCr的彩色的傳遞的圖像融合，最后送至D/A轉(zhuǎn)化為標準視頻后輸出。輸出圖像采用了雙光譜彩色融合成像，兼具微光圖像分辨率高，層次感好和紅外圖像穿透煙霧能力強、作用距離遠的特點?？朔四壳皣鴥?nèi)市場上單獨使用紅外或微光成像的輔助駕駛系統(tǒng)的缺點：微光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細節(jié)，但對比度較低；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景。本系統(tǒng)在微光圖像降噪、圖像配準、彩色融合等方面的獨到的技術(shù)與方法，大大提高了系統(tǒng)的信噪比，使得輸出圖像有效地綜合和發(fā)掘了特征信息，增強場景理解，突出目標，適合于人眼的觀察、分類和識別。本系統(tǒng)的優(yōu)越性使得該作品在海事搜救（安裝至直升機、船上，特別適合于夜間或極端天氣情況下的搜救工作），要害部門的安保監(jiān)控等領(lǐng)域都廣泛的用途。
作品圖片
作品專業(yè)信息
設(shè)計、發(fā)明的目的和基本思路、創(chuàng)新點、技術(shù)關(guān)鍵和主要技術(shù)指標
- 1.設(shè)計發(fā)明目的 資料表明，在夜間和雨霧冰雪等惡劣天氣下，能見度差是發(fā)生交通事故的重要原因。因此，本作品是為設(shè)計一種低能見度條件下的彩色視覺輔助駕駛系統(tǒng)，以幫助直升機、船只和車輛安全駕駛。 2.設(shè)計基本思路 首先我們加工設(shè)計了滿足光軸平行條件的光學(xué)前端，然后以高速DSP和FPGA為核心設(shè)計了圖像融合處理電路，最后設(shè)計了像素級配準算法和高速偽彩色圖像融合法。 3.創(chuàng)新點 本作品設(shè)計雙光譜彩色融合成像系統(tǒng)，使其兼具微光像增強器分辨率高和紅外熱像儀穿透煙霧能力強、作用距離遠的優(yōu)點。我們首先研究出一種改進型時空濾波器以濾除微光圖像閃爍噪聲；接著設(shè)計了新型仿射變換查表法配準紅外和微光圖像；然后優(yōu)化了A.Toet色彩傳遞法的算法結(jié)構(gòu)，并基于其設(shè)計了易于硬件實現(xiàn)但性能相當(dāng)?shù)牟噬珗D像融合方法；最后，本作品支持NTSC、PAL制式輸出。 4.技術(shù)關(guān)鍵和主要技術(shù)指標（技術(shù)指標參見研究報告） （1）微光圖像降噪：設(shè)計合適的三維時空濾波器，對其采樣后信號濾波，消除微光圖像的閃爍噪聲，改善圖像的清晰度。 （2）圖像配準：由于光學(xué)系統(tǒng)的設(shè)計和光軸調(diào)校誤差，因此須對兩種圖像進行像素級的配準，以使微光紅外圖像完全重合。 （3）彩色融合：設(shè)計合適算法，融合微光和紅外圖像得到偽彩色圖像，使其在兼具兩者優(yōu)點的同時擁有仿真色彩，更易于人眼識別。
科學(xué)性、先進性
- (1)解決了雙源圖像的實時配準問題 我們的方案中，以微光圖像為基準，利用多源圖像配準測試程序并設(shè)計雙線性數(shù)字插值法，把紅外圖像仿射到微光圖像的坐標上，得到紅外圖像每個像素點經(jīng)仿射后的坐標地址。這樣，通過查表的方式，直接調(diào)用紅外圖像仿射地址，獲得相應(yīng)像素灰度值，從而達到了快速配準的目的。 (2)通過對A.Toet法進行優(yōu)化，獲得了一種易于硬件實現(xiàn)的彩色圖像融合方法。 研究表明，在lαβ空間利用參考圖像的顏色統(tǒng)計信息作為基準對目標圖像進行標準化，能夠?qū)崿F(xiàn)將一幅圖像的顏色特性傳遞給另一幅圖像，使融合圖像獲得了具有類似自然光照的效果。我們優(yōu)化了此色彩傳遞方法，采用了YCbCr空間進行色彩傳遞處理，獲得了類似的效果。由于YCbCr空間與RGB空間之間的轉(zhuǎn)換不涉及對數(shù)運算，運算復(fù)雜性大為降低，被成功應(yīng)用到了我們的實時系統(tǒng)中。 （3）系統(tǒng)硬件降噪 系統(tǒng)電路設(shè)計方面，本作品增加了對微光圖像的去噪處理，通過我們設(shè)計的三維時空濾波器可以有效去除微光圖像的閃爍噪聲。
獲獎情況及鑒定結(jié)果
- 無
作品所處階段
- 實驗室階段
技術(shù)轉(zhuǎn)讓方式
- 無
作品可展示的形式
- 實物、錄像、現(xiàn)場演示、圖片
使用說明,技術(shù)特點和優(yōu)勢,適應(yīng)范圍,推廣前景的技術(shù)性說明,市場分析,經(jīng)濟效益預(yù)測
- 1.特點和優(yōu)勢： (1)全天候觀察，不受天氣影響； (2)兼具微光像增強器分辨率高，紅外熱像儀穿透煙霧能力強、作用距離遠的特點，且彩色融合圖像符合人眼視覺習(xí)慣； (3)實時性高，視頻流暢，無人眼可分辨延時； (4)體積小，功耗低，重量輕，使用簡單。 2.適用范圍：可用于直升機、船只和車輛的輔助駕駛系統(tǒng)，幫助駕駛員安全駕駛，還可用于事故搜救、安防等。 3.市場分析和經(jīng)濟效益預(yù)測： 江蘇省09年第一季度發(fā)生車禍5872起，死亡1079人，經(jīng)濟損失2500萬。其中夜間事故占42.96％。該系統(tǒng)投入市場后，將大大提高夜間和極端天氣情況的駕駛安全性，按照能夠挽救10%的生命財產(chǎn)損失計算，將帶來巨大的社會效益。目前中國汽車保有量已達6289萬輛。2004年起，我國成為全球第二大新車市場，專家預(yù)測我國汽車市場在未來20年將持續(xù)增長。該產(chǎn)品投入市場后，市場效益非常樂觀。該產(chǎn)品還可以用于海事搜救、要害部門安保監(jiān)控等領(lǐng)域。
同類課題研究水平概述
- 隨著我國經(jīng)濟社會迅速發(fā)展，飛機、船舶和汽車等各類交通工具迅速增加。與此同時，交通事故也在不斷增加，交通安全已成為日益嚴重的社會問題。 夜間光照限制和惡劣天氣是交通事故發(fā)生的主要原因。其主要原因是夜間 “能見度”不佳，無法看清路況。 2008年汶川地震救災(zāi)過程中，我國直升機的失事也是因為遇到了大雨天氣，能見度差，駕駛員無法看清楚近處的景物。國家民航總局對1997年“5.8”重大飛行事故調(diào)查報告中指出，“夜間飛行遇到大雨，能見度差，燈光效果不好，看地面不清楚”是導(dǎo)致飛機失事的重要原因。 機載、船載或車載輔助駕駛系統(tǒng)是交通安全保障技術(shù)之一，它旨在提高駕駛員視覺效能,通過改善視覺和駕駛行為的關(guān)系，使人—交通工具—路系統(tǒng)更加穩(wěn)定、可靠,提高了車輛的主動安全性。 目前輔助視覺技術(shù)已取得了一些成果。法國、美國、日本等均研制出了實用的輔助駕駛系統(tǒng)。法國研制了微光夜視輔助駕駛系統(tǒng)，在可見光和近紅外波段工作。駕駛員可以在夜間、天氣條件惡劣等能見度差的情況下，通過液晶顯示屏傳出的前方道路圖像進行輔助車輛駕駛。 美國通用汽車公司研制的輔助駕駛系統(tǒng)利用長波紅外熱釋電探測器，可以看清楚1000 m～1500 m外的車輛。日本學(xué)者研制出了紫外輔助駕駛系統(tǒng)，用紫外線照射涂有熒光材料的路標，使路標發(fā)出熒光，易于識別，從而有效地解決汽車車燈眩目的問題。但是大氣對紫外吸收比較厲害，只能解決較短距離的觀察問題。 我國華北光電技術(shù)研究所、西安應(yīng)用光學(xué)研究所等也開發(fā)了類似的車輛輔助駕駛系統(tǒng)，傳感器采用紅外熱像儀或微光電視。 綜上可知，傳統(tǒng)的輔助駕駛系統(tǒng)均采用單一傳感器。但是任何一種傳感器都有各自的缺點。例如微光像增強器通過接收目標反射的夜天微弱的可見光和近紅外光而成像，所成圖像和人眼的觀察習(xí)慣比較吻合，成像質(zhì)量較好，能提供更多的目標細節(jié)，但是作用距離和觀察效果受氣候影響較大，穿透煙霧的能力較差。紅外熱像儀通過探測地球表面景物的自身熱輻射而成像，具有全天候成像的能力。紅外熱像儀具有比微光像增強器更強的穿透煙霧的能力，作用距離遠，但其分辨率較低，細節(jié)分辨率差，對于溫度較低的背景也不能很好顯示。 本作品正是從圖像融合的角度出發(fā)，將紅外與微光技術(shù)的優(yōu)點有機結(jié)合，有效地提升了低能見度條件下交通駕駛的安全性。
