基于持續(xù)學(xué)習(xí)的多模態(tài)情緒感知系統(tǒng)
作者：駱炳君 邵璟之 軟件學(xué)院
指導(dǎo)老師：趙曦濱 軟件學(xué)院
關(guān)鍵詞：情緒感知、持續(xù)學(xué)習(xí)、多模態(tài)
摘要
情緒是人類認(rèn)知、思考與行為過程中所產(chǎn)生的復(fù)雜心理和生理狀態(tài)。情緒感知技術(shù)在人機交互、工業(yè)控制、醫(yī)療教育等領(lǐng)域取得了廣泛的應(yīng)用，是分析用戶行為、評估心理狀態(tài)、監(jiān)控病情發(fā)展等任務(wù)的重要工具，具有極高的研究和應(yīng)用價值。實際應(yīng)用中的情緒具有表達(dá)通道多樣化和種類精細(xì)化的特點：情緒的表達(dá)通道豐富多樣，例如面部表情、動作等視覺信號以及心電（ECG）、腦電（EEG）等生理信號；情緒分類日趨精細(xì)化，越來越多的復(fù)雜情緒類型開始被公眾所創(chuàng)造、關(guān)注和使用。針對上述特點所帶來的挑戰(zhàn)，本作品充分利用視覺信息與生理信號等多模態(tài)的數(shù)據(jù)，探索多模態(tài)數(shù)據(jù)在情緒感知中的復(fù)雜關(guān)聯(lián)，深度融合多模態(tài)學(xué)習(xí)和持續(xù)學(xué)習(xí)的理論方法，提出了更加準(zhǔn)確可靠的精細(xì)化情緒感知方法，在此基礎(chǔ)上設(shè)計搭建了面向真實場景的司乘人員情緒監(jiān)測系統(tǒng)。
精細(xì)化情緒的動態(tài)建模方法
傳統(tǒng)的持續(xù)學(xué)習(xí)研究多局限于圖像分類任務(wù)，在情緒感知領(lǐng)域還處于一片空白。本作品首次將持續(xù)學(xué)習(xí)的理論方法應(yīng)用于情緒感知任務(wù)中，針對情緒多樣性和個體差異性的特點提出了新的訓(xùn)練損失函數(shù)，構(gòu)建了類型可動態(tài)增加的情緒感知模型。與傳統(tǒng)的固定分類情緒感知模型相比，我們的模型不僅能靈活地適應(yīng)情緒類型的動態(tài)變化，還能在保持較高準(zhǔn)確率的前提下，大大減少模型增量訓(xùn)練過程中的時間和空間開銷。相關(guān)成果已發(fā)表于ACM MM 2020會議，正在申請專利1項。
圖1 人類智能與機器智能在不斷學(xué)習(xí)新類別情緒時的對比
圖2 動態(tài)情緒感知模型框架
多模態(tài)生理信號的情緒預(yù)測方法
為了能夠利用多模態(tài)生理信號對個體情緒狀態(tài)進(jìn)行監(jiān)測，形成心理素質(zhì)的個性化客觀量化評估，本作品提出了用超圖對樣本之間的復(fù)雜關(guān)聯(lián)進(jìn)行統(tǒng)一建模，通過多模態(tài)之間的信息融合，聯(lián)合學(xué)習(xí)端到端的特征表示方法，充分利用不同模態(tài)的信息，對比個體間的生理屬性，最終實現(xiàn)對于情緒狀態(tài)的精確識別。相關(guān)成果已發(fā)表于ICIP 2019會議。
圖3 多模態(tài)情緒預(yù)測模型框架
司乘人員情緒檢測原型系統(tǒng)
本作品在前述兩項成果的基礎(chǔ)上，充分利用已有研究的知識和技術(shù)積累，基于人臉表情數(shù)據(jù)實現(xiàn)了對公共交通司乘人員的情緒監(jiān)測與分析。未來將融合多模態(tài)學(xué)習(xí)和持續(xù)學(xué)習(xí)方法，充分利用多模態(tài)的視覺信息和生理信號數(shù)據(jù)，進(jìn)一步提高分析的準(zhǔn)確性和可靠性。相關(guān)工作已搭建原型系統(tǒng)，預(yù)期與交通運輸企業(yè)合作使產(chǎn)品落地應(yīng)用。
圖4 情緒監(jiān)測原型系統(tǒng)演示
