近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院梁臻老師課題組在情感計(jì)算領(lǐng)域頂級(jí)學(xué)術(shù)期刊《IEEE Transactions on Affective Computing》（影響因子11.2）上，發(fā)表了一篇題為“Unsupervised Time-Aware Sampling Network with Deep Reinforcement Learning for EEG-Based Emotion Recognition”的高質(zhì)量論文。深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院博士生張永濤為第一作者。深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院梁臻副教授和哈爾濱工業(yè)大學(xué)（深圳）張治國(guó)教授為共同通訊作者。深圳大學(xué)為第一作者單位。
從復(fù)雜、多變、且非恒定的腦電（EEG）時(shí)間序列中識(shí)別人類情感對(duì)情感腦機(jī)接口至關(guān)重要。然而，在實(shí)際應(yīng)用過(guò)程中，連續(xù)標(biāo)記不斷變化的情感狀態(tài)是不切實(shí)際的?，F(xiàn)有方法只能為在引發(fā)情感的連續(xù)試驗(yàn)中的所有EEG時(shí)間點(diǎn)分配固定標(biāo)簽，這導(dǎo)致了高度動(dòng)態(tài)的情感狀態(tài)和高度非恒定的EEG信號(hào)被忽視。
為了解決對(duì)固定標(biāo)簽的高度依賴和對(duì)時(shí)變信息的無(wú)視，本文提出了一種使用深度強(qiáng)化學(xué)習(xí)（DRL：Deep Reinforcement Learning）進(jìn)行無(wú)監(jiān)督情感識(shí)別的時(shí)間感知采樣網(wǎng)絡(luò)（TAS-Net: Time-Aware Sampling Network）（如圖一所示）。該網(wǎng)絡(luò)能夠檢測(cè)關(guān)鍵情感片段并忽略無(wú)關(guān)和誤導(dǎo)性的部分。
圖一：TAS-Net框架，包括深度特征提取、時(shí)間感知采樣和無(wú)監(jiān)督聚類三個(gè)模塊。模型提取的關(guān)鍵情感片段由兩部分構(gòu)成：檢測(cè)到的關(guān)鍵時(shí)刻（深紫色）以及根據(jù)人類情感中的"短期連續(xù)性"屬性計(jì)算得出的情感偏移（淺紫色）。最終的關(guān)鍵情感片段由深紫色和淺紫色部分組合而成，然后輸入到無(wú)監(jiān)督聚類模型中以進(jìn)行情感預(yù)測(cè)。
在本文中，我們將從EEG時(shí)間序列中挖掘關(guān)鍵情感片段的過(guò)程形式化為馬爾可夫決策過(guò)程，并通過(guò)DRL訓(xùn)練生成一個(gè)時(shí)間感知代理，無(wú)需使用標(biāo)簽信息。首先，時(shí)間感知代理從特征提取器獲取深度特征作為輸入，并生成樣本級(jí)的重要性分?jǐn)?shù)，反映了每個(gè)樣本包含的情感相關(guān)信息。然后，基于獲得的樣本級(jí)重要性分?jǐn)?shù)，我們保留與情感高度相關(guān)的前X個(gè)連續(xù)EEG片段，同時(shí)丟棄其余部分。最后，我們將這些連續(xù)片段視為關(guān)鍵情感片段，并將它們輸入到一個(gè)超圖解碼模型中，以進(jìn)行無(wú)監(jiān)督聚類。
我們?cè)谌齻€(gè)公共數(shù)據(jù)集（SEED、DEAP和MAHNOB-HCI）上進(jìn)行了廣泛的實(shí)驗(yàn)，采用被試留一交叉驗(yàn)證方法進(jìn)行情感識(shí)別。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有無(wú)監(jiān)督情感識(shí)別方法相比，本文所提出的TAS-Net表現(xiàn)出更出色的性能,具有在實(shí)現(xiàn)更實(shí)際和準(zhǔn)確的動(dòng)態(tài)和無(wú)標(biāo)簽情境下的情感腦機(jī)接口方面的巨大潛力。本文源代碼可在https://github.com/infinite-tao/TAS-Net上獲取。
研究成果鏈接：
https://ieeexplore.ieee.org/abstract/document/10264207
（醫(yī)學(xué)部）
