近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院教授梁臻在情感計(jì)算頂級(jí)期刊IEEE Transactions on Affective Computing（影響因子9.6）上發(fā)表題為“Semi-Supervised Dual-Stream Self-Attentive Adversarial Graph Contrastive Learning for Cross-Subject EEG-based Emotion Recognition”的學(xué)術(shù)論文。深圳大學(xué)研究生葉煒珊同學(xué)和哈爾濱工業(yè)大學(xué)（深圳）張治國教授為共同第一作者，深圳大學(xué)副教授梁臻和電子科技大學(xué)教授徐鵬為共同通訊作者。深圳大學(xué)為第一作者單位和通訊單位。

腦電（EEG）是一種用于情感識(shí)別的客觀工具，因其提供的高時(shí)間分辨率和非侵入性檢測(cè)特性，在情感計(jì)算領(lǐng)域具有廣闊的前景。然而，盡管EEG具有巨大的潛力，其廣泛應(yīng)用卻面臨著一個(gè)主要挑戰(zhàn)，即標(biāo)簽數(shù)據(jù)的稀缺。這種數(shù)據(jù)稀缺性限制了現(xiàn)有模型在情感識(shí)別任務(wù)中的性能表現(xiàn)。為了解決這一問題，本研究提出了一種新穎的半監(jiān)督雙流自注意對(duì)抗圖對(duì)比學(xué)習(xí)框架，簡(jiǎn)稱DS-AGC，用于基于EEG信號(hào)的跨被試情感識(shí)別。DS-AGC框架設(shè)計(jì)了一種智能的雙流結(jié)構(gòu)，通過這種結(jié)構(gòu)，能夠有效地提取并融合EEG信號(hào)中的非結(jié)構(gòu)化和結(jié)構(gòu)化信息。雙流結(jié)構(gòu)包含兩個(gè)并行的子網(wǎng)絡(luò)：一個(gè)用于處理原始的非結(jié)構(gòu)化EEG數(shù)據(jù)，另一個(gè)則用于處理基于圖結(jié)構(gòu)提取的EEG特征。隨后，這兩個(gè)子網(wǎng)絡(luò)的輸出通過自注意機(jī)制進(jìn)一步融合，以提升模型對(duì)情感狀態(tài)的識(shí)別能力。

為了驗(yàn)證DS-AGC框架的有效性，研究者在多個(gè)benchmark數(shù)據(jù)庫上進(jìn)行了全面的實(shí)驗(yàn)。這些實(shí)驗(yàn)結(jié)果顯示，DS-AGC框架不僅能夠有效利用有標(biāo)簽的數(shù)據(jù)，還能充分挖掘無標(biāo)簽數(shù)據(jù)的信息，顯著提升情感識(shí)別的準(zhǔn)確性和魯棒性。尤其在有標(biāo)簽數(shù)據(jù)稀缺或獲取成本高昂的情況下，成為一種有前景的解決方案。

該研究獲得國家自然科學(xué)基金等項(xiàng)目資助。

原文鏈接：https://doi.org/10.1109/TAFFC.2024.3433470