近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院梁臻老師在計(jì)算機(jī)科學(xué)知名期刊IEEE Transactions on Neural Networks and Learning Systems（中科院一區(qū)TOP，影響因子10.2）上發(fā)表題為“EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition”的論文。香港城市大學(xué)博士研究生周如雙（18級(jí)深圳大學(xué)本科生）、深圳大學(xué)研究生葉煒珊和哈爾濱工業(yè)大學(xué)（深圳）張治國(guó)教授為共同第一作者，深圳大學(xué)梁臻副教授為獨(dú)立通訊作者。深圳大學(xué)為第一作者單位和通訊單位。

腦電圖（EEG）作為情緒識(shí)別的工具，在情感計(jì)算和腦機(jī)接口領(lǐng)域具有巨大潛力，但標(biāo)簽數(shù)據(jù)稀缺仍是其廣泛應(yīng)用的主要障礙。傳統(tǒng)的情緒識(shí)別方法依賴大量標(biāo)注數(shù)據(jù)，標(biāo)注過(guò)程既費(fèi)時(shí)又昂貴。為了解決這一問(wèn)題，我們提出了一個(gè)名為“EEGMatch”的新型半監(jiān)督遷移學(xué)習(xí)框架，能夠在少量標(biāo)注數(shù)據(jù)和大量無(wú)標(biāo)簽數(shù)據(jù)的條件下實(shí)現(xiàn)高效情緒解碼。

EEGMatch包含三個(gè)核心模塊：（1）EEG-Mixup數(shù)據(jù)增強(qiáng)。我們提出了一種新的數(shù)據(jù)增強(qiáng)方法，通過(guò)生成更多有效樣本來(lái)幫助模型訓(xùn)練。這種方法針對(duì)EEG信號(hào)的非平穩(wěn)特性，提升了數(shù)據(jù)增強(qiáng)的效果，即使標(biāo)簽數(shù)據(jù)稀缺，也能為模型提供足夠的信息。（2）半監(jiān)督兩步配對(duì)學(xué)習(xí)，包括原型級(jí)和實(shí)例級(jí)配對(duì)學(xué)習(xí)。原型級(jí)配對(duì)通過(guò)全局關(guān)系捕捉情緒類別特征，實(shí)例級(jí)配對(duì)則關(guān)注局部?jī)?nèi)在關(guān)系。這樣可以從有限的標(biāo)簽數(shù)據(jù)中提取情緒的關(guān)鍵特征，尤其在情緒信號(hào)復(fù)雜時(shí)表現(xiàn)出色。（3）半監(jiān)督多域自適應(yīng)方法。該方法幫助對(duì)齊不同域（如有標(biāo)簽和無(wú)標(biāo)簽的數(shù)據(jù)集）之間的特征表示，減輕了分布失配問(wèn)題，尤其適用于跨受試者情緒識(shí)別，提升模型的泛化能力。通過(guò)這三個(gè)創(chuàng)新模塊，EEGMatch有效解決了EEG情緒識(shí)別中的標(biāo)簽稀缺問(wèn)題，并能在不同受試者間準(zhǔn)確識(shí)別情緒。

為了驗(yàn)證EEGMatch框架的效果，我們?cè)诙鄠€(gè)公認(rèn)的基準(zhǔn)數(shù)據(jù)庫(kù)（如SEED、SEED-IV、SEED-V）上進(jìn)行了廣泛實(shí)驗(yàn)，并采用跨受試者的留一法驗(yàn)證。結(jié)果表明，EEGMatch在不同的標(biāo)簽稀缺條件下明顯優(yōu)于現(xiàn)有的先進(jìn)方法，展示了其在情緒識(shí)別中的顯著優(yōu)勢(shì)，在受限標(biāo)簽條件下的情緒解碼任務(wù)中具有廣闊的應(yīng)用前景。

EEGMatch的源代碼已公開(kāi)：https://github.com/KAZABANA/EEGMatch。

該研究獲得國(guó)家自然科學(xué)基金等項(xiàng)目資助。

原文鏈接：https://doi.org/10.1109/TNNLS.2024.3493425