近日，醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院梁臻老師在計算機(jī)科學(xué)知名期刊IEEE Transactions on Neural Networks and Learning Systems（中科院一區(qū)TOP，影響因子10.2）上發(fā)表題為“EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition”的論文。香港城市大學(xué)博士研究生周如雙（18級深圳大學(xué)本科生）、深圳大學(xué)研究生葉煒珊和哈爾濱工業(yè)大學(xué)（深圳）張治國教授為共同第一作者，深圳大學(xué)梁臻副教授為獨立通訊作者。深圳大學(xué)為第一作者單位和通訊單位。
腦電圖（EEG）作為情緒識別的工具，在情感計算和腦機(jī)接口領(lǐng)域具有巨大潛力，但標(biāo)簽數(shù)據(jù)稀缺仍是其廣泛應(yīng)用的主要障礙。傳統(tǒng)的情緒識別方法依賴大量標(biāo)注數(shù)據(jù)，標(biāo)注過程既費時又昂貴。為了解決這一問題，我們提出了一個名為“EEGMatch”的新型半監(jiān)督遷移學(xué)習(xí)框架，能夠在少量標(biāo)注數(shù)據(jù)和大量無標(biāo)簽數(shù)據(jù)的條件下實現(xiàn)高效情緒解碼。
EEGMatch包含三個核心模塊：（1）EEG-Mixup數(shù)據(jù)增強(qiáng)。我們提出了一種新的數(shù)據(jù)增強(qiáng)方法，通過生成更多有效樣本來幫助模型訓(xùn)練。這種方法針對EEG信號的非平穩(wěn)特性，提升了數(shù)據(jù)增強(qiáng)的效果，即使標(biāo)簽數(shù)據(jù)稀缺，也能為模型提供足夠的信息。（2）半監(jiān)督兩步配對學(xué)習(xí)，包括原型級和實例級配對學(xué)習(xí)。原型級配對通過全局關(guān)系捕捉情緒類別特征，實例級配對則關(guān)注局部內(nèi)在關(guān)系。這樣可以從有限的標(biāo)簽數(shù)據(jù)中提取情緒的關(guān)鍵特征，尤其在情緒信號復(fù)雜時表現(xiàn)出色。（3）半監(jiān)督多域自適應(yīng)方法。該方法幫助對齊不同域（如有標(biāo)簽和無標(biāo)簽的數(shù)據(jù)集）之間的特征表示，減輕了分布失配問題，尤其適用于跨受試者情緒識別，提升模型的泛化能力。通過這三個創(chuàng)新模塊，EEGMatch有效解決了EEG情緒識別中的標(biāo)簽稀缺問題，并能在不同受試者間準(zhǔn)確識別情緒。
為了驗證EEGMatch框架的效果，我們在多個公認(rèn)的基準(zhǔn)數(shù)據(jù)庫（如SEED、SEED-IV、SEED-V）上進(jìn)行了廣泛實驗，并采用跨受試者的留一法驗證。結(jié)果表明，EEGMatch在不同的標(biāo)簽稀缺條件下明顯優(yōu)于現(xiàn)有的先進(jìn)方法，展示了其在情緒識別中的顯著優(yōu)勢，在受限標(biāo)簽條件下的情緒解碼任務(wù)中具有廣闊的應(yīng)用前景。
EEGMatch的源代碼已公開：https://github.com/KAZABANA/EEGMatch。
該研究獲得國家自然科學(xué)基金等項目資助。
原文鏈接：https://doi.org/10.1109/TNNLS.2024.3493425
