近日，醫學部生物醫學工程學院梁臻老師課題組在情感計算領域頂級學術期刊《IEEE Transactions on Affective Computing》（影響因子11.2）上，發表了一篇題為“Unsupervised Time-Aware Sampling Network with Deep Reinforcement Learning for EEG-Based Emotion Recognition”的高質量論文。深圳大學醫學部生物醫學工程學院博士生張永濤為第一作者。深圳大學醫學部生物醫學工程學院梁臻副教授和哈爾濱工業大學（深圳）張治國教授為共同通訊作者。深圳大學為第一作者單位。

從復雜、多變、且非恒定的腦電（EEG）時間序列中識別人類情感對情感腦機接口至關重要。然而，在實際應用過程中，連續標記不斷變化的情感狀態是不切實際的。現有方法只能為在引發情感的連續試驗中的所有EEG時間點分配固定標簽，這導致了高度動態的情感狀態和高度非恒定的EEG信號被忽視。

為了解決對固定標簽的高度依賴和對時變信息的無視，本文提出了一種使用深度強化學習（DRL：Deep Reinforcement Learning）進行無監督情感識別的時間感知采樣網絡（TAS-Net: Time-Aware Sampling Network）（如圖一所示）。該網絡能夠檢測關鍵情感片段并忽略無關和誤導性的部分。

圖一：TAS-Net框架，包括深度特征提取、時間感知采樣和無監督聚類三個模塊。模型提取的關鍵情感片段由兩部分構成：檢測到的關鍵時刻（深紫色）以及根據人類情感中的"短期連續性"屬性計算得出的情感偏移（淺紫色）。最終的關鍵情感片段由深紫色和淺紫色部分組合而成，然后輸入到無監督聚類模型中以進行情感預測。

在本文中，我們將從EEG時間序列中挖掘關鍵情感片段的過程形式化為馬爾可夫決策過程，并通過DRL訓練生成一個時間感知代理，無需使用標簽信息。首先，時間感知代理從特征提取器獲取深度特征作為輸入，并生成樣本級的重要性分數，反映了每個樣本包含的情感相關信息。然后，基于獲得的樣本級重要性分數，我們保留與情感高度相關的前X個連續EEG片段，同時丟棄其余部分。最后，我們將這些連續片段視為關鍵情感片段，并將它們輸入到一個超圖解碼模型中，以進行無監督聚類。

我們在三個公共數據集（SEED、DEAP和MAHNOB-HCI）上進行了廣泛的實驗，采用被試留一交叉驗證方法進行情感識別。實驗結果表明，與現有無監督情感識別方法相比，本文所提出的TAS-Net表現出更出色的性能,具有在實現更實際和準確的動態和無標簽情境下的情感腦機接口方面的巨大潛力。本文源代碼可在https://github.com/infinite-tao/TAS-Net上獲取。

研究成果鏈接：

https://ieeexplore.ieee.org/abstract/document/10264207

（醫學部）