摘要

本文提出了一種可用于訓練情緒識別模型的fNIRS-EEG情感數(shù)據(jù)庫——FEAD。研究共記錄了37名被試的腦電活動和腦血流動力學反應(yīng)，以及被試對24種情緒視聽刺激的分類和維度評分。探討了神經(jīng)生理信號與主觀評分之間的關(guān)系，并在前額葉皮層區(qū)域發(fā)現(xiàn)了顯著的相關(guān)性。該數(shù)據(jù)庫將公開提供，旨在鼓勵研究人員開發(fā)更先進的情感計算和情緒識別算法。

引言

情緒是神經(jīng)系統(tǒng)對某種刺激產(chǎn)生的一種短暫而強烈的反應(yīng)。許多研究表明，大腦皮層和皮層下神經(jīng)結(jié)構(gòu)參與了情緒的調(diào)節(jié)和處理。因為神經(jīng)系統(tǒng)在控制、反應(yīng)和調(diào)節(jié)心理過程中發(fā)揮著重要作用，所以了解其功能有助于我們識別有效的情緒指標。我們的感覺受體檢測到體內(nèi)和外部環(huán)境的變化，并通過動作電位(信號)將這些變化傳遞到大腦神經(jīng)系統(tǒng)的相關(guān)部分。感覺、思想和決策是這些感覺輸入信息綜合的結(jié)果。隨后，神經(jīng)系統(tǒng)通過向不同器官(如肌肉和腺體)發(fā)送信號，使人們能夠?qū)Νh(huán)境變化做出有意識或無意識的反應(yīng)。這產(chǎn)生了三種主要的情緒測量途徑：1)通過收集生理信號(如呼吸頻率、心跳或神經(jīng)電活動)來測量生物標志物；2)監(jiān)測外部表現(xiàn)(如宏觀/微觀面部表情或肢體語言)；3)主觀評估(如自我報告測量)。

選擇最能代表個體情感狀態(tài)的一個或多個情緒指標，需要考慮人類情感的復雜性。盡管外部指標容易觀察和獲取，但包括社會義務(wù)和個人習慣在內(nèi)的各種因素使得外部觀察者很難理解與這些指標相關(guān)的情緒。另一方面，由于低信噪比、個體心理生理機制、性別以及心理和身體特征等因素，生理信號可能難以解釋。然而，生物標志物不容易受到外部指標的限制，并且難以隱藏或偽裝。此外，近年來的技術(shù)進步使得數(shù)據(jù)采集變得容易且成本低廉，從而使得生理信號能夠可靠地用于檢測人類情感。

在將人類情感映射到語義情感狀態(tài)時，有兩個廣泛接受的框架：離散情緒理論和維度情緒理論。離散情緒理論認為，存在一組核心情感在人類中具有跨文化的可識別性。艾克曼提出的六種基本情緒，包括憤怒、厭惡、恐懼、快樂、悲傷和驚訝，是離散情緒理論中一個流行的模型。每種情緒狀態(tài)都是獨特且普遍的，具有特定的特征，使其能夠清晰地界定并描述各種各樣的情緒。然而，考慮到人類情緒的復雜性以及對基本情緒組成部分的不同看法，其他研究者提出了將情感狀態(tài)映射到多維軸上的方法，這就是所謂的維度情緒理論。該理論有幾種不同的模型。例如，PAD三維模型使用愉悅度、喚醒度和支配度來描述人類情感，其中愉悅度表示快樂或愉快的程度，喚醒度表示警覺水平，支配度表示對周圍環(huán)境的影響感。另一個流行的維度模型是環(huán)形模型，它試圖將情感映射到兩個軸上：愉悅度和喚醒度。Plutchik(2003)提出的情緒輪結(jié)合了類別理論和維度理論。它將四種對立的主要情緒排列在一個同心圓上，這四種情緒分別是快樂、恐懼、悲傷和憤怒。在這里，本文使用了PAD維度模型和Plutchik情緒輪中的四種類別情緒來建立基礎(chǔ)真值。

近年來，發(fā)布了許多情感基準數(shù)據(jù)庫，這些數(shù)據(jù)庫使用單個(單模態(tài))或多種(多模態(tài))情緒指標和一種或多種情緒理論。例如，柏林情緒語音數(shù)據(jù)庫(Emo-DB)記錄了10名演員(五名男性和五名女性)所說的535句話，目的是將他們的情感映射到六種情緒類別(快樂、憤怒、焦慮、恐懼、無聊和厭惡)。自發(fā)微表情(SMIC)和自發(fā)微面部動作(SAMM)數(shù)據(jù)集也是單模態(tài)數(shù)據(jù)庫，其中記錄了參與者的面部表情，并將其情緒轉(zhuǎn)化為類別情緒。類似地，SEED數(shù)據(jù)集使用15名參與者的生理信號(EEG)來對他們的情緒進行分類。然而，人類心理狀態(tài)、主觀意識和無意識特征的復雜性，以及對全面理解人類情緒的需求促使研究人員開展了多模態(tài)情緒識別研究。AMIGOS數(shù)據(jù)集收集了40名個體的三種生理信號以及面部和身體的視頻錄制信息，以識別他們的細微情緒變化。DEAP、MAHNOB-HCI、RECOLA、DREAMER和DECAF也是多模態(tài)數(shù)據(jù)庫，記錄了參與者的眼動、面部視頻、語音和生理信號(EEG、肌電圖(EMG)、心電圖(ECG)、皮膚電活動(EDA))。

鑒于大腦在處理和產(chǎn)生情緒反應(yīng)方面發(fā)揮著核心作用，所以測量神經(jīng)活動可以提供有關(guān)這一過程的寶貴見解，并有助于我們更好地理解情緒是如何表達的。EEG和fNIRS等技術(shù)成本相對較低，并且在收集大腦動態(tài)信息方面表現(xiàn)出色。一些早期研究強調(diào)了這些技術(shù)在混合設(shè)置中的互補性，特別是在測量神經(jīng)血管耦合(腦血流量與神經(jīng)活動之間的關(guān)系)的情感研究背景下。雖然有一些公開的fNIRS-EEG數(shù)據(jù)庫，專注于運動想象、心理負荷和運動偽影分析，但據(jù)我們所知，目前只有一個公開可用的fNIRS-EEG數(shù)據(jù)庫專注于情感識別。該數(shù)據(jù)集僅包含來自五名參與者的記錄。因此，目前尚缺乏一個全面的、大規(guī)模的、包含fNIRS和EEG信號的情感數(shù)據(jù)庫來進行情緒研究。

在這里中，本研究創(chuàng)建了fNIRS-EEG情感數(shù)據(jù)庫(FEAD)，同時記錄了37名參與者對24種情感線索(視聽刺激)做出反應(yīng)時的EEG和fNIRS信號。這種雙模態(tài)測量隨后映射到維度情緒模型中，使用自我情緒評定量表(SAM)進行主觀自評，涵蓋效價、喚醒度和支配度，以及快樂、憤怒、恐懼和悲傷這四種離散情感。此外，FEAD數(shù)據(jù)庫還包含了參與者對視頻熟悉程度的回答、人口統(tǒng)計信息，以及積極與消極情緒量表(PANAS)，該量表提供了參與者在實驗前的情緒狀態(tài)信息。本研究將這種混合設(shè)置作為測量情感生物標志物的系統(tǒng)，并展示了fNIRS和EEG作為單模態(tài)和雙模態(tài)系統(tǒng)的初步維度情緒分類結(jié)果。

實驗程序

刺激數(shù)據(jù)庫

目前已有多種情感誘導范式，主要分為兩類：內(nèi)源性和外源性情感誘發(fā)。內(nèi)源性方法要求被試回憶與特定情緒相關(guān)的記憶(這種記憶是不確定和不可控的)。外源性方法則通過外部刺激誘發(fā)被試的情感。由于研究人員能夠控制提供給被試的刺激，因而外源性情感誘導范式在情緒識別研究中的應(yīng)用更為廣泛。

標準化情緒誘發(fā)工具包括各種刺激類型，如圖像、音頻、視頻、語言、視頻游戲和虛擬現(xiàn)實(VR)。每種刺激類型都有其優(yōu)勢和局限性，刺激類型的選擇取決于具體的研究問題。在這里，本研究選擇了視頻刺激，因為它具有生態(tài)效度高、吸引注意力迅速、運動偽影小等優(yōu)勢，能夠提供接近真實世界的體驗。

使用以下標準從YouTube上收集了150個視頻片段：

1、視頻引發(fā)了一種情感。

2、視頻上沒有水印、標識或明顯的廣告，以消除偏見。

3、視頻的內(nèi)容應(yīng)該足夠清晰，以便參與者無需額外解釋就能理解。

4、選擇觀看次數(shù)較少的視頻，以最小化熟悉度等混淆效應(yīng)。

5、視頻長度足以追蹤血流動力學反應(yīng)，但不會影響情緒、誘發(fā)疲勞或增加認知負荷。

兩位心理學家(1名男性和1名女性)審查了這些視頻，并從中篩選出76段80秒長的視頻片段，這些視頻涵蓋了廣泛的場景(如人際互動、動物、自然、食物和喜劇)。

為了進一步驗證這些視頻在引發(fā)情感方面的有效性，本研究在Amazon Mechanical Turk(MTurk)上進行了一項調(diào)查。調(diào)查對象被要求觀看76段視頻，并就每個視頻回答5個問題。第一個問題是關(guān)于被試對視頻的熟悉程度，采用標準的5點Likert量表(1=完全不熟悉，5=非常熟悉)進行評定。接下來的三個問題采用標準的9點Likert量表(SAM量表)，分別評估情緒的效價、喚醒度和支配度(VAD)。最后一個問題詢問了Plutchik情緒輪中的主軸上的核心情緒。本研究的MTurk調(diào)查僅限于18歲以上的人，并且具備MTurk Master資格的人群。本研究在14天內(nèi)收集了169份回復，其中106份是完整的。為了提高調(diào)查結(jié)果的可靠性，本研究刪除了響應(yīng)時間非常短的條目，以排除被試在未觀看視頻的情況下完成問卷的可能性。最終，共獲得了73名被試(45名男性和28名女性)的數(shù)據(jù)，平均年齡μ=32.8歲，σ2=9.30。對這些被試的評分進行分析，以建立一個用于本研究的視頻庫。

根據(jù)MTurk調(diào)查結(jié)果和平均效價評分，視頻被分為三類：積極、中性和消極。為了避免內(nèi)容重復并確保涵蓋多樣化的喚醒度和支配度范圍，兩名研究人員從每組中挑選了八段視頻。

采集設(shè)備和實驗環(huán)境

先前的研究表明，實驗環(huán)境不僅會對記錄的數(shù)據(jù)產(chǎn)生顯著影響，而且還會對被試的心理狀態(tài)產(chǎn)生顯著影響。因此，實驗室設(shè)置保持簡潔且無干擾(圖1)。房間的光線被調(diào)暗，以防環(huán)境光對紅外線產(chǎn)生不利影響。為了減少EEG信號中的運動偽影，研究人員為被試配備了舒適的可調(diào)節(jié)靠背椅。LG顯示屏大小為59.5英寸，刷新率為50/60Hz，并且放置在一個舒適的距離，以便被試的視線能夠集中在屏幕中央。所有量表均在9.7英寸的iPad上完成。

圖1.實驗環(huán)境。

本研究使用g.Nautilus Research硬件同時收集了EEG和fNIRS數(shù)據(jù)。g.Nautilus是一款無線電池供電的EEG設(shè)備，配備有16個濕電極以及一個參考電極和一個接地電極。g.SENSOR 8 fNIRS通道附加裝置由8個發(fā)射器和2個接收器組成，通過磁性支架固定在腦電帽上。該裝置符合標準的10/20布局系統(tǒng)，同時支持fNIRS探頭附加裝置和靈活的EEG電極放置。EEG信號的采樣率為500Hz，靈敏度為±187.5mV，并使用50Hz的陷波濾波器進行記錄。應(yīng)用0.01-100Hz的帶通濾波器。fNIRS信號的采樣率為10Hz，每個發(fā)射器和接收器之間的距離為30mm。采用波長為785nm和850nm的紅外光來測量腦血流中血紅蛋白分子的光吸收變化情況。所有被試的差分路徑長度因子(DPF)為6。

本研究監(jiān)測了以下腦區(qū)：內(nèi)側(cè)前額葉皮層(mPFC)、背外側(cè)前額葉皮層(DLPFC)、頂下小葉、額極、輔助運動皮層、顳上回和布羅卡區(qū)。圖2顯示了EEG電極和fNIRS探頭的位置，并使用國際10/5系統(tǒng)大致標定了其他位置。fNIRS發(fā)射器的近似位置為AF4h、AF3h、F8h、F7h、AFF10h、AFF9h、NFp2和NFp1；接收器的位置為AF7h和AF8h。EEG電極的位置為FC3、FC4、FC5、FC6、CP3、CP4、T7、T8、F7、F8、AF5、AF6、F1、F2、FPz和AFz。

圖2.EEG電極(黑色)和fNIRS探頭(藍色)的位置。

參與者

共有37名被試(17名女性和20名男性)參與了本次實驗，年齡范圍為22-44歲(μ=28.97，σ2=5.73)。所有被試視力正常或矯正至正常，并且沒有診斷出任何神經(jīng)或心理疾病，如雙相障礙或抑郁癥。要求被試在實驗開始前兩小時內(nèi)避免進食和飲用含咖啡因的茶或咖啡。本研究在奧克蘭生物工程研究所進行，并獲得了奧克蘭大學人類參與者倫理委員會(UAHPEC)的批準。數(shù)據(jù)經(jīng)過匿名處理，以便公開訪問。

實驗協(xié)議

每個被試在實驗開始時都參觀了一下實驗室，以便熟悉環(huán)境，研究人員對這些設(shè)備進行了簡要介紹，以減輕焦慮和減少額外變量帶來的影響。接下來是對實驗過程的介紹和對研究量表的解釋。在簽署知情同意書后，讓被試完成一份研究前的調(diào)查問卷，包括人口統(tǒng)計問題(年齡、性別、慣用手和語言)以及一份標準的PANAS量表。PANAS是一份包含20個項目的自評量表，采用5分制來測量積極和消極情緒。這份量表用于在研究開始前評估被試的總體情緒狀態(tài)。

為了減少被試頭發(fā)密度和顏色對紅外光傳輸及EEG信號的影響，本研究使用梳子分開頭發(fā)，并將電極固定到頭皮上之前清理額頭上的頭發(fā)。為了確保音頻的清晰度并確保被試與外部環(huán)境隔離，實驗前準備好耳機，并根據(jù)每個被試的需要調(diào)節(jié)合適的音量。

實驗包括三個階段，每個階段包含八個試次(圖3)。然后將選取的24段視頻偽隨機分為三個實驗子集。每個積極或消極的視頻之后都會呈現(xiàn)一個中性視頻。在每個試次中，被試觀看一段80s的視頻，然后有35s的時間來評估自己的情緒，接下來注視屏幕中央，深呼吸5s，為下一個試次做準備。為了防止疲勞和困倦，每個階段之間有兩到三分鐘的休息時間。每個視頻結(jié)束后，被試需要回答五個問題：(I)你對這個視頻熟悉嗎？使用5點Likert量表(1：完全不熟悉；5：非常熟悉)進行評估；(II)至(IV)是9點SAM量表中的問題(圖4)；(V)用一個詞描述你的感受(快樂、悲傷、恐懼、憤怒)。實驗細節(jié)如表1所示。

圖3.實驗協(xié)議。

圖4.使用SAM對效價、喚醒度和支配度進行主觀情緒評估。

表1.實驗信息小結(jié)。

主觀評定分析

如前所述，本研究將收集的視頻分為三類(消極、積極和中性)，以引發(fā)廣泛的情緒。圖5顯示了37名被試對每類選定刺激的平均效價評分。通過Wilcoxon符號秩檢驗發(fā)現(xiàn)，消極刺激與中性刺激之間的效價評分存在顯著差異(p＜0.001)，同樣，中性刺激與積極刺激之間也存在顯著差異(p＜0.001)。

圖5.消極、積極和中性視頻的效價評定。

在整個數(shù)據(jù)集中，效價、喚醒度和支配度的平均評分分別為5.35(±2.74)、5.06(±2.28)和5.16(±2.35)。圖7展示了每種情感狀態(tài)在每個階段中的廣泛覆蓋情況。此外，根據(jù)Wilcoxon符號秩檢驗，mTurk調(diào)查對象與實驗被試在效價、喚醒度和支配度上的評分差異沒有統(tǒng)計顯著性(因為所有維度的p＞0.05)(圖6)。這意味著兩組被試對選定刺激的反應(yīng)相似。

圖6.比較mTurk調(diào)查對象和實驗被試的評分范圍。

圖7.每個階段的效價、喚醒度和支配度的平均評分。

為了檢查潛在的混淆效應(yīng)或疲勞跡象，本研究探索了被試者評分的平均相關(guān)性(表2)。研究結(jié)果發(fā)現(xiàn)，熟悉度與效價之間存在中等正相關(guān)，熟悉度與支配度之間存在弱正相關(guān)。雖然沒有暗示因果關(guān)系，但人們對更熟悉的視頻往往有更積極的感覺。此外，效價與支配度之間存在顯著正相關(guān)，而效價與喚醒度之間則存在負相關(guān)。但這些相關(guān)性較弱，表明被試在評分過程中能夠清晰地理解和區(qū)分不同的量表。刺激順序與效價、喚醒度或支配度評分沒有顯著關(guān)系，這表明習慣化或疲勞效應(yīng)的影響很小。

表2.熟悉度、效價、喚醒度、支配度和呈現(xiàn)順序之間的主觀評分的平均相關(guān)性。*表示p＜0.05。

聯(lián)合分析

數(shù)據(jù)預(yù)處理

各種噪聲源可能會干擾EEG和fNIRS信號，使數(shù)據(jù)解釋復雜化。許多在EEG信號中觀察到的偽跡，如出汗、慢漂移、眨眼和眼球運動，主要出現(xiàn)在低頻范圍(＜4Hz)，而其他偽跡，如咬緊牙關(guān)和肌肉運動，則發(fā)生在較高且更寬的頻率范圍內(nèi)。雖然fNIRS信號相較于EEG信號對運動偽跡更具穩(wěn)健性，但它們?nèi)钥赡軙艿絻x器噪聲(＞3Hz)、梅耶波(0.1Hz)、呼吸(0.2-0.5Hz)、心率(1-1.5Hz)以及血壓波動的干擾。

為了降低計算成本，將信號降采樣至250Hz。采用三階巴特沃斯濾波器進行濾波，其中EEG的濾波范圍為[4-80]Hz，fNIRS的濾波范圍為[0.0125-0.7]Hz，以去除上述噪聲。每個刺激前5s靜息階段的最后兩秒作為基線，80s的視頻用于情緒狀態(tài)分析。眾所周知，不同的基線校正方法可能會導致不同的結(jié)果。在這里，本研究使用基線的均值和標準差來對實驗數(shù)據(jù)進行歸一化處理。

由于大腦動態(tài)的復雜性和非平穩(wěn)性，選擇特定的特征來表示生理信號可能具有挑戰(zhàn)性，并進而影響數(shù)據(jù)的解釋。時域、頻域和空間域中都有許多特征，每種特征都有其優(yōu)點。本研究使用頻帶功率(BP)和差分熵(DE)來表示模態(tài)的頻譜特征和非線性動態(tài)特征，這兩種方法在情感識別系統(tǒng)中都是有效的。此外，本研究還提取了fNIRS數(shù)據(jù)的均值，以提供對血管動力學的額外視角。為了估計BP，本研究采用Welch方法(窗口大小為4s)，并計算了功率譜密度(PSD)在感興趣頻段范圍內(nèi)的面積。

神經(jīng)血管數(shù)據(jù)和評分的相關(guān)性

為了確定EEG和fNIRS數(shù)據(jù)是否與主觀評分相關(guān)，本研究對每個試次的中間40s進行了相關(guān)性分析。使用BP來評估兩種模態(tài)的相關(guān)性，以提供直接比較。此外，還評估了HbO和HbR與被試評分的相關(guān)性。本研究計算了每種信號類型的頻率功率與主觀評分之間的Spearman相關(guān)系數(shù)，并計算了37名被試的p值，假設(shè)數(shù)據(jù)之間是獨立的。然后，使用Fisher方法將每種信號類型和每個通道的37個Spearman p值合并為一個p值。顯著性水平為p＜0.05。結(jié)果如表3所示?？梢杂^察到，在所有情緒狀態(tài)維度中，始終顯著的通道大多位于前額葉(AF5、AFz、F1、Fpz)和顳葉(T7、T8)。這一結(jié)果與之前使用EEG進行情緒識別的研究類似。

表3.fNIRS光極和EEG電極的平均相關(guān)性(p＜0.05)。(?=p＜0.01，??=p＜0.001)。

本研究觀察到效價與所有頻段的EEG信號之間存在強相關(guān)性。中央(CP3)區(qū)域的α頻段功率隨效價評分的增加而增加。喚醒度與EEG信號在所有頻段之間都顯著相關(guān)。特別是，本研究發(fā)現(xiàn)喚醒度與PFC區(qū)域的θ頻段和α頻段功率之間存在顯著負相關(guān)。關(guān)于支配度，本研究結(jié)果表明右半球發(fā)揮了更實質(zhì)性的作用，這在F2、FC6和T8區(qū)域的顯著電極中得到了體現(xiàn)。

fNIRS特征在三個維度上的分析結(jié)果揭示了氧合和脫氧信號之間存在顯著相關(guān)性。這一發(fā)現(xiàn)與Bandara等人(2018)的研究一致，即除氧合信號外，脫氧信號在區(qū)分效價和喚醒方面也起著至關(guān)重要的作用。本研究結(jié)果顯示，fNIRS信號與效價評分的相關(guān)性最強。具體而言，積極刺激引發(fā)了PFC區(qū)域AFF10h氧合信號的頻帶功率增加，同時導致F8h、AF4h和F7h區(qū)域脫氧信號的頻帶功率下降。此外，NFp1和AF3h通道的脫氧水平與效價呈現(xiàn)顯著的正相關(guān)(p＜0.01)。關(guān)于喚醒度，可以觀察到AFF10h位置的頻帶功率和氧合信號都有所增加。而在支配度方面，NFp1通道的平均脫氧水平下降。

結(jié)論

本研究提出了fNIRS-EEG情感數(shù)據(jù)庫(FEAD)，該數(shù)據(jù)庫包含37名被試的神經(jīng)血流動力學數(shù)據(jù)以及對24個情緒視頻刺激的情感狀態(tài)評分。本研究使用便攜式設(shè)備來記錄EEG和fNIRS信號，這種方法為情感計算技術(shù)和算法在各種應(yīng)用中的整合提供了契機，并且研究結(jié)果很好地揭示了EEG和fNIRS信號對情緒維度的敏感性。希望未來的研究能夠利用該數(shù)據(jù)庫進行探索并開發(fā)新的數(shù)據(jù)分析方法。

參考文獻：A. F. Nia, V. Tang, V. Malyshau, A. Barde, G. M. Talou and M. Billinghurst, “FEAD: Introduction to the fNIRS-EEG Affective Database - Video Stimuli,” in IEEE Transactions on Affective Computing, doi: 10.1109/TAFFC.2024.3407380.