來自波蘭的研究人員在 sensors 雜志上發(fā)表文章，探討了虛擬現(xiàn)實(shí)（vr）和近紅外技術(shù)的實(shí)際結(jié)合問題。他們設(shè)計(jì)了一套綜合實(shí)驗(yàn)平臺(tái)，其中包含 cw-fnirs 和頭戴式顯示（hmd）技術(shù)，并使用變體后的經(jīng)典 n-back 任務(wù)（2-back 版本）在虛擬現(xiàn)實(shí)中進(jìn)行實(shí)驗(yàn)。結(jié)果證實(shí)了結(jié)合 fnirs 和 hmd 技術(shù)，實(shí)驗(yàn)者可以有效地將實(shí)驗(yàn)性認(rèn)知過程轉(zhuǎn)移到可控的 vr 環(huán)境中。
研究背景功能性近紅外光譜(fnirs)是功能神經(jīng)成像技術(shù)之一，使用波長為650-950nm的近紅外光來測量皮質(zhì)腦區(qū)的血流動(dòng)力學(xué)反應(yīng)。近紅外系統(tǒng)通常使用激光或led發(fā)射連續(xù)波(cw)近紅外光。vr技術(shù)已被用于注意力技能的研究和訓(xùn)練，已有許多結(jié)合vr和近紅外技術(shù)的案例和論文。結(jié)合vr和fnirs技術(shù)，通過訓(xùn)練程序調(diào)節(jié)注意力狀態(tài)的可行性已經(jīng)得到證明。識(shí)別注意狀態(tài)可以用于監(jiān)測受試者在任務(wù)中的參與度。用戶與系統(tǒng)的交互體驗(yàn)可以通過視覺量表和問卷來測量其滿意度。本研究假設(shè)：dlfpc 和 mfg 區(qū)的血流動(dòng)力學(xué)活動(dòng) (hbo/hbr 濃度變化 ) 在增強(qiáng)注意力投入 (n-back 任務(wù) ) 和放松狀態(tài)之間的差異將顯著高于研究組的機(jī)會(huì)閾值水平。用戶與系統(tǒng)的交互體驗(yàn)(fnirs+hmd) 將高于滿意度評(píng)估量表的平均值。被試12 名受試者 (10 名女性 )，年齡 21-34 歲 (m = 24.82;sd = 4.38) 參與實(shí)驗(yàn)。實(shí)驗(yàn)中所有參與者均為右利手，裸眼視力和校正后視力正常。設(shè)備近紅外信號(hào)被記錄在一個(gè)雙波長 (760 和 850 nm) fnirs系統(tǒng)中 ((cortivision sp. z o.o., lublin, poland）。其中共有16 個(gè)led光源和10探測器。在線階段的數(shù)據(jù)處理在openvibe 3.1.0 (inria hybrid team, rennes, france)上使用自定義python 腳本進(jìn)行。使用 unity3d 引擎開發(fā) vr 場景，并在oculus quest(facebook technologies, menlo park, ca, usa)上顯示。使 用 jasp軟件對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析。實(shí)驗(yàn)裝置包括無線一體化 vr 護(hù)目鏡 和可穿戴 fnirs設(shè)備。在數(shù)據(jù)記錄過程中，參與者是坐著的，設(shè)備是無線連接的。主觀滿意度評(píng)估使用視覺模擬量表 (visual analogue scale, vas) 來評(píng)估兩組實(shí)驗(yàn)結(jié)束后的總體主觀滿意度。評(píng)估采用 11 分制”。使用改良版的魁北克輔助技術(shù)用戶評(píng)價(jià) (equest 2.0) 來測量參與者對(duì)使用系統(tǒng)滿意度。實(shí)驗(yàn)流程該研究包括三個(gè)部分。step1：需要判斷當(dāng)前水果在兩個(gè)水果之前是否看到過。當(dāng)法師扔出能量球時(shí)代表放松。step2：離線階段的任務(wù)和教程相同。step3：要求被試只在腦內(nèi)做同樣的任務(wù)。物體的運(yùn)動(dòng)方向直接由分類輸出信號(hào)控制。實(shí)驗(yàn)中，任務(wù)和休息依次交替。在每個(gè)“2-back”任務(wù)塊中，水果列表隨機(jī)分為3個(gè)目標(biāo)、7個(gè)非目標(biāo)。數(shù)據(jù)收集近紅外數(shù)據(jù)由cortivision photon cap系統(tǒng)收集。使用了10個(gè)通道。此外，在f3和f4位置放置了兩個(gè)短距離通道（見圖3）。對(duì)于所有數(shù)據(jù)通道，光源與探測器之間的距離保持在30毫米左右。短通道的距離則固定為10毫米。光源和探測器的放置位置是基于軟件中的預(yù)定義位置進(jìn)行選擇的。三個(gè)感興趣區(qū)域（mfg、l-dlpfc、r-dlpfc）被自動(dòng)從腦區(qū)解剖翻譯為10-5國際系統(tǒng)位置。信號(hào)處理將原始光強(qiáng)度轉(zhuǎn)換為光密度。處理記錄的前5秒期間記錄基線。然后將光密度轉(zhuǎn)換為氧脫氧血紅蛋白（hbo/hbr）濃度。然后，基于vr應(yīng)用程序流標(biāo)記進(jìn)行基于刺激的分段。。進(jìn)行低通濾波。采用廣義線性模型 (glm) 進(jìn)行特征提取，并進(jìn)行進(jìn)一步分析。將獲得的包含提取特征的數(shù)據(jù)集分為五部分進(jìn)行五次交叉驗(yàn)證。每次重復(fù)交叉驗(yàn)證都包括以下步驟：
z-score標(biāo)準(zhǔn)化：訓(xùn)練集和測試集的z-score標(biāo)準(zhǔn)化。svm分類器被用來區(qū)分兩個(gè)類：“放松”和“2-back任務(wù)”。
結(jié)果分類準(zhǔn)確性單樣本非參數(shù)wilcoxon符號(hào)等級(jí)檢驗(yàn)的結(jié)果表明，校準(zhǔn)階段的分類精度為m=88.58，sd=8.49，顯著高于müller-putz等人為兩類bci計(jì)算的95%的概率上限(t=78，p<0.01，rrb=1)。然而，我們在在線條件下沒有觀察到顯著差異(m=61，sd=14.89，t=6，p=0.107)。同時(shí)，這兩種情況都顯著高于50%的機(jī)會(huì)水平(校準(zhǔn)：t=78，p<0.001，rrb=1；在線：t=31，p<0.001，rrb=0.72)。表給出了校準(zhǔn)和在線會(huì)話中所有參與者的平均分類精度結(jié)果。用戶滿意度用戶對(duì)系統(tǒng)的交互整體滿意度平均為6分，接近滿分11分的“非常滿意”評(píng)分。調(diào)查發(fā)現(xiàn)，在交互中得分的方面是安全性和易用性。對(duì)于系統(tǒng)的其余方面，評(píng)分平均為5級(jí)以上，包括調(diào)節(jié)性、尺寸、可靠性、重量和舒適性。結(jié)論根據(jù)感興趣的區(qū)域?qū)ρ鲃?dòng)力學(xué)變化進(jìn)行分類，可以識(shí)別出注意力增強(qiáng)和放松程度。在實(shí)驗(yàn)中，頭戴式顯示設(shè)備和移動(dòng)fnirs交互的總體用戶滿意度較高。此外，開源實(shí)時(shí)數(shù)據(jù)處理軟件中的信號(hào)處理方式可以為未來的腦機(jī)接口和神經(jīng)反饋研究提供框架。便攜式fnirs和虛擬現(xiàn)實(shí)系統(tǒng)在更自然條件下研究認(rèn)知過程是可行的。參考文獻(xiàn):zapa?a, d., augustynowicz, p., & tokovarov, m. (2022). recognition of attentional states in vr environment: an fnirs study.sensors,22(9), 3133.