華東理工大學(xué)學(xué)生正在“遛機(jī)器狗”。 華東理工大學(xué) 供圖

原地踏步，直行，轉(zhuǎn)彎……大草坪上，一只高約40厘米的機(jī)器狗，正在根據(jù)其身后一位戴智能頭環(huán)的學(xué)生的指令走來走去。這位“遛機(jī)器狗”的學(xué)生劉力菲是華東理工大學(xué)信息學(xué)院、數(shù)學(xué)學(xué)院雙聘導(dǎo)師金晶教授領(lǐng)銜的腦機(jī)接口及控制團(tuán)隊(duì)的一員。

3月18日，澎湃新聞（m.nxos.com.cn）記者從華東理工大學(xué)獲悉，該校金晶教授有一項(xiàng)最新研發(fā)成果——“面向四足控制的混合現(xiàn)實(shí)增強(qiáng)腦-機(jī)接口系統(tǒng)”。金晶表示，這項(xiàng)研究為機(jī)器人控制提供了一種全新的交互范式，它通過混合現(xiàn)實(shí)技術(shù)與腦機(jī)接口的深度集成，能夠?qū)崿F(xiàn)對(duì)機(jī)器狗的高效、穩(wěn)定的控制，并且能適應(yīng)多種復(fù)雜場(chǎng)景。

據(jù)金晶團(tuán)隊(duì)介紹，傳統(tǒng)的基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口（BCI）系統(tǒng)進(jìn)入現(xiàn)實(shí)場(chǎng)景后，會(huì)面臨諸多挑戰(zhàn)，比如易受環(huán)境光干擾、便攜性差等，這就大大限制了它的實(shí)際應(yīng)用范圍和性能表現(xiàn)。針對(duì)這一瓶頸，金晶團(tuán)隊(duì)提出一種基于虛實(shí)融合控制的框架，通過分層異步控制策略，來增強(qiáng)腦機(jī)接口系統(tǒng)，使其具有抗干擾、高性能、輕量化、便攜式等突出優(yōu)勢(shì)。

為克服光干擾，研究團(tuán)隊(duì)引入了混合現(xiàn)實(shí)（MR）技術(shù)，將視覺刺激直接嵌入到用戶的現(xiàn)實(shí)視野中，有效克服了環(huán)境光干擾的影響，同時(shí)顯著提高了信號(hào)的識(shí)別準(zhǔn)確率。

該系統(tǒng)將任務(wù)分為近場(chǎng)和遠(yuǎn)場(chǎng)兩類，并分別通過增強(qiáng)現(xiàn)實(shí)（AR）和混合現(xiàn)實(shí)（MR）技術(shù)進(jìn)行處理。

對(duì)于近場(chǎng)任務(wù)，系統(tǒng)主要依賴增強(qiáng)現(xiàn)實(shí)技術(shù)。近場(chǎng)任務(wù)通常涉及四足機(jī)器人的精細(xì)操作和局部環(huán)境交互，對(duì)控制的實(shí)時(shí)性和精度要求較高。通過增強(qiáng)現(xiàn)實(shí)技術(shù)，系統(tǒng)能夠在用戶的視野中實(shí)時(shí)疊加機(jī)器人的運(yùn)動(dòng)狀態(tài)、周圍環(huán)境信息以及操作引導(dǎo)提示，從而提升控制的響應(yīng)速度與操作精度。

對(duì)于遠(yuǎn)場(chǎng)任務(wù)，系統(tǒng)則通過混合現(xiàn)實(shí)技術(shù)接口進(jìn)行管理。遠(yuǎn)場(chǎng)任務(wù)通常涉及全局路徑規(guī)劃、目標(biāo)導(dǎo)航以及大范圍環(huán)境感知等，對(duì)系統(tǒng)的穩(wěn)定性和全局視野要求較高。通過混合現(xiàn)實(shí)技術(shù)，系統(tǒng)能夠?yàn)橛脩籼峁┤汁h(huán)境信息與任務(wù)規(guī)劃支持，不僅提高了控制的穩(wěn)定性，還顯著降低了用戶的認(rèn)知負(fù)擔(dān)。

如此，這種分層異步控制策略，能夠有效平衡實(shí)時(shí)性與全局性需求，為用戶提供高效、直觀的操作體驗(yàn)。

此外，新系統(tǒng)還集成了先進(jìn)的信號(hào)處理算法和機(jī)器學(xué)習(xí)模型，為用戶提供更加精準(zhǔn)和流暢的控制體驗(yàn)。例如，傳統(tǒng)的BCI系統(tǒng)通常需要復(fù)雜的硬件設(shè)備和固定的操作環(huán)境，而新系統(tǒng)通過集成MR設(shè)備和無線通信模塊，實(shí)現(xiàn)了高度便攜化。用戶只要佩戴輕便的MR頭顯和腦電采集設(shè)備，就能在任何環(huán)境里對(duì)四足機(jī)器人進(jìn)行實(shí)時(shí)控制。這對(duì)于災(zāi)害救援、野外勘探等場(chǎng)景特別重要。

通過模塊化設(shè)計(jì)和靈活的算法配置，新系統(tǒng)同時(shí)還具備強(qiáng)大的場(chǎng)景適應(yīng)能力，可以快速適應(yīng)不同場(chǎng)景的需求。以醫(yī)療康復(fù)領(lǐng)域?yàn)槔?，系統(tǒng)可以用于幫助行動(dòng)障礙患者進(jìn)行康復(fù)訓(xùn)練，而在工業(yè)巡檢領(lǐng)域，系統(tǒng)可以用于控制四足機(jī)器人在復(fù)雜環(huán)境中執(zhí)行設(shè)備檢測(cè)、故障排查等任務(wù)。

此外，新系統(tǒng)還將推動(dòng)混合現(xiàn)實(shí)技術(shù)在智能交互領(lǐng)域的應(yīng)用，通過混合現(xiàn)實(shí)技術(shù)與腦機(jī)接口的結(jié)合，為智能家居、智能駕駛等領(lǐng)域的發(fā)展提供重要參考?！皬?qiáng)環(huán)境光干擾下的高性能表現(xiàn)，輕量化的便攜設(shè)計(jì)，以及廣泛的應(yīng)用場(chǎng)景適應(yīng)性，這些都標(biāo)志著腦機(jī)接口技術(shù)從理論研究走向?qū)嶋H應(yīng)用的重大突破。”金晶說。