肌電信號交互

1、基于表面肌電信號動作識別與交互,,,基于表面肌電信號的人體動作識別,基于SEMG的手勢動作識別技術(shù),手勢識別與交互系統(tǒng),人機(jī)交互及人體動作識別,,人機(jī)交互及人體動作識別,智能人機(jī)界面：計算機(jī)應(yīng)當(dāng)對人類的自然能力(包括觸覺、語言、筆形、姿勢和情感等)進(jìn)行感知。,人與計算機(jī)交互(Human-Computer Interaction,HCI),人機(jī)交互,,人機(jī)交互及人體動作識別,,指計算機(jī)自動檢測、分析和理解人體各類運動和行為，判斷人的意圖

2、并提供相應(yīng)服務(wù)的過程.,應(yīng)用：,人體動作識別,人機(jī)交互及人體動作識別,,感知人體動作的兩種主流方式：,1、計算機(jī)視覺：采用視覺設(shè)備和圖像處理技術(shù)持續(xù)捕獲人體動作，具有跟蹤全身或局部肢體運動，并獲取表情或手勢等動作在攝像機(jī)視圖二維平面投影的形狀信息的功能。缺點：(1)環(huán)境影響;(2)難察覺精細(xì)的人體動作;(3)動作分割難。,2、運動測量：用戶身體上安放各類傳感器設(shè)備測量用戶執(zhí)行動作時產(chǎn)生的物理量。缺點：傳感器單一，獲取的信息有

3、限，可識別的人體動作種類不多。,基于表面肌電信號的人體動作識別,,,基于表面肌電信號的人體動作識別,,肌電信號(Eleotromyography,EMG）伴隨肌肉活動產(chǎn)生的一種重要的生物電信號。生理學(xué)依據(jù)：肢體的特定關(guān)節(jié)運動由對應(yīng)的肌肉群控制。肌電控制系統(tǒng)：通過對在相應(yīng)肌群上采集到的EMG信號對不同人體動作進(jìn)行識別，用識別結(jié)果控制外圍設(shè)備。,概念,基于表面肌電信號的人體動作識別,,表面肌電信號產(chǎn)生原理,MUAPT,表面

4、肌電信號：幅度范圍為0-1.5mA，帶寬為0.5-2000Hz，是許多運動單位(Motor Unit,MU)的電發(fā)放的總和，波形呈干擾形，很難從中分辨單一單位動作的波形。,表面肌電信號（Surface EMG,SEMG）運動單位動作電位(Motor Unit Action Potential，MUAP)運動單位的動作電位序列(Motor Unit Action Potential Train，MUAPT),基于表面肌電信號的人

5、體動作識別,,針電極肌電信號(Needle EMG；NEMG)以針形電極為引導(dǎo)電極，將其插入到肌肉內(nèi)部，直接在活動肌纖維附近檢測電位信息。特點：干擾小，定位性好，易識別；具有良好的空間分辨率和較高的信噪比；但是一種有創(chuàng)傷的檢測方法；不宜同時測量多路信。,表面電極肌電信號（Surface EMG,SEMG）從人體皮膚表面通過電極記錄下來的神經(jīng)肌肉活動時發(fā)放的生物電信號。特點：較大的檢測表面和較低的空間分辨率；記錄的信號

6、為一定范圍內(nèi)肌纖維電活動的總和；測量的無損傷性；干擾大。,肌電信息采集方式分兩種：,,測量優(yōu)勢：1．感知動作的直接性2．檢測動作的敏感性3．傳感器低成本高便攜性,主要問題：1．可識別的手勢動作的種類較少2．缺乏結(jié)合生理學(xué)知識的系統(tǒng)研究3．可重復(fù)性和通用性,基于表面肌電信號的人體動作識別,,信號采集：SEMG信號的采集手段已經(jīng)從模擬測量方式轉(zhuǎn)為數(shù)字記錄。預(yù)處理：測量電極多采用空間電極配置方式；通過多個電極適當(dāng)形

7、式的互相組合采集SEMG信號，以改善檢測SEMG的信噪比。目前應(yīng)用較多的空間電極配置方式為雙極性(Bipolar)和拉普拉斯(Laplaoe)電極。,基于表面肌電信號的人體動作識別,表面肌電信號的采集與預(yù)處理,,肌肉興奮產(chǎn)生神經(jīng)脈沖，電極處產(chǎn)生連續(xù)發(fā)放形成的MUAPT,采用表面電極肌電信號采集方法,基于SEMG的手勢動作識別技術(shù),信號預(yù)處理,整流，平滑，濾波，振幅標(biāo)準(zhǔn)化,基于表面肌電信號的人體動作識別,信號采集,信號產(chǎn)生,信號識別,

8、基于SEMG的手勢動作識別技術(shù),,多通道表面肌電信號手勢動作識別及交互控制示意圖：,由放置在人手臂皮膚表面預(yù)定位置上的SEMG傳感器同步獲取多通道SEMG信號數(shù)據(jù)，經(jīng)由活動段檢測方法標(biāo)定每一個動作執(zhí)行時對應(yīng)信號流的起止點，再通過特征提取后進(jìn)行分類識別，動作的識別結(jié)果可以轉(zhuǎn)化為控制指令，作為人機(jī)交互的輸入。手勢動作SEMG模式識別算法由活動段檢測、特征提取和分類識別三個主要環(huán)節(jié)組成。,基于SEMG的手勢動作識別技術(shù),,活動段檢測,連續(xù)

9、采集的多通道肌電信號數(shù)據(jù)流中提取出對應(yīng)于動作執(zhí)行時的信號,稱為活動段(Active Segments)。活動段檢測的任務(wù)：確定手勢動作SEMG信號的起點和終點位置，檢測前提條件：對手勢動作SEMG信號活動段檢測的準(zhǔn)確判別。已有的SEMG活動段提取算法有短時傅立葉方法、自組織人工神經(jīng)網(wǎng)絡(luò)方法、移動平均方法等。確定每一個手勢動作樣本所對應(yīng)的多通道SEMG信號活動段,用于以下環(huán)節(jié)的特征提取和模式分類。,基于SEMG的手勢動作識別技

10、術(shù),,特征提取,特征提取環(huán)節(jié)的主要目標(biāo)：將動作SEMG信號用一組能表征其類型固有特性的數(shù)據(jù)來描述，作為該類別的特征，并盡可能做到不同手勢動作類別提取得到的特征差異明顯,便于分類。,,基于SEMG的手勢動作識別技術(shù),,分類器設(shè)計,分類器設(shè)計是模式識別任務(wù)實現(xiàn)的核心環(huán)節(jié)，目的：建立用于識別信號模式的分類模型，以準(zhǔn)確判定待識別的樣本特征所歸屬的類別。,在SEMG模式識別研究中常用的分類器：,手勢識別與交互系統(tǒng),,實時手勢交互系統(tǒng)組成,系統(tǒng)

11、組成：信號檢測模塊和算法處理模塊。,,實現(xiàn)模擬-數(shù)字轉(zhuǎn)換功能,,,獲取信號,,信號處理：放大、濾波等,,包括信號預(yù)處理、活動段檢測、特征提取和分類識別4個主要步驟,手勢識別與交互系統(tǒng),,各階段的作用,信號預(yù)處理：通過數(shù)字濾波去除信號基線漂移等方法以增加后級活動段檢測的準(zhǔn)確性?；顒佣螜z測：從多通道SEMG連續(xù)數(shù)據(jù)流中確定手語動作執(zhí)行時的信號段。特征提?。夯救蝿?wù)是用一組最有效的參數(shù)來表征原始動作信號，實現(xiàn)數(shù)據(jù)的壓縮，并盡可能做到不

12、同手語動作對應(yīng)的信號特征差異明顯。分類識別階段：線性判別分類器LDC因其良好的性能和較低的計算復(fù)雜度作為實時手勢SEMG信號分類的首選算法。,手勢識別與交互系統(tǒng),,用戶使用此系統(tǒng)進(jìn)行手勢識別實驗的截圖,系統(tǒng)軟件界面包括信號實時顯示、系統(tǒng)參數(shù)調(diào)整、功能控制選擇和結(jié)果顯示4個主要區(qū)域。系統(tǒng)軟件包含存儲訓(xùn)練樣本和實時測試兩個基本功能。當(dāng)使用存儲訓(xùn)練樣本功能時，系統(tǒng)可以對每一個手勢動作所對應(yīng)的活動段信號進(jìn)行特征提取，并將特征數(shù)據(jù)存儲在