基于手指的人機交互系統(tǒng)研究與實現(xiàn).pdf

1、近年來,機器人技術發(fā)展迅猛,基于機器人的各項技術也在不斷進步,機器人已逐步進入各行各業(yè),在人的操作下,機器人可以完成諸如家庭衛(wèi)生打掃、物品搬運、病人和兒童看護、語音導航、信息查詢等任務。其中,手勢是人思想和意圖最直接的表達方式之一,也是人機交互的重要組成部分,成為了眾多專家和學者們研究的熱點。
　　手指作為手部重要組成部分,手指動作具有表達方式簡單、含義豐富的特點,利用手指進行人機交互將是新一代關鍵技術。在實際應用中,使用手指進行

2、人機交互可以分為手指檢測定位和手指動作識別兩個步驟。
　　手指檢測定位的目的是在圖像中找到手指的準確位置,本文為避免復雜環(huán)境下的光照、膚色等因素對手勢分割產(chǎn)生影響,將傳統(tǒng)手部圖像分割方法進行改進,提出了一種基于人體骨骼和深度圖像信息的手指檢測方法。首先采用Kinect攝像頭獲取人體骨骼和深度圖像信息,通過人體骨骼信息鎖定目標用戶,利用鎖定用戶的手部節(jié)點位置從深度圖像中提取手部區(qū)域圖像,最后結合手部輪廓特征和自主提出的算法找到指尖位

3、置。
　　手指動作識別旨在提取到手指位置后對其運動軌跡進行識別,以達到人機交互的目的。針對手寫輸入資料數(shù)據(jù)繁雜,需要處理大量的輸入變量的特點,本文采用的軌跡識別算法是隨機森林算法。本系統(tǒng)首先對手指指令輸入軌跡數(shù)據(jù)進行特征提取,然后對這些軌跡特征進行離散化和歸一化,將處理后的特征數(shù)據(jù)進行傅里葉描述子轉換,提取主要的低頻成分來描述軌跡,接著將轉換后的特征數(shù)據(jù)輸入到隨機森林分類器中進行訓練和識別,最后將識別結果發(fā)送到服務機器人并進行狀態(tài)

4、顯示,從而完成整個人機交互過程。
　　本文原型系統(tǒng)運行在服務機器人平臺上,服務機器人平臺搭載Windows7操作系統(tǒng),開發(fā)平臺采用Visual Studio2010,使用微軟MFC進行可視界面編程,對軟件設計模式進行了詳細的分析和整理,并應用到本文系統(tǒng)設計中。本文系統(tǒng)完成了人機交互系統(tǒng)框架的設計與構建,手勢檢測與識別算法的代碼實現(xiàn),上位機界面顯示與操作,以及系統(tǒng)和機器人底層的數(shù)據(jù)通信等相關內容。
　　實驗結果表明,本文系統(tǒng)能