資源描述:
《基于雙目視覺的地面投影互動系統(tǒng)研究》由會員上傳分享,免費在線閱讀,更多相關內容在學術論文-天天文庫。
1、碩士學位論文基于雙目視覺的地面投影互動系統(tǒng)研究作者姓名何伶珍學科專業(yè)控制理論與控制工程指導教師謝巍教授所在學院自動化科學與工程論文提交日期2018年5月14日TheResearchofProjection-floorInteractiveSystemBasedonBinocularVisionADissertationSubmittedfortheDegreeofMasterCandidate:HeLingzhenSupervisor:Prof.XieWeiSouthChinaUniversityofTechnologyGuangzhou,China分類號:T
2、P391.41學校代號:10561學號:201520112710華南理工大學碩士學位論文基于雙目視覺的地面投影互動系統(tǒng)研究作者姓名:何伶珍指導教師姓名、職稱:謝巍教授申請學位級別:學術型碩士學科專業(yè)名稱:控制理論與控制工程研究方向:圖像處理及模式識別論文提交日期:2018年5月14日論文答辯日期:2018年6月5日學位授予單位:華南理工大學學位授予日期:年月日答辯委員會成員:主席:胥布工委員:謝巍、喬宇鵬、祁恬摘要隨著人機交互技術、虛擬現(xiàn)實技術的發(fā)展,人類對人機交互方式的需求越來越多樣化,一種基于攝像與投影的互動系統(tǒng)在人機交互中的應用研究越來越廣泛。目前的攝像
3、投影交互系統(tǒng)主要采用紅外攝像頭加紅外激光輔助定位的方案實現(xiàn),這種方案雖然實現(xiàn)原理較為簡單,但是系統(tǒng)容易受到環(huán)境光線的干擾,需在屏蔽自然光的條件下使用。針對這個問題,本文設計并實現(xiàn)了一套基于雙目視覺的地面投影互動系統(tǒng),采用雙目攝像頭檢測代替紅外激光輔助定位方案。論文主要研究工作包括三個部分:(1)腳部實時檢測算法的研究與實現(xiàn)。投影交互系統(tǒng)實現(xiàn)的最大難點在于投影場景中的交互對象的定位與識別。而深度卷積神經網(wǎng)絡應用于物體識別領域,具有明顯的實時性高和準確度高等優(yōu)點。本文在重點闡述YOLO(YouLookOnlyOnce,YOLO)這一基于卷積神經網(wǎng)絡的目標檢測算法的
4、基礎上,分析了其不足之處,如訓練速度較慢、對細節(jié)區(qū)分度較差等,并針對這些不足提出了相應的改進方法,如對數(shù)據(jù)進行批規(guī)范化處理、對網(wǎng)絡結構加入Inception模型以及改進梯度函數(shù)等,最后利用改進YOLO算法實現(xiàn)了對腳部的識別與定位。(2)腳尖坐標的估計及腳尖在圖像的坐標到PC機鼠標坐標的映射。在實現(xiàn)腳部檢測的基礎上,結合腳部相對攝像頭的方向信息設計了一種腳尖坐標的估計方法,并基于線性插值的原理設計一種坐標映射法實現(xiàn)腳尖在圖像的坐標映射到PC機鼠標的坐標,從而調用鼠標API(ApplicationProgrammingInterface,API),觸發(fā)鼠標事件,實
5、現(xiàn)用戶與系統(tǒng)的交互。(3)地面投影互動系統(tǒng)的實現(xiàn)。在Windows+Qt開發(fā)環(huán)境下,采用C++結合OpenCV編程,通過多線程技術實現(xiàn)雙目攝像頭的同步采集,結合腳尖的位置和深度信息基于雙目視覺原理實現(xiàn)腳部動作的識別,并作為鼠標事件的邏輯對應,實現(xiàn)了一套功能完備的地面投影互動系統(tǒng)。實驗結果表明,本文設計的地面投影互動系統(tǒng)能夠實時檢測用戶腳部和識別定義的腳部動作,并有效減少環(huán)境光線的干擾,系統(tǒng)具有良好的實時性和魯棒性。關鍵詞:地面互動;投影系統(tǒng);雙目視覺;卷積神經網(wǎng)絡;目標檢測IABSTRACTWiththedevelopmentofHumanComputerIn
6、teractionTechniquesandVirtualRealityTechnology,thedemandforpatternsofhuman-computerinteractionhasbecomemorediverse,andtheresearchandapplicationofaninteractivesystembasedoncamera-projectioninhuman-computerinteractionhasbecomemoreandmoreextensive.Theimplementationofcurrentcamera-proje
7、ctioninteractionsystemisusinginfraredcameraandinfraredlasertoassistlocation.Althoughtheprincipleofthisplanissimple,itissusceptibletotheinterferenceofenvironmentallights.Tosolvethisproblem,thispaperdesignsandimplementsaninteractivefloorprojectionsystembasedonbinocularvision,usingbino
8、cularcameratoachiev