資源描述：
《深度網(wǎng)絡(luò)模型壓縮及其在人臉識別的應(yīng)用》由會員上傳分享，免費(fèi)在線閱讀，更多相關(guān)內(nèi)容在學(xué)術(shù)論文-天天文庫。
1、工程碩士學(xué)位論文深度網(wǎng)絡(luò)模型壓縮及其在人臉識別的應(yīng)用作者姓名黎李強(qiáng)工程領(lǐng)域電子與通信工程校內(nèi)指導(dǎo)教師胡永健教授校外指導(dǎo)教師梁添才教授級高工所在學(xué)院電子與信息學(xué)院論文提交日期2018年4月DeepNeuralNetworkModelCompressionanditsApplicationinFaceRecognitionADissertationSubmittedfortheDegreeofMasterCandidate：LiLiqiangSupervisor：Prof.HuYongjianSouthChinaUniversityofTechnologyGuangzho
2、u,China摘要深度學(xué)習(xí)在圖像、語音、自然語言處理等眾多領(lǐng)域的應(yīng)用取得巨大的成功，但深度網(wǎng)絡(luò)模型因其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和大量的網(wǎng)絡(luò)參數(shù)，需要很多的運(yùn)算量和存儲空間開銷，難以在存儲和計(jì)算資源有限的硬件設(shè)備上進(jìn)行部署，尤其是在移動設(shè)備。因此，如何在保證深度網(wǎng)絡(luò)模型準(zhǔn)確度不下降的前提下，通過對網(wǎng)絡(luò)模型進(jìn)行精簡處理，以減少對硬件設(shè)備計(jì)算能力的要求和存儲資源的開銷，這是一個具有重要意義的研究問題。本文主要針對深度網(wǎng)絡(luò)模型壓縮進(jìn)行研究，并將其應(yīng)用于深度人臉網(wǎng)絡(luò)模型，具體工作如下：1．網(wǎng)絡(luò)剪枝是一種用于去除網(wǎng)絡(luò)冗余連接以減少網(wǎng)絡(luò)冗余計(jì)算量的技術(shù)，該技術(shù)的關(guān)鍵是明確網(wǎng)絡(luò)冗余連接，而目前
3、關(guān)于網(wǎng)絡(luò)冗余連接沒有準(zhǔn)確的定義。雖然網(wǎng)絡(luò)連接的權(quán)值大小與網(wǎng)絡(luò)重要連接相關(guān)，但前提需要確定網(wǎng)絡(luò)重要連接的閾值。為了解決現(xiàn)有網(wǎng)絡(luò)剪枝方法在確定網(wǎng)絡(luò)剪枝閾值和選取重要連接權(quán)重方面的不足，本文基于網(wǎng)絡(luò)初始狀態(tài)和最終狀態(tài)的差異，提出了一種新的確定有效網(wǎng)絡(luò)剪枝閾值和選取網(wǎng)絡(luò)重要連接權(quán)重的方法。2．與目前的人臉網(wǎng)絡(luò)模型依靠構(gòu)造復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)或非公開人臉數(shù)據(jù)集實(shí)現(xiàn)優(yōu)越性能不同，本文使用殘差網(wǎng)絡(luò)結(jié)構(gòu)與MFM激活函數(shù)設(shè)計(jì)相對小型的人臉網(wǎng)絡(luò)模型，在常用公開的人臉數(shù)據(jù)上進(jìn)行訓(xùn)練，在LFW人臉數(shù)據(jù)集上測試，取得較高的準(zhǔn)確度。本文通過構(gòu)造新的ResNet+MFM網(wǎng)絡(luò)模塊，以提升網(wǎng)絡(luò)的特征提取能力
4、，同時為了有效地提升網(wǎng)絡(luò)準(zhǔn)確度，本文采用A-Softmax損失函數(shù)進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練。3．為了減少網(wǎng)絡(luò)模型參數(shù)對存儲空間的開銷，通過將本文的冗余權(quán)重去除方法與權(quán)重量化和哈夫曼編碼壓縮相結(jié)合，對本文的人臉網(wǎng)絡(luò)模型進(jìn)行深度網(wǎng)絡(luò)模型壓縮，以實(shí)現(xiàn)網(wǎng)絡(luò)模型冗余權(quán)重的去除和存儲空間的減少。關(guān)鍵詞：深度學(xué)習(xí)；深度網(wǎng)絡(luò)模型壓縮；人臉識別；網(wǎng)絡(luò)剪枝IABSTRACTDeeplearninghasachievedgreatsuccessinapplicationssuchasimage,speech,andnaturallanguageprocessing,butdeepneuralne
5、tworksmodelsrequirealotofcomputationalandstoragespaceoverheadduetotheircomplexnetworkstructureandalargenumberofnetworkparameters.Itishardtodeeployonhardwaredeviceswithlimitedstorageandcomputingresources,especiallyonmobiledevices.Therefore,onthepremiseofensuringthattheaccuracyofthedeepne
6、uralnetworksmodeldoesnotdecrease,thenetworkmodelcanbestreamlinedtoreducetherequirementsonthecomputingcapacityofhardwaredevicesandtheoverheadofstorageresources，whichisanimportantresearchissue.Thispaperfocusesonthedeepneuralnetworksmodelcompressionresearch,andappliesittothedeepfacenetwork
7、model,thespecificworkisasfollows:1.Networkpruningisatechnologyusedtoremoveredundantconnectionsofthenetworktoreducetheamountofnetworkredundancycalculation.Thekeyofthistechnologyistodefinethenetworkredundantconnections,butatpresent,thereisnoaccuratedefinitionofnetworkredundantcon
