基于語(yǔ)義主題模型的人體異常行為識(shí)別研究.pdf

1、智能視頻監(jiān)控系統(tǒng)在特定場(chǎng)景中對(duì)停留或經(jīng)過的目標(biāo)進(jìn)行實(shí)時(shí)監(jiān)視，其主要目標(biāo)是自動(dòng)提供場(chǎng)景描述，并根據(jù)觀察到的信息對(duì)目標(biāo)行為和目標(biāo)間的交互進(jìn)行理解和預(yù)測(cè)。作為對(duì)傳統(tǒng)視頻監(jiān)控系統(tǒng)的革新，智能視頻監(jiān)控系統(tǒng)正越來(lái)越受到人們的重視。對(duì)于視頻序列中人體異常行為的分析識(shí)別是智能視頻監(jiān)控領(lǐng)域中日益受到重視的一個(gè)研究方向?；谌梭w異常行為分析的智能視頻監(jiān)控系統(tǒng)不僅能忽略大量監(jiān)控系統(tǒng)中對(duì)安防無(wú)用的信息，能夠高效地完成保障安全的任務(wù)，還能節(jié)省大量的人力物力，給社

2、會(huì)帶來(lái)很大的經(jīng)濟(jì)效益，并且能夠?qū)崿F(xiàn)即時(shí)報(bào)警，解決了傳統(tǒng)監(jiān)控系統(tǒng)的事后性問題。
　　 本文從認(rèn)知心理學(xué)角度出發(fā)，針對(duì)現(xiàn)有人體異常行為分析識(shí)別技術(shù)存在的人體運(yùn)動(dòng)難以精確檢測(cè)和跟蹤、人體異常行為模型難以精確定義、人體異常行為判決難以解釋和缺乏實(shí)時(shí)性等問題，提出了基于語(yǔ)義主題模型的人體異常行為識(shí)別方法，以“低層運(yùn)動(dòng)詞包建模--中層人體行為語(yǔ)義建模--高層異常行為語(yǔ)義識(shí)別”為路線展開研究，以下所提出的算法均在實(shí)踐中進(jìn)行了應(yīng)用。本課題研究的

3、難點(diǎn)在于如何使計(jì)算機(jī)能夠從人的認(rèn)知角度理解監(jiān)控場(chǎng)景中人體行為的語(yǔ)義信息，有效辨別各種人體行為類型之間的相似性。本文的主要貢獻(xiàn)如下：
　　 1)針對(duì)基于傳統(tǒng)語(yǔ)義主題模型的人體行為建模方法中，傳統(tǒng)語(yǔ)義主題模型(例如：LDA和PLSA模型)僅僅關(guān)注運(yùn)動(dòng)詞匯的語(yǔ)義而忽略運(yùn)動(dòng)詞匯間的時(shí)序關(guān)系問題，提出了隱馬爾科夫主題模型(Hidden Markov Topic Model，HMTM)。HMTM模型是關(guān)注運(yùn)動(dòng)詞匯時(shí)序關(guān)系的隱馬爾科夫模型(H

4、idden Markov Topic Model，HMM)和關(guān)注運(yùn)動(dòng)詞匯語(yǔ)義的主題模型(Topic Model，TM)的組合模型，其不僅能捕捉運(yùn)動(dòng)詞匯間的時(shí)序關(guān)系，而且能建模運(yùn)動(dòng)詞匯間的共現(xiàn)關(guān)系。HMTM模型克服了語(yǔ)義主題模型在檢測(cè)精度和魯棒性上的不足，能比較好地實(shí)現(xiàn)監(jiān)控場(chǎng)景中人體行為聚類的任務(wù)。
　　 2)針對(duì)具有較長(zhǎng)時(shí)間跨度的人體復(fù)雜行為建模問題，提出了協(xié)同聚類主題模型(Co-Clustering Topic Model，C

5、CTM)。CCTM模型是基于已有的協(xié)同聚類算法(Co-Clustering Algorithm)和主題模型構(gòu)造，能同時(shí)地聚類視頻序列和運(yùn)動(dòng)詞匯。CCTM模型是一個(gè)四層主題模型，該模型將視頻序列(video)建模為行為的隨機(jī)組合，同時(shí)行為是視頻序列中某些視頻剪輯(clip)的概率分布；而視頻剪輯建模為動(dòng)作的隨機(jī)組合，同時(shí)動(dòng)作是視頻剪輯中視覺詞匯的概率分布。CCTM模型不僅能捕捉運(yùn)動(dòng)詞匯之間相關(guān)性，而且能建模動(dòng)作(主題)間的相關(guān)性；同時(shí)改進(jìn)

6、了傳統(tǒng)協(xié)同聚類算法的可解釋性。CCTM模型克服了傳統(tǒng)協(xié)同聚類算法和主題模型在人體復(fù)雜行為建模過程中測(cè)量精度、魯棒性和計(jì)算效率上的不足，能比較好地實(shí)現(xiàn)監(jiān)控場(chǎng)景中行為聚類的任務(wù)。
　　 3)針對(duì)CCTM模型僅僅關(guān)注行為間的語(yǔ)義而忽略行為間的時(shí)序關(guān)系問題，提出了主題隱馬爾科夫?qū)哟文Ｐ?Topic Hidden Markov Model，THMM)。THMM模型是基于已有的馬爾科夫模型和主題模型構(gòu)造，不但聚類運(yùn)動(dòng)詞匯成簡(jiǎn)單動(dòng)作，而且聚類

7、簡(jiǎn)單動(dòng)作成全局行為，同時(shí)建模了行為時(shí)間上的相關(guān)性。THMM是一個(gè)四層貝葉斯主題模型，該模型將視頻序列建模為行為的馬爾科夫鏈，同時(shí)行為是視頻序列中某些視頻剪輯的概率分布；而視頻剪輯建模為動(dòng)作的隨機(jī)組合，同時(shí)動(dòng)作是視頻剪輯中視覺詞匯的概率分布。THMM模型克服了傳統(tǒng)隱馬爾科夫模型和主題模型在在人體復(fù)雜行為建模過程中精度、魯棒性和計(jì)算效率上的不足，能比較好地實(shí)現(xiàn)監(jiān)控場(chǎng)景中行為聚類的任務(wù)。
　　 4)針對(duì)語(yǔ)義主題模型只能進(jìn)行離線和批量推

8、理(即：分類判別)的問題，提出運(yùn)行時(shí)累積的異常性測(cè)度及其在線異常行為檢測(cè)方法和基于在線似然比檢驗(yàn)(Likelihood Ratio Test，LRT)的實(shí)時(shí)正常行為分類方法，克服了實(shí)時(shí)行為識(shí)別過程中由于缺乏充分視覺證據(jù)而引發(fā)的行為類型歧義，能比較好地實(shí)現(xiàn)監(jiān)控場(chǎng)景中實(shí)時(shí)異常行為檢測(cè)和在線正常行為識(shí)別的任務(wù)。該方法首先引入一種運(yùn)行時(shí)累積的測(cè)度在線判定新出現(xiàn)的人體行為是否異常，然后進(jìn)一步采用在線LRT方法實(shí)時(shí)判斷正常行為屬于哪一種人體行為類型

9、。在線LRT方法是基于獲得充足視覺證據(jù)做出的識(shí)別決策，并且是在盡可能短的時(shí)間內(nèi)確保魯棒性的異常檢測(cè)和行為識(shí)別。
　　 5)針對(duì)語(yǔ)義主題模型只能進(jìn)行離線和批量推理(即：分類判別)的問題，提出了一種Fisher核函數(shù)(Fisher Kernel)和基于在線單類Fisher核支持向量機(jī)(Fisher Kernel Online One-class Support Vector Machine，F(xiàn)K-OOCSVM)的在線異常行為檢測(cè)方法