基于統(tǒng)計(jì)的生物命名實(shí)體識(shí)別研究.pdf

1、生物醫(yī)學(xué)文獻(xiàn)中的命名實(shí)體識(shí)別是目前被國際廣為關(guān)注的自然語言處理研究問題之一。雖然自然語言處理在某些領(lǐng)域已經(jīng)獲得了很好的效果，但在生物醫(yī)學(xué)領(lǐng)域卻還有不小的差距。由于生物醫(yī)學(xué)的蓬勃發(fā)展，新的命名實(shí)體層出不窮，其不規(guī)則的命名，以及舊詞新用，使生物命名實(shí)體識(shí)別成為一項(xiàng)艱巨的任務(wù)，也在一定程度上影響著生物醫(yī)學(xué)領(lǐng)域的研究進(jìn)展。目前的研究方法很多，其中，統(tǒng)計(jì)自然語言處理由于其基于統(tǒng)計(jì)的學(xué)習(xí)方法不需要研究者具有太多生物醫(yī)學(xué)專業(yè)知識(shí)，從而成為生物命名實(shí)體

2、識(shí)別研究中常用的方法。 隱馬爾可夫模型是現(xiàn)代語音識(shí)別系統(tǒng)中構(gòu)建統(tǒng)計(jì)模型的重要手段。它可以在只有少量訓(xùn)練數(shù)據(jù)的情況下學(xué)習(xí)規(guī)則。目前國際上有不少研究者采用了隱馬爾可夫模型及其變形來解決生物命名實(shí)體識(shí)別問題，雖然取得了不錯(cuò)的進(jìn)展，但都沒有達(dá)到“近乎人類”的程度，還有許多問題有待解決，而國內(nèi)的研究也才剛剛起步。所以本文的研究主要采用隱馬爾可夫模型，對(duì)生物命名實(shí)體識(shí)別問題進(jìn)行初步的研究。進(jìn)行的工作如下： 1、從已標(biāo)注語料庫中用統(tǒng)計(jì)

3、的方法訓(xùn)練隱馬爾可夫模型。通過對(duì)已標(biāo)注語料進(jìn)行統(tǒng)計(jì)得到隱馬爾可夫模型的參數(shù)：狀態(tài)集、發(fā)射符號(hào)集、初始狀態(tài)概率、狀態(tài)轉(zhuǎn)移概率、符號(hào)發(fā)射概率。在不同的試驗(yàn)中用不同的方法來發(fā)現(xiàn)發(fā)射符號(hào)(命名實(shí)體名)的一些命名規(guī)律，對(duì)其進(jìn)行歸并，形成發(fā)射符號(hào)集，并掘此進(jìn)行各項(xiàng)概率的統(tǒng)計(jì)。在計(jì)算概率時(shí)，為了解決數(shù)據(jù)稀疏問題，采用了線性插值的方法進(jìn)行平滑。在實(shí)現(xiàn)過程中提出了詞結(jié)構(gòu)相似度的概念，為符號(hào)歸并提供一個(gè)量化標(biāo)準(zhǔn)。 2、在未標(biāo)注語料上測(cè)試訓(xùn)練好的隱馬

4、爾可夫模型。以未標(biāo)注語料的一個(gè)自然句作為隱馬爾可夫模型的輸入序列，用Viterbi算法獲得輸出狀態(tài)序列，從而得到識(shí)別出的生物命名實(shí)體。形成輸入序列時(shí)，在不同的試驗(yàn)中采用了不同的分詞方法。通過計(jì)算自然句中一組詞與發(fā)射符號(hào)集中各項(xiàng)的相似度，確定把自然句劃分為詞序列的邊界，并輔以簡單的詞性分析。 3、計(jì)算測(cè)試結(jié)果的召回率和精確率，通過比較，對(duì)隱馬爾可夫模型進(jìn)行改進(jìn)，并重復(fù)以上過程直到獲得一個(gè)可以有效識(shí)別生物命名實(shí)體的隱馬爾可夫模型。