中文詞匯語義相似度計算研究.pdf

1、詞匯語義相似度是對兩個詞語對象所蘊含意義的相近程度的度量。詞匯語義相似度計算是一項基礎(chǔ)而核心的工作，可以將“詞匯相似”這個抽象關(guān)系通過特定的計算方法映射成計算機可以處理的數(shù)值，從而將自然語言處理問題轉(zhuǎn)化為機器學習問題，其性能的好壞將直接影響到自然語言處理與信息檢索的各項任務(wù)。近年來，基于詞向量的詞匯語義相似度計算方法及其改進方法已成為該領(lǐng)域內(nèi)的前沿、熱點研究課題。
　　本文研究中文詞匯語義相似度計算，重點研究如何改進基于詞向量的方

2、法，并根據(jù)是否融入語義約束分為兩部分研究：
　?。?）無語義約束的詞向量模型
　　本文分別使用機器翻譯和LSTMs網(wǎng)絡(luò)改進標準Skip-gram模型：首先，分別利用標準Skip-gram模型根據(jù)不同的訓練語料得到標準詞向量，通過實驗分析了語料規(guī)模和語料質(zhì)量對詞向量模型的影響。其次，嘗試用機器翻譯構(gòu)建中、英文詞向量的關(guān)系，并用公開大規(guī)模英文詞向量選擇性地替換中文向量，改進原有中文詞向量計算性能。最后，將詞匯相似度計算問題轉(zhuǎn)化為

3、詞匯關(guān)系預測問題，并通過 LSTMs網(wǎng)絡(luò)學習詞對共現(xiàn)的句子序列，從而建模詞匯關(guān)系。
　　（2）融入語義約束的詞向量模型
　　本文提出了一種改進 Counter-fitting模型將語義約束融入已有詞向量模型：首先，利用網(wǎng)絡(luò)爬蟲技術(shù)擴展詞匯上下文。分別抓取詞匯出現(xiàn)以及詞對共現(xiàn)的句群作為詞對“上下文”，并抓取同義詞對、反義詞對擴充現(xiàn)有人工語義詞典。其次，計算詞匯語義相似度。分別利用語義詞典、檢索結(jié)果、預訓練好的詞向量計算語義相似

4、度。最后，利用改進 Counter-fitting方法優(yōu)化預訓練好的詞向量，具體的做法是，通過語義約束、向量空間存留構(gòu)造多項式目標函數(shù)，然后用梯度下降算法對目標函數(shù)求解，其中，語義約束不僅包括同義約束、反義約束，還包含了相似約束。
　　實驗結(jié)果表明，基于語義詞典的方法在登錄詞覆蓋率較高的情況下，有著先天優(yōu)勢，而當出現(xiàn)大量未登錄詞時，基于詞向量方法和基于 Web檢索的方法更具有實用性，此外，融入語義約束的詞向量模型的實驗結(jié)果達到目前