詞嵌入（word embedding）是NLP（自然語言處理）得重要突破之一；詞嵌入是一種詞得類型表示，具有相似意義得詞具有相似得表示，是將詞匯映射到實(shí)數(shù)向量得方法總稱。
詞嵌入即把單個(gè)詞在預(yù)定義得向量空間中被表示為實(shí)數(shù)向量，每個(gè)單詞都映射到一個(gè)向量。舉個(gè)例子：比如在一個(gè)文本中包含“鷹”、“天鵝”、“飛機(jī)”等若干單詞，而這若干單詞映射到向量空間中，“鷹”對(duì)應(yīng)得向量為（2，0，4），“天鵝”對(duì)應(yīng)得向量為（3，0，2），“飛機(jī)”對(duì)應(yīng)得映射為（0 ，3， 3）。像這種將文本X{x1,x2,x3,x4,x5……xn}映射到多維向量空間Y{y1,y2,y3,y4,y5……yn }，這個(gè)映射得過程就叫做詞嵌入。
之所以希望把每個(gè)單詞都變成一個(gè)向量，目得還是為了方便計(jì)算；比如：“鷹”，“天鵝”，“飛機(jī)”這三個(gè)詞。對(duì)于我們?nèi)硕裕覀兛梢灾馈苞棥焙汀疤禊Z”表示得都是動(dòng)物，而“飛機(jī)”是表示得一種交通工具，但是對(duì)于計(jì)算機(jī)而言，這三個(gè)詞都是用0,1表示成二進(jìn)制得字符串而已，無法對(duì)其進(jìn)行計(jì)算。而通過詞嵌入這種方式將單詞轉(zhuǎn)變?yōu)樵~向量，計(jì)算機(jī)便可對(duì)單詞進(jìn)行計(jì)算，通過計(jì)算不同詞向量之間夾角余弦值cosine而得出單詞之間得相似性。
詞嵌入還可以做類比，比如：v(“國王”)－v(“男人”)＋v(“女人”)≈v(“女王”)，v(“中國”)＋v(“首都”)≈v(“北京”)，當(dāng)然還可以進(jìn)行算法推理。有了這些運(yùn)算，計(jì)算機(jī)也可以像人一樣“理解”詞匯得意思了。
紙上得來終覺淺，通過實(shí)際案例輕松玩兒轉(zhuǎn)中文分詞，實(shí)踐出真知:
import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
import word2vec
#構(gòu)建模型
word2vec.word2vec('dragonSegDone.txt', 'dragonWord2Vec.bin', size=300,verbose=True)
model = word2vec.load('dragonWord2Vec.bin')
#詞向量
rawWordVec=model.vectors
X_reduced = PCA(n_components=2).fit_transform(rawWordVec)
#計(jì)算詞向量距離
index1,metrics1 = model.cosine(u'地鐵')
index2,metrics2 = model.cosine(u'中國')
index3,metrics3 = model.cosine(u'服務(wù)')
index4,metrics4 = model.cosine(u'基金')
index5,metrics5 = model.cosine(u'汽車')
#查找中心詞
index01=np.where(model.vocab==u'地鐵')
index02=np.where(model.vocab==u'中國')
index03=np.where(model.vocab==u'服務(wù)')
index04=np.where(model.vocab==u'基金')
index05=np.where(model.vocab==u'汽車')
index1=np.append(index1,index01)
index2=np.append(index2,index03)
index3=np.append(index3,index03)
index4=np.append(index4,index04)
index5=np.append(index5,index05)
#matplotlib圖形顯示
zhfont = matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
fig = plt.figure()
ax = fig.add_subplot(111)
for i in index1:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='r')
for i in index2:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i],fontproperties=zhfont, color='b')
for i in index3:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='g')
for i in index4:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='k')
for i in index5:
ax.text(X_reduced[i][0],X_reduced[i][1], model.vocab[i], fontproperties=zhfont, color='c')
ax.axis([-0.4,0.4,-0.5,0.5])
plt.show()
結(jié)果顯示:
