word2vec如何處理電影標簽

『壹』 word2vec需要做哪些文本預處理

1.相似詞查找 2.詞的特徵擴充 在term weight 里很有用 3.關系挖掘 4.序列點擊數據的分析 5.相關詞挖掘 用在品牌詞和品牌相似詞挖掘中 7.作為系列的初始化輸入特徵 8，模型簡單，效率高，易調參。

『貳』 word2vec有什麼應用

我覺得word2vec在工業上或者是網路上還是有很多應用的。

理解這種學術工具，重要的是搞懂它背後的道理和設計哲學。

---

word2vec

很多人對word2vec不是了解，不知道word2vec是什麼，其實word2vec是一個將單詞轉換成向量形式的工具，通過轉換，可以把文本內容的處理簡化為向量空間中的向量運算，計算出向量空間上的相似度，這在實際應用中就有很大的價值。

總述

word2vec在多方面的應用上還是很多的。

『叄』 如何使用word2vec批處理多個文本

string為你需要獲取向量的詞，
double[]
array
=
vec.getWordVector(string);
array是這個詞的向量。
首先在創建vec的時候要保證.minWordFrequency(1)，否則有些詞你是得不到向量的，這個方法是設置詞的最小
使用頻率
。

『肆』 Word2Vec原理詳解

自然語言是一套用來表達含義的復雜系統。在這套系統中，詞是表義的基本單元。顧名思義，詞向量是用來表示詞的向量，也可被認為是詞的特徵向量或表徵。把詞映射為實數域向量的技術也叫詞嵌入（word embedding）。近年來，詞嵌入已逐漸成為自然語言處理的基礎知識。

跳字模型假設基於某個詞來生成它在文本序列周圍的詞。舉個例子，假設文本序列是「the」 「man」 「loves」 「his」 「son」。以「loves」作為中心詞，設背景窗口大小為2。如圖1所示，跳字模型所關心的是，給定中心詞「loves」，生成與它距離不超過2個詞的背景詞「the」 「man」 「his」 「son」的條件概率，即

假設給定中心詞的情況下，背景詞的生成是相互獨立的，那麼上式可以改寫成

雖然開篇說了one-hot不行，但是我們不要忽略一個事實，計算機沒辦法識別「字元」，所有的數據必須轉化成二進制的編碼形式。

大家已經注意到，我們已經到了Hidden Layer到Output Layer這一層了，簡單來看就是隱藏層和輸出層進行全連接，然後是一個softmax，輸出概率。過程比較簡單，一個Forward Propagation，一個Backward Propagation。

在跳字模型中，每個詞被表示成兩個 維向量，用來計算條件概率。假設這個詞在詞典中索引為 ，當它為中心詞時向量表示為 ，而為背景詞時向量表示為 。設中心詞 在詞典中索引為 ，背景詞 ，在詞典中索引為 ，給定中心詞生成背景詞的條件概率可以通過對向量內積做softmax運算而得到：

其中詞典索引集 。假設給定一個長度為 的文本序列，設時間步 的詞為 。假設給定中心詞的情況下背景詞的生成相互獨立，當背景窗口大小為 時，跳字模型的似然函數即給定任一中心詞生成所有背景詞的概率

這里小於1和大於 的時間步可以忽略。
這樣就可以計算出每個中心詞推斷背景詞的概率，而我們在輸入的時候給出了背景詞的向量，此時只需要最大化背景詞的輸出概率即可。 基於這樣的想法，我們會想到極大化似然估計的方式。但是一個函數的最大值往往不容易計算，因此，我們可以通過對函數進行變換，從而改變函數的增減性，以便優化。這等價於最小化以下損失函數：

最小化損失函數，我們最容易想到的就是梯度下降法。在使用梯度下降法之前，我們要把我們的損失函數定義出來，畢竟上面的式子是一個概率，下面把softmax的計算結果帶入得到：

損失函數已經得到了，我們的目標就是最小化它，優化它之前我們要搞清楚我們的參數是誰？每錯，我們的參數是中心詞和背景詞，那對於這樣的一個函數顯然是非凸函數，因此，我們要做一個假設，假設在對中心詞權重更新時，背景詞的權重是固定的，然後在以同樣的方式來更新背景詞的權重。

這里就計算出來了中心詞的梯度，可以根據這個梯度進行迭代更新。對於背景詞的更新是同樣的方法，

當 時，即通過中心詞 我們可以正確預測上下文詞 時，不需要調整 ，反之，則相應調整 。
但是要注意背景詞的個數不是唯一的，所以更新的時候要逐個更新，幅圖輔助理解。

連續詞袋模型與跳字模型類似。與跳字模型最大的不同在於，連續詞袋模型假設基於某中心詞在文本序列前後的背景詞來生成中心詞。在同樣的文本序列「the」 「man」 「loves」 「his」 「son」里，以「loves」作為中心詞，且背景窗口大小為2時，連續詞袋模型關心的是，給定背景詞「the」 「man」 「his」 「son」生成中心詞「loves」的條件概率（如圖2所示），也就是

因為連續詞袋模型的背景詞有多個，我們將這些背景詞向量取平均，然後使用和跳字模型一樣的方法來計算條件概率。設 和 分別表示詞典中索引為 的詞作為背景詞和中心詞的向量（注意符號的含義與跳字模型中的相反，假設輸入向量為 ，輸出向量為 ）。設中心詞 在詞典中索引為 ，背景詞 在詞典中索引為 ，那麼給定背景詞生成中心詞的條件概率

為了讓符號更加簡單，我們記 ，且 ，那麼上式可以簡寫成

給定一個長度為 的文本序列，設時間步t的詞為 ，背景窗口大小為 。連續詞袋模型的似然函數是由背景詞生成任一中心詞的概率

訓練連續詞袋模型同訓練跳字模型基本一致。連續詞袋模型的最大似然估計等價於最小化損失函數

注意到

通過微分，我們可以計算出上式中條件概率的對數有關任一背景詞向量 的梯度

中心詞的梯度同理可得，

同跳字模型不一樣的一點在於，我們一般使用連續詞袋模型的背景詞向量作為詞的表徵向量。

『伍』 word2vector是什麼與傳統one-hot向量比起來好在那裡

z=x + y i
x=2t
y=1
即直線方程為: y=1
這就是復數平面上的路徑C對應的直線方程.

z=(1-t)i + t(2+i),
這種表述方法, 除了可以用前面的方法解釋, 還有特殊的含義.
由於直線通過點 z1=i和 z1 = 2+i
z必定是關於某個參數(此處可設為t)的線性表達式.
可設 z=i(a+bt) + (2+i)(c+dt)
令t=0時, z=z1. 則 ia + (2+i)c=i => c=0, a=1
令t=1時, z=z2, 則i(a+b)+(2+i)(c+d)=i(1+b)+(2+i)d=2d+(1+b+d)i=2+i
=> d=1, b=-1
z=(1-t)i + (2+i)t
這剛好就是原題中的公式.

『陸』 推薦演算法簡介

寫在最前面：本文內容主要來自於書籍《推薦系統實踐》和《推薦系統與深度學習》。

推薦系統是目前互聯網世界最常見的智能產品形式。從電子商務、音樂視頻網站，到作為互聯網經濟支柱的在線廣告和新穎的在線應用推薦，到處都有推薦系統的身影。推薦演算法是推薦系統的核心，其本質是通過一定的方式將用戶和物品聯系起來，而不同的推薦系統利用了不同的方式。

推薦系統的主要功能是以個性化的方式幫助用戶從極大的搜索空間中快速找到感興趣的對象。因此，目前所用的推薦系統多為個性化推薦系統。個性化推薦的成功應用需要兩個條件：

在推薦系統的眾多演算法中，基於協同的推薦和基於內容的推薦在實踐中得到了最廣泛的應用。本文也將從這兩種演算法開始，結合時間、地點上下文環境以及社交環境，對常見的推薦演算法做一個簡單的介紹。

基於內容的演算法的本質是對物品內容進行分析，從中提取特徵，然後基於用戶對何種特徵感興趣來推薦含有用戶感興趣特徵的物品。因此，基於內容的推薦演算法有兩個最基本的要求：

下面我們以一個簡單的電影推薦來介紹基於內容的推薦演算法。

現在有兩個用戶A、B和他們看過的電影以及打分情況如下：

其中問好（?）表示用戶未看過。用戶A對《銀河護衛隊 》《變形金剛》《星際迷航》三部科幻電影都有評分，平均分為 4 .7 分 （ (5+4+5 ) / 3=4.7 ）；對《三生三世》《美人魚》《北京遇上西雅圖》三部愛情電影評分平均分為 2.3 分 （ ( 3十2+2 ) /3=2.3 ）。現在需要給A推薦電影，很明顯A更傾向於科幻電影，因此推薦系統會給A推薦獨立日。而對於用戶B，通過簡單的計算我們可以知道更喜歡愛情電影，因此給其推薦《三生三世》。當然，在實際推薦系統中，預測打分比這更加復雜些，但是其原理是一樣的。

現在，我們可以將基於內容的推薦歸納為以下四個步驟：

通過上面四步就能快速構建一個簡單的推薦系統。基於內容的推薦系統通常簡單有效，可解釋性好，沒有物品冷啟動問題。但他也有兩個明顯的缺點：

最後，順便提一下特徵提取方法：對於某些特徵較為明確的物品，一般可以直接對其打標簽，如電影類別。而對於文本類別的特徵，則主要是其主題情感等，則些可以通過tf-idf或LDA等方法得到。

基於協同的演算法在很多地方也叫基於鄰域的演算法，主要可分為兩種：基於用戶的協同演算法和基於物品的協同演算法。

啤酒和尿布的故事在數據挖掘領域十分有名，該故事講述了美國沃爾瑪超市統計發現啤酒和尿布一起被購買的次數非常多，因此將啤酒和尿布擺在了一起，最後啤酒和尿布的銷量雙雙增加了。這便是一個典型的物品協同過濾的例子。

基於物品的協同過濾指基於物品的行為相似度（如啤酒尿布被同時購買）來進行物品推薦。該演算法認為，物品A和物品B具有很大相似度是因為喜歡物品A的用戶大都也喜歡物品B。

基於物品的協同過濾演算法主要分為兩步：

基於物品的協同過濾演算法中計算物品相似度的方法有以下幾種：
（1）基於共同喜歡物品的用戶列表計算。

此外，John S. Breese再其論文中還提及了IUF（Inverse User Frequence，逆用戶活躍度）的參數，其認為活躍用戶對物品相似度的貢獻應該小於不活躍的用戶，應該增加IUF參數來修正物品相似度的公式：

上面的公式只是對活躍用戶做了一種軟性的懲罰， 但對於很多過於活躍的用戶， 比如某位買了當當網80%圖書的用戶， 為了避免相似度矩陣過於稠密， 我們在實際計算中一般直接忽略他的興趣列表， 而不將其納入到相似度計算的數據集中。

（2）基於餘弦相似度計算。

（3）熱門物品的懲罰。
從上面（1）的相似度計算公式中，我們可以發現當物品 i 被更多人購買時，分子中的 N(i) ∩ N(j) 和分母中的 N(i) 都會增長。對於熱門物品，分子 N(i) ∩ N(j) 的增長速度往往高於 N(i)，這就會使得物品 i 和很多其他的物品相似度都偏高，這就是 ItemCF 中的物品熱門問題。推薦結果過於熱門，會使得個性化感知下降。以歌曲相似度為例，大部分用戶都會收藏《小蘋果》這些熱門歌曲，從而導致《小蘋果》出現在很多的相似歌曲中。為了解決這個問題，我們對於物品 i 進行懲罰，例如下式， 當α∈(0, 0.5) 時，N(i) 越小，懲罰得越厲害，從而使熱門物品相關性分數下降（ 博主註：這部分未充分理解 ）：

此外，Kary pis在研究中發現如果將ItemCF的相似度矩陣按最大值歸一化， 可以提高推薦的准確率。 其研究表明， 如果已經得到了物品相似度矩陣w， 那麼可以用如下公式得到歸一化之後的相似度矩陣w'：

歸一化的好處不僅僅在於增加推薦的准確度，它還可以提高推薦的覆蓋率和多樣性。一般來說，物品總是屬於很多不同的類，每一類中的物品聯系比較緊密。假設物品分為兩類——A和B， A類物品之間的相似度為0.5， B類物品之間的相似度為0.6， 而A類物品和B類物品之間的相似度是0.2。 在這種情況下， 如果一個用戶喜歡了5個A類物品和5個B類物品， 用ItemCF給他進行推薦， 推薦的就都是B類物品， 因為B類物品之間的相似度大。 但如果歸一化之後， A類物品之間的相似度變成了1， B類物品之間的相似度也是1， 那麼這種情況下， 用戶如果喜歡5個A類物品和5個B類物品， 那麼他的推薦列表中A類物品和B類物品的數目也應該是大致相等的。 從這個例子可以看出， 相似度的歸一化可以提高推薦的多樣性。

那麼，對於兩個不同的類，什麼樣的類其類內物品之間的相似度高，什麼樣的類其類內物品相似度低呢？一般來說，熱門的類其類內物品相似度一般比較大。如果不進行歸一化，就會推薦比較熱門的類裡面的物品，而這些物品也是比較熱門的。因此，推薦的覆蓋率就比較低。相反，如果進行相似度的歸一化，則可以提高推薦系統的覆蓋率。

最後，利用物品相似度矩陣和用戶打過分的物品記錄就可以對一個用戶進行推薦評分：

基於用戶的協同演算法與基於物品的協同演算法原理類似，只不過基於物品的協同是用戶U購買了A物品，會計算經常有哪些物品與A一起購買（也即相似度），然後推薦給用戶U這些與A相似的物品。而基於用戶的協同則是先計算用戶的相似性（通過計算這些用戶購買過的相同的物品），然後將這些相似用戶購買過的物品推薦給用戶U。

基於用戶的協同過濾演算法主要包括兩個步驟：

步驟（1）的關鍵是計算用戶的興趣相似度，主要是利用用戶的行為相似度計算用戶相似度。給定用戶 u 和 v，N(u) 表示用戶u曾經有過正反饋（譬如購買）的物品集合，N(v) 表示用戶 v 曾經有過正反饋的物品集合。那麼我們可以通過如下的 Jaccard 公式簡單的計算 u 和 v 的相似度：

或通過餘弦相似度：

得到用戶之間的相似度之後，UserCF演算法會給用戶推薦和他興趣最相似的K個用戶喜歡的物品。如下的公式度量了UserCF演算法中用戶 u 對物品 i 的感興趣程度：

首先回顧一下UserCF演算法和ItemCF演算法的推薦原理：UserCF給用戶推薦那些和他有共同興趣愛好的用戶喜歡的物品， 而ItemCF給用戶推薦那些和他之前喜歡的物品具有類似行為的物品。

（1）從推薦場景考慮
首先從場景來看，如果用戶數量遠遠超過物品數量，如購物網站淘寶，那麼可以考慮ItemCF，因為維護一個非常大的用戶關系網是不容易的。其次，物品數據一般較為穩定，因此物品相似度矩陣不必頻繁更新，維護代價較小。

UserCF的推薦結果著重於反應和用戶興趣相似的小群體的熱點，而ItemCF的推薦結果著重於維系用戶的歷史興趣。換句話說，UserCF的推薦更社會化，反應了用戶所在小型興趣群體中物品的熱門程度，而ItemCF的推薦更加個性化，反應了用戶自己的個性傳承。因此UserCF更適合新聞、微博或微內容的推薦，而且新聞內容更新頻率非常高，想要維護這樣一個非常大而且更新頻繁的表無疑是非常難的。

在新聞類網站中，用戶的興趣愛好往往比較粗粒度，很少會有用戶說只看某個話題的新聞，而且往往某個話題也不是每天都會有新聞。 個性化新聞推薦更強調新聞熱點，熱門程度和時效性是個性化新聞推薦的重點，個性化是補充，所以 UserCF 給用戶推薦和他有相同興趣愛好的人關注的新聞，這樣在保證了熱點和時效性的同時，兼顧了個性化。

（2）從系統多樣性（也稱覆蓋率，指一個推薦系統能否給用戶提供多種選擇）方面來看，ItemCF的多樣性要遠遠好於UserCF，因為UserCF更傾向於推薦熱門物品。而ItemCF具有較好的新穎性，能夠發現長尾物品。所以大多數情況下，ItemCF在精度上較小於UserCF，但其在覆蓋率和新穎性上面卻比UserCF要好很多。

在介紹本節基於矩陣分解的隱語義模型之前，讓我們先來回顧一下傳統的矩陣分解方法SVD在推薦系統的應用吧。

基於SVD矩陣分解在推薦中的應用可分為如下幾步：

SVD在計算前會先把評分矩陣 A 缺失值補全，補全之後稀疏矩陣 A 表示成稠密矩陣，然後將分解成 A' = U∑V T 。但是這種方法有兩個缺點：（1）補成稠密矩陣後需要耗費巨大的儲存空間，對這樣巨大的稠密矩陣進行儲存是不現實的；（2）SVD的計算復雜度很高，對這樣大的稠密矩陣中進行計算式不現實的。因此，隱語義模型就被發明了出來。

更詳細的SVD在推薦系統的應用可參考 奇異值分解SVD簡介及其在推薦系統中的簡單應用 。

隱語義模型（Latent Factor Model）最早在文本挖掘領域被提出，用於找到文本的隱含語義。相關的演算法有LSI，pLSA，LDA和Topic Model。本節將對隱語義模型在Top-N推薦中的應用進行詳細介紹，並通過實際的數據評測該模型。

隱語義模型的核心思想是通過隱含特徵聯系用戶興趣和物品。讓我們通過一個例子來理解一下這個模型。

現有兩個用戶，用戶A的興趣涉及偵探小說、科普圖書以及一些計算機技術書，而用戶B的興趣比較集中在數學和機器學習方面。那麼如何給A和B推薦圖書呢？

我們可以對書和物品的興趣進行分類。對於某個用戶，首先得到他的興趣分類，然後從分類中挑選他可能喜歡的物品。簡言之，這個基於興趣分類的方法大概需要解決3個問題：

對於第一個問題的簡單解決方案是找相關專業人員給物品分類。以圖書為例，每本書出版時，編輯都會給出一個分類。但是，即使有很系統的分類體系，編輯給出的分類仍然具有以下缺點：（1）編輯的意見不能代表各種用戶的意見；（2）編輯很難控制分類的細粒度；（3）編輯很難給一個物品多個分類；（4）編輯很難給一個物品多個分類；（5）編輯很難給出多個維度的分類；（6）編輯很難決定一個物品在某一個類別中的權重。

為了解決上述問題，研究員提出可以從數據出發，自動找到那些分類，然後進行個性化推薦。隱語義模型由於採用基於用戶行為統計的自動聚類，較好地解決了上面提出的5個問題。

LFM將矩陣分解成2個而不是3個：

推薦系統中用戶和物品的交互數據分為顯性反饋和隱性反饋數據。隱式模型中多了一個置信參數，具體涉及到ALS（交替最小二乘法，Alternating Least Squares）中對於隱式反饋模型的處理方式——有的文章稱為「加權的正則化矩陣分解」：

一個小細節：在隱性反饋數據集中，只有正樣本（正反饋）沒有負反饋（負樣本），因此如何給用戶生成負樣本來進行訓練是一個重要的問題。Rong Pan在其文章中對此進行了探討，對比了如下幾種方法：

用戶行為很容易用二分圖表示，因此很多圖演算法都可以應用到推薦系統中。基於圖的模型（graph-based model）是推薦系統中的重要內容。很多研究人員把基於領域的模型也稱為基於圖的模型，因為可以把基於領域的模型看作基於圖的模型的簡單形式。

在研究基於圖的模型之前，需要將用戶行為數據表示成圖的形式。本節的數據是由一系列用戶物品二元組 (u, i) 組成的，其中 u 表示用戶對物品 i 產生過行為。

令 G(V, E) 表示用戶物品二分圖，其中 V=V U UV I 由用戶頂點 V U 和物品節點 V I 組成。對於數據集中每一個二元組 (u, i) ，圖中都有一套對應的邊 e(v u , v i )，其中 v u ∈V U 是用戶對應的頂點，v i ∈V I 是物品i對應的頂點。如下圖是一個簡單的物品二分圖，其中圓形節點代表用戶，方形節點代表物品，用戶物品的直接連線代表用戶對物品產生過行為。比如下圖中的用戶A對物品a、b、d產生過行為。

度量圖中兩個頂點之間相關性的方法很多，但一般來說圖中頂點的相關性主要取決於下面3個因素：

而相關性高的一對頂點一般具有如下特徵：

舉個例子，如下圖，用戶A和物品c、e沒有邊直連，但A可通過一條長度為3的路徑到達c，而Ae之間有兩條長度為3的路徑。那麼A和e的相關性要高於頂點A和c，因而物品e在用戶A的推薦列表中應該排在物品c之前，因為Ae之間有兩條路徑。其中，（A,b,C,e）路徑經過的頂點的出度為（3，2，2，2），而 (A,d,D,e) 路徑經過了一個出度比較大的頂點D，所以 (A,d,D,e) 對頂點A與e之間相關性的貢獻要小於（A,b,C,e）。

基於上面3個主要因素，研究人員設計了很多計算圖中頂點相關性的方法，本節將介紹一種基於隨機遊走的PersonalRank演算法。

假設要給用戶u進行個性化推薦，可以從用戶u對應的節點 v u 開始在用戶物品二分圖上進行隨機遊走。遊走到任一節點時，首先按照概率α決定是繼續遊走還是停止這次遊走並從 v u 節點重新開始遊走。若決定繼續遊走，則從當前節點指向的節點中按照均勻分布隨機選擇一個節點作為遊走下次經過的節點。這樣，經過很多次隨機遊走後，每個物品被訪問到的概率會收斂到一個數。最終的推薦列表中物品的權重就是物品節點的訪問概率。

上述演算法可以表示成下面的公式：

雖然通過隨機遊走可以很好地在理論上解釋PersonalRank演算法，但是該演算法在時間復雜度上有明顯的缺點。因為在為每個用戶進行推薦時，都需要在整個用戶物品二分圖上進行迭代，知道所有頂點的PR值都收斂。這一過程的時間復雜度非常高，不僅無法在線進行實時推薦，離線計算也是非常耗時的。

有兩種方法可以解決上面PersonalRank時間復雜度高的問題：
（1）減少迭代次數，在收斂之前停止迭代。但是這樣會影響最終的精度。

（2）從矩陣論出發，重新涉及演算法。另M為用戶物品二分圖的轉移概率矩陣，即：

網路社交是當今社會非常重要甚至可以說是必不可少的社交方式，用戶在互聯網上的時間有相當大的一部分都用在了社交網路上。

當前國外最著名的社交網站是Facebook和Twitter，國內的代表則是微信/QQ和微博。這些社交網站可以分為兩類：

需要指出的是，任何一個社交網站都不是單純的社交圖譜或興趣圖譜。如QQ上有些興趣愛好群可以認識不同的陌生人，而微博中的好友也可以是現實中認識的。

社交網路定義了用戶之間的聯系，因此可以用圖定義社交網路。我們用圖 G(V,E,w) 定義一個社交網路，其中V是頂點集合，每個頂點代表一個用戶，E是邊集合，如果用戶va和vb有社交網路關系，那麼就有一條邊 e(v a , v b ) 連接這兩個用戶，而 w(v a , v b )定義了邊的權重。一般來說，有三種不同的社交網路數據：

和一般購物網站中的用戶活躍度分布和物品流行度分布類似，社交網路中用戶的入度（in degree，表示有多少人關注）和出度（out degree，表示關注多少人）的分布也是滿足長尾分布的。即大部分人關注的人都很少，被關注很多的人也很少。

給定一個社交網路和一份用戶行為數據集。其中社交網路定義了用戶之間的好友關系，而用戶行為數據集定義了不同用戶的歷史行為和興趣數據。那麼最簡單的演算法就是給用戶推薦好友喜歡的物品集合。即用戶u對物品i的興趣 p ui 可以通過如下公式計算。

用戶u和用戶v的熟悉程度描述了用戶u和用戶在現實社會中的熟悉程度。一般來說，用戶更加相信自己熟悉的好友的推薦，因此我們需要考慮用戶之間的熟悉度。下面介紹3中衡量用戶熟悉程度的方法。

（1）對於用戶u和用戶v，可以使用共同好友比例來計算他們的相似度：

上式中 out(u) 可以理解為用戶u關注的用戶合集，因此 out(u) ∩ out(v) 定義了用戶u、v共同關注的用戶集合。

（2）使用被關注的用戶數量來計算用戶之間的相似度，只要將公式中的 out(u) 修改為 in(u)：

in(u) 是指關注用戶u的集合。在無向社交網路中，in(u)和out(u)是相同的，而在微博這種有向社交網路中，這兩個集合的含義就不痛了。一般來說，本方法適合用來計算微博大V之間的相似度，因為大v往往被關注的人數比較多；而方法（1）適用於計算普通用戶之間的相似度，因為普通用戶往往關注行為比較豐富。

（3）除此之外，還可以定義第三種有向的相似度：這個相似度的含義是用戶u關注的用戶中，有多大比例也關注了用戶v：

這個相似度有一個缺點，就是在該相似度下所有人都和大v有很大的相似度，這是因為公式中的分母並沒有考慮 in(v) 的大小，所以可以把 in(v) 加入到上面公式的分母，來降低大v與其他用戶的相似度：

上面介紹了3種計算用戶之間相似度（或稱熟悉度）的計算方法。除了熟悉程度，還需要考慮用戶之間的興趣相似度。我們和父母很熟悉，但很多時候我們和父母的興趣確不相似，因此也不會喜歡他們喜歡的物品。因此，在度量用戶相似度時，還需要考慮興趣相似度，而興趣相似度可以通過和UserCF類似的方法度量，即如果兩個用戶喜歡的物品集合重合度很高，兩個用戶的興趣相似度很高。

最後，我們可以通過加權的形式將兩種權重合並起來，便得到了各個好有用戶的權重了。

有了權重，我們便可以針對用戶u挑選k個最相似的用戶，把他們購買過的物品中，u未購買過的物品推薦給用戶u即可。打分公式如下：

其中 w' 是合並後的權重，score是用戶v對物品的打分。

node2vec的整體思路分為兩個步驟：第一個步驟是隨機遊走（random walk），即通過一定規則隨機抽取一些點的序列；第二個步驟是將點的序列輸入至word2vec模型從而得到每個點的embedding向量。

隨機遊走在前面基於圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇後一種方法以保證所有節點都會被選取到。

在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制遊走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。

斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。

以上圖為例，假設第一步是從t隨機遊走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變數來調節遊走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：

一般從每個節點開始遊走5~10次，步長則根據點的數量N遊走根號N步。如此便可通過random walk生成點的序列樣本。

得到序列之後，便可以通過word2vec的方式訓練得到各個用戶的特徵向量，通過餘弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基於用戶的推薦演算法了。

推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統並且讓用戶對推薦結果滿意從而願意使用推薦系統，就是冷啟動問題。

冷啟動問題主要分為三類：

針對用戶冷啟動，下面給出一些簡要的方案：
（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；
（2）利用用戶的社交網路賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然後給用戶推薦其好友喜歡的物品；
（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然後給用推薦那些和這些物品相似的物品；
（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然後等到用戶數據收集到一定的時候，在切換為個性化推薦。

對於物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。

對於系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。

在上面介紹了一些推薦系統的基礎演算法知識，這些演算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦演算法都不是單獨使用的，而是將多種推薦演算法結合起來，也就是混合推薦系統，但是在這里並不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基於矩陣的一些排序演算法在這里並沒有提及，感興趣的也可自行學習。

雖然現在用的很多演算法都是基於深度學習的，但是這些經典演算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——「推陳出新」，只有掌握了這些經典的演算法，才能提出或理解現在的一些更好地演算法。

『柒』 Word2vec原理詳細解讀

Softmax函數：

哈夫曼樹(Huffman Tree)

     從圖1可以看出Skip-gram就是用當前中心詞 (banking)預測附近的詞，圖1中將窗口大小設為2，即需要預測左邊的2個詞和右邊的2個詞。

     對於每個位置 ，預測窗口大小為 的上下文，設當前中心詞為 ,那麼目標為最大化：

                                                                               (1)

其中 為模型的參數。

     為了將最大化轉為最小化，可對 取負數，為了簡化計算，可取對數：

                               (2)  

      現在問題的關鍵是如何計算 ,我們使用兩個向量表示： 為中心詞的表示， 為上下文詞的表示。那麼，計算中心詞 c 和上下文詞 o 的出現概率為：

                                                                                       (3)

其中，V為整個詞表大小， 為中心詞向量表示。其實式3就是softmax函數。

      圖2展示了Skip-gram的計算過程，從圖中可以看出Skip-gram預測的是 , , ，由於只預測前後兩個單詞，因此窗口大小為2。

輸入層到隱藏層 ：輸入層的中心詞 用one-hot向量表示（維度為V*1,V為整個詞表大小），輸入層到隱藏層的權重矩陣為中心詞矩陣W（維度為V*d，d為詞向量維度）,設隱含向量為 (維度為d*1)，那麼：

                                                                                                             (4)

隱藏層到輸出層： 隱藏層到輸出層的上下文權重矩陣為U（維度為d*V），輸出層為y(維度為V*1)，那麼：

                                                                                          (5)

注意 ，輸出層的向量 y 與輸出層的向量 雖然維度一樣，但是 y 並不是one-hot向量，並且向量 y 的每一個元素都是有意義的。如，假設訓練樣本只有一句話」I like to eat apple」，此時我們正在使用eat去預測to，輸出層結果如圖3所示。

     向量y中的每個元素表示用 I、like、eat、apple 四個詞預測出來的詞是對應的詞的概率，比如是like的概率為0.05，是to的概率是0.80。由於我們想讓模型預測出來的詞是to，那麼我們就要盡量讓to的概率盡可能的大，所以我們將式子（1）作為最大化函數。

Continuous Bag-of-Words(CBOW)，的計算示意圖如圖4所示。從圖中可以看出，CBOW模型預測的是 ,由於目標詞 只取前後的兩個詞，因此窗口大小為2。假設目標詞 前後各取 個詞，即窗口大小為 ，那麼CBOW模型為：

                         (6)

輸入層到隱藏層： 如圖4所示，輸入層為4個詞的one-hot向量表示，分別為 , , , （維度都為V*1，V為整個詞表大小），記輸入層到隱藏層的上下文詞的權重矩陣為W(維度為V*d，d是詞向量維度)，隱藏層的向量h（維度為d*1），那麼：

                                          (7)

這里就是把各個上下文詞的向量查找出來，再進行簡單的加和平均。

隱藏層到輸出層： 記隱藏層到輸出層的中心詞權重矩陣為U(維度d*V)，輸出層的向量y(維度V*1)，那麼：

                                                                                                    (8)

注意 ，輸出層的向量 與輸入層的 雖然維度一樣，但是 並不是one-hot向量，並且向量 的每個元素都是有意義的。CBOW的目標是最大化函數：

     (9)

由於softmax的分母部分計算代價很大，在實際應用時，一般採用層次softmax或者負采樣替換掉輸出層，降低計算復雜度。

層次softmax（Hierarchical Softmax）是一棵哈夫曼樹，樹的葉子節點是訓練文本中所有的詞，非葉子節點是一個邏輯回歸二分類器，每個邏輯回歸分類器的參數都不同，分別用 表示，假定分類器的輸入為向量h，記邏輯回歸分類器輸出的結果為 將向量h傳遞給節點的左孩子概率為 ，否則傳遞給節點的右孩子概率為 。重復這個傳遞流程直到葉子節點。

從圖5和圖6可以看出，我們就是將隱藏層的向量h直接傳遞到了層次softmax，層次softmax的復雜度為O(log(V))，層次softmax采樣到每個詞的概率如下：

對於CBOW或者skip-gram模型，如果要預測的詞是to，那麼我們就讓 盡量大，所以我們將任務轉換成訓練V-1個邏輯分類器。CBOW模型和skip-gram模型訓練目標函數和之前形式一樣，為：

                                                             (10)

  (11)

負采樣實際上是采樣負例來幫助訓練的手段，其目的與層次softmax一樣，是用來提升模型的訓練速度。我們知道，模型對正例的預測概率是越大越好，模型對負例的預測概率是越小越好。負采樣的思路就是根據某種負采樣的策略隨機挑選一些負例，然後保證挑選的這部分負例的預測概率盡可能小。所以，負采樣策略是對模型的效果影響很大，word2vec常用的負采樣策略有均勻負采樣、按詞頻率采樣等等。

以「I like to eat apple」為例子，假設窗口的大小是2，當中心詞為like時，即我們會用 I to 來預測like，所以在這里我們就認為（I，like）和（to，like）都是正例，而（I，apple）、（to，apple）就是負例，因為（I，apple）、（to，apple）不出現在當前正例中。用NEG(w)表示負樣本，有：

                                                                   (12)

                (13)

這里的 是詞*的中心詞向量表示，h為隱藏層的輸出向量。我們只需要最大化目標函數：

                      (14)

這個損失函數的含義就是讓正例概率更大，負例的概率更小。

以「I like to eat apple」為例子，假設窗口的大小是1，即我們會用 like 來預測 I to，所以在這里我們就認為（like，I）和（like，to）都是正例，而（like，apple）就是負例，因為（like，apple）不會出現在正例中。那麼，對於給定的正樣本（w，context(w)）和采樣出的負樣本（w，NEG(w)），有：

                                                                                  (15)

                                                        (16)

這里的 是詞*的中心詞向量表示，h為隱藏層的輸出向量。我們只需要最大化目標函數：

                                         (17)

word2vec常用的負采樣策略有均勻負采樣、按詞頻率采樣等等。比較常用的采樣方法是一元分布模型的3/4次冪。該方法中，一個詞被采樣的概率，取決於這個詞在語料中的詞頻 ，其滿足一元分布模型(Unigram Model).

                                                                                         (18) 

其中V為整個詞表大小,    為詞 的詞頻。

至於為什麼選擇3/4呢？其實是由論文作者的經驗所決定的。

假設由三個詞，，」我「，」和平「，」覬覦「 權重分別為 0.9 ，0.01，0.003；經過3/4冪後：

我: 0.9^3/4 = 0.92

和平：0.01^3/4 = 0.03

覬覦：0.003^3/4 = 0.012

對於」覬覦「而言，權重增加了4倍；」和平「增加3倍；」我「只有輕微增加。

可以認為：在保證高頻詞容易被抽到的大方向下，通過權重3/4次冪的方式， 適當提升低頻詞、罕見詞被抽到的概率 。如果不這么做，低頻詞，罕見詞很難被抽到，以至於不被更新到對應的Embedding。

Question&Answer

Question1:  如圖7中，skip-gram模型中，從隱藏層到輸出層，因為使用權值共享，所以會導致輸出的幾個上下文詞向量總是完全一樣，但網路的目的是要去預測上下文會出現的詞，而實際中給定中心詞的情況下上下文的詞會五花八門。怎麼解釋skip gram的這種輸出形式？

Answer1: 網路的目的不是要預測上下文會出現啥詞，這只是一個fake task。實際上這個loss就是降不下來的，所以本來就不能用於真正預測上下文，而初衷也不是用於預測上下文，只是利用上下文信息去實現嵌入。

       如果你的100W個句子都是」I really love machine learning and deep learning「，加上權值共享，結果就是給定machine以後，它輸出really，love，learning，and這四個詞的概率完全相同，這就意味著這四個詞的詞向量也是差不多的。正因為這樣，語義相近的詞，他們在空間上的映射才會接近。

Question2 : Word2Vec哪個矩陣是詞向量？

Answer2: 如圖7所示，中心詞矩陣W，上下文矩陣W' 可以任意選一個作為詞向量矩陣。但是，如果採用優化後(層次softmax)的模型，那麼將不存在W'，這種情況下只能選矩陣W。

三千多字，碼字不易，如果大家發現我有地方寫得不對或者有疑問的，麻煩評論， 我會回復並改正 。對於重要問題，我會持續更新至 Question&Answer。

參考：

[1] skip-gram的關鍵術語與詳細解釋

[2] 一篇淺顯易懂的word2vec原理講解

[3] CS224n：深度學習的自然語言處理（2017年冬季）1080p

[4] Stanford  CS224N: NLP with Deep Learning | Winter 2019 | Lecture 2 – Word Vectors and

Word Senses

[5] 關於skip gram的輸出？

[6] Le, Quoc V , and T. Mikolov . "Distributed Representationsof Sentences and Documents." (2014).

[7] Mikolov, T. . "Distributed Representations of Words andPhrases and their Compositionality." Advances in Neural InformationProcessing Systems 26(2013):3111-3119.

[8] Mikolov, Tomas , et al."Efficient Estimation of Word Representations in Vector Space." Computerence (2013).

[9] Goldberg, Yoav , and O. Levy . "word2vec Explained:deriving Mikolov et al.'s negative-sampling word-embedding method." arXiv(2014).

『捌』 word2vec模型之Skip-Gram Model

  本文介紹一種基於神經網路結構的Word2Vec模型，Word2Vec是目前NLP領域的基礎知識，這里僅對Word2Vec模型中的Skip-Gram模型進行詳細介紹。

  Skip-Gram神經網路模型是一種非常簡單的神經網路結構，是一個僅有一個Hidden Layer的神經網路結構。Skip-Gram模型的訓練過程可以視作一個「Fake Task（偽任務）」，為何稱之為「Fake Task」？是因為訓練該模型的目的並不是將訓練好的模型用於任何的分類任務，而是為了學習得到隱層的權重矩陣，而通過這些矩陣我們會得到想要的單詞的特徵向量，總體框架入下圖所示。下面詳細介紹這個Skip-Gram模型的訓練過程。

  給定一個特定的word作為輸入，我們從該word的附近隨機挑選一個word，該網路模型會告訴我們詞彙表中的每個單詞出現在「附近」的概率。這里的「附近」指的是在特定window size范圍內。輸出概率與在輸入詞附近找到每個單詞的可能性有關。這里，我們使用文本中指定window size內的word pair（inputword,outputword）來訓練神經網路模型。word pairs的獲取方式如下圖所示。

  這里詳細介紹一下Skip-Gram模型的訓練過程。首先，神經網路模型只接受數值型的輸入，故不能直接將每個單詞直接輸入到一個神經網路中，故而需要一種針對神經網路模型的單詞表示方式，為此需要針對訓練集中的所有不同的單詞構建一個詞彙表（vocabulary），然後將詞彙表中的每個單詞以 One-Hot編碼 的方式進行表示。比如，現在有一個大小為10000的詞彙表，我們需要為每個單詞構建一個One-Hot向量，要求每個單詞對應的當前單詞的位置為1，其他所有位置為0，因此我們會得到10000個長度為10000的向量，其中每個向量都只有一個位置為1。神經網路的輸出是一個10000維的向量，表示針對輸入單詞，詞彙表中所有的單詞出現在輸入單詞附近的預測概率。如下圖所示：

  上述的神經網路結構隱層中的神經元沒有激活函數，但輸出層的每個神經元使用了softmax函數。訓練的過程使用word pair（inputword,outputword），輸入是一個One-Hot的向量，輸出的也是一個表示輸出單詞的One-Hot的向量。但是當在一個輸入詞在訓練好的網路上計算時，輸出的向量實際上是一個概率分布，並不是一個One-Hot向量。因為每個輸出的單元使用了 Softmax ，且沒有激活函數。

  同樣的針對上述問題，有10000個單詞，假設需要為每個單詞學習一個300維的向量，那麼隱層可以由一個10000*300的矩陣來表示（300個神經元，每個神經元都有一個10000維的權重向量），如下圖所示。

  豎著看這個隱層的權重矩陣，每一列對應一個神經元中的參數向量，而如果橫著看這個權重矩陣，每一行就是一個300維的向量，而這這就是我們需要通過學習得來的詞向量!也就是說，10000個單詞的向量表示就是這個10000*300的矩陣，每行對應一個單詞的向量表示。那麼Skip-Gram最終的目的就是學習這個隱層的權重矩陣。而為什麼針對詞彙表裡的單詞要進行One-Hot編碼，這里解釋一下。如下圖所示，如果我們用一個One-Hot向量乘以這個權重矩陣，那麼得出的向量結果就是對應單詞的特徵表示。這意味著這個模型的隱層實際上只是作為一個查找表，而隱層的輸出則是輸入的單詞的「詞向量（word vector）」。

  輸出層為softmax回歸分類器，每個輸出神經元(詞彙表中的每個單詞都有一個對應的輸出神經元)將產生0到1之間的輸出，所有這些輸出值的總和將等於1。具體來說，每個輸出神經元都有一個權重向量，它將權重向量與隱層中的向量相乘，然後將指數函數應用於結果。最後，為了使輸出之和達到1，我們將這個結果除以來自所有10,000個輸出節點的結果之和。如下圖所示：

  如果兩個不同的單詞有非常相似的「上下文」(也就是說，它們周圍可能出現什麼單詞)，那麼該模型應當為這兩個單詞輸出非常相似的結果。網路輸出這兩個單詞相似上下文預測的一種表達形式就是這兩個單詞的單詞向量相似。換言之，如果兩個單詞有相似的上下文，那麼該網路就有能力為這兩個單詞出學習相似的單詞向量!

  以上部分介紹了Skip-Gram模型的具體實現思路，接下來會針對Skip-Gram在實際訓練中的一些問題進行優化。通過分析上述的Skip-Gram神經網路模型，可以發現一個問題，由於需要為每個單詞學習一個固定長度的向量表示，因此以上面的例子為例，當需要訓練10000個單詞的300維的向量表示時，我們需要計算出300萬個權重值。而在更大的數據集上，這樣的訓練過程是十分緩慢的，基本上不可行，因此Skip-Gram的作者針對這個問題提出了幾種解決方案。常用的方案有Subsampling frequent words和Negative Sampling，接下來會詳細介紹這兩種解決方案。

  Subsampling主要目的是通過削減訓練集的訓練樣本數來降低訓練代價。由於在文本中，許多單詞出現的頻率很高，這就導致了這個單詞對應的word pair （inputword,outputword）在訓練集中的數量會非常多，因此需要針對這些高頻詞進行二次采樣以降低這些高頻詞在訓練集中的規模。具體采樣策略如下：
假設 w i 表示詞彙表中的第 i 個單詞， z(w i ) 表示該詞在語料庫中出現的頻率。例如一個單詞 w i 在大小為10000的語料庫中出現的次數為100，那麼 z(w i ) =0.01。知道了每個單詞在語料庫中的出現頻率之後，那麼對於每個單詞 w i 的subsampling采樣率如下：
該函數有一些有趣的點：

  Subsampling雖然能明顯地縮小訓練神經網路模型時的訓練集大小，但是並不能從根本上解決隱層矩陣規模大而帶來的計算問題。也就是說，對於訓練集中的每個樣本，每次訓練都需要更新隱層中的所有參數，因此Skip-Gram模型的作者又提出了另外一種方式來優化計算問題。

  由於訓練神經網路模型為了達到更高的精度，需要通過訓練樣本中每次細微地調整每個神經元的權重參數，因此每個訓練每個訓練樣本都會微調神經網路中的所有參數。由於SubSampling在極限情況下，對訓練集的削減程度不會低於原規模的3.3%，然而 ，這種程度的削減對於一個字典特別大的訓練場景的影響是微弱的。為此作者又提出了一種Negative Sampling的方式。
Negative Sampling通過讓每個訓練樣本只修改一小部分權重（而不是網路中的全部權重）來解決計算量特別大的問題。接下來可以看一下Negative Sampling的工作原理。
  正常情況下，我們對每個單詞語料訓練神經網路模型，模型的輸出是一個one-hot的向量。在Negative Sampling時，我們隨機選擇若干個（假設5個）negative word去更新對應的權重，（這里Negative word 對應的時One-Hot向量中值為0的單詞，而我們的目標單詞可以理解為Positive word，即對應One-Hot向量中值為1的單詞）。

  回想一下，我們的模型輸出層有個300×10000的權重矩陣，如果每個訓練樣本只更新5個negative word和當前的positive word對應的權重，那麼每次訓練對應輸出層只需要更新6*300個權重，此時更新比例只有6/10000=0.06%。

  上面提到了，針對不同的數據集，Negative Sampling會選擇2-20個negative word，下面介紹一下如何挑選這個Negative word。首先針對一個語料庫，每次Negative Sampling挑選出的樣本的可能性取決於該樣本在語料庫中出現的頻數。
  其中 f ( w i )表示單詞 w i 在語料庫中出現的頻數。作者在他們的論文中指出，他們嘗試了這個公式的一些變體，其中表現最好的是將每個單詞出現的頻數提高到3/4次方。如下所示：
  處理一些樣本之後會發現，與簡單的公式相比，這個公式有增加不太頻繁單詞的概率和減少更頻繁單詞的概率的趨勢。以上就是對Negative Sampling的一些簡單描述。

  Word Pairs and 「Phrases」的主要思想是將經常成對出現或者某個短語當成一個Word，以此來降低整個訓練過程中的計算復雜度。該方法在自然語言處理中有很大的應用場景。

參考：
1. http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
2. http://mccormickml.com/2017/01/11/word2vec-tutorial-part-2-negative-sampling/

『玖』 word2vec 之 skip-gram

Word2vec 主要有兩種形式，CBOW 和Skip-gram，其中CBOW是通過上下文context來預測當前位置詞，SKip-gram則是通過當前詞來預測上下文

Fake Task

word2vec 實際上分為兩部分，1，建立模型，2，通過模型獲取詞的嵌入向量（隱層參數）。整個過程與自編碼器的思想類似，即基於訓練數據訓練一個神經網路，模型訓練好後，並不會用這個模型處理後續的任務，真正需要的是這個模型學到的參數，如隱層的權重矩陣，基於訓練數據建模的過程叫「Fake Task」，意味著建模並不是我們最終的目的。

Train

如何訓練我們的神經網路模型？假如我們有一個句子「 The dog barked at the mailman」。

首先，我們選擇句子中一個詞作為我們的input word， 如 dog

然後，我們需要定義一個skip_window參數，來指定上下文的大小，即input word 一側選取詞的數量，假如skip_window=2,那將從dog出發向左右兩個方向取最近的兩個word，即（the, dog,barked,at)，此時的span = skip_window * 2 + 1 = 5

另一個需要定義的參數是num_skips，即從上下文中選取多少個word來作為output word，這個參數應該小於等於2 * skip_window，即最多將所有上下文都作為output，但是不能重復。如設置num_skips = 2,此時從上下文選取2個詞作為output，如（the， barked），最終我們將得到兩組訓練數據（dog, the) (dog, barked)

神經網路將基於這些訓練數據輸出一個概率分布，這個概率分布代表著在輸入數據下，詞典中每個詞是output的概率。如拿數據（dog， barked）來訓練，則模型將會告訴我們每個單詞是』barked』的概率大小。

模型的輸出概率代表著詞典中每個單詞有多大可能性跟input word同時出現。舉個栗子，如果我們向神經網路模型中輸入一個單詞「Soviet「，那麼最終模型的輸出概率中，像「Union」， 」Russia「這種相關詞的概率將遠高於像」watermelon「，」kangaroo「非相關詞的概率。因為」Union「，」Russia「在文本中更大可能在」Soviet「的窗口中出現。

我們將通過給神經網路輸入文本中成對的單詞來訓練它完成上面所說的概率計算。下面的圖中給出了一些我們的訓練樣本的例子。我們選定句子「The quick brown fox jumps over lazy dog」，設定我們的窗口大小為2（window_size = 2），也就是說我們僅選輸入詞前後各兩個詞和輸入詞進行組合。下圖中，藍色代表input word，方框內代表位於窗口內的單詞。

模型將會從每隊單詞出現的次數中習得統計結果，模型可能會得到更多的（』soviet』， 『union』）樣本對，而（soviet， dog）這樣的組合看到的很少。因此，當模型訓練完成後，給定一個單詞 soviet，輸出結果中union 或者russia會比dog有更高的概率。

輸入

常用做法是用訓練文檔構建詞彙表，然後再對單詞進行0ne-hot編碼。

編碼後的向量，形如dog = [0, 0, 1, 0, …0], 如果詞彙表大小為10000， 那這個向量包含了10000的概率，即為當前詞為輸入的概率

下圖是神經網路結構：

我們基於成對的單詞來對神經網路進行訓練， 訓練樣本是（input word， output word）這樣的單詞對，input word 和 output word都是one-hot編碼的向量，最終的模型輸出是一個概率分布。

隱層

如果我們想要用300個特徵來表示一個詞（即每個詞是300維的向量），即隱層有300個神經元，隱層的權重為10000 * 300的矩陣，下圖中的左右兩個圖代表了不同角度看隱層權重，左圖中每列代表一個10000維的詞向量與隱層單個神經元的連接權重，右圖每行代表了一個單詞的詞向量。

我們最終的目標就是學習這個隱層權重矩陣。

輸入被one-hot編碼後，實際上只有一個位置不為0，所以這個向量相當稀疏，那如果我們將1 10000的向量與10000 300的矩陣相乘，相當消耗計算資源，為了高效計算，僅僅會選擇矩陣中對應的向量中緯度為1的索引行

即實際不會進行矩陣乘法計算，而是根據輸入向量中不為0 的維度去索引。這樣模型中的隱層權重矩陣便成了一個查找表（lookup table），輸出就是輸入單詞的嵌入詞向量

輸出層

隱層的輸出是一個1*300的向量，而輸出層是一個softmax回歸分類器，他的每個結點將會輸出一個0-1之間的值（概率），而結點的概率之和為1.

我們會發現Word2Vec模型是一個超級大的神經網路（權重矩陣規模非常大）。

舉個栗子，我們擁有10000個單詞的詞彙表，我們如果想嵌入300維的詞向量，那麼我們的輸入-隱層權重矩陣和隱層-輸出層的權重矩陣都會有 10000 x 300 = 300萬個權重，在如此龐大的神經網路中進行梯度下降是相當慢的。更糟糕的是，你需要大量的訓練數據來調整這些權重並且避免過擬合。百萬數量級的權重矩陣和億萬數量級的訓練樣本意味著訓練這個模型將會是個災難（太兇殘了）。

Word2Vec的作者在它的第二篇論文中強調了這些問題，下面是作者在第二篇論文中的三個創新：

事實證明，對常用詞抽樣並且對優化目標採用「negative sampling」不僅降低了訓練過程中的計算負擔，還提高了訓練的詞向量的質量。

word pairs and phases

一些單片語合的含義和拆開以後具有完全不同的意義，比如 New York，單獨的New 和York無法表達這個片語的含義。因此，應該把New York作為一個單獨的片語來生成其詞向量。

對高頻詞抽樣

對於高頻詞，如 the ，按上面的處理方式會有兩個問題：

如果直接刪除掉這些高頻詞，會有兩個問題

1.刪除後，the這個單詞永遠也不會出現在我們的上下文窗口

2.訓練樣本會減少

所以word2vec 採用抽樣的方式來解決這種高頻詞問題。他的基本思想是：對於我們在訓練原始文本中遇到的每一個單詞，他們都有一定概率被我們從文本中刪除掉，而這個被刪除的概率與單詞的頻率有關。

wi 是一個單詞，Z(wi)是這個單詞在所有預料中出現的頻次。P(wi)是被保留的概率。

負采樣

訓練一個神經網路意味著要輸入訓練樣本並且不斷的調整神經元的權重，不斷提高對目標的准確預測。而vocabulary的大小決定了skip-gram神經網路將擁有大規模的權重矩陣，所有的這些權重需要通過我們數以億計的樣本來訓練調整，非常消耗計算資源，並且實際中會非常慢。

負采樣解決了這個問題，不同於原本每個訓練樣本更新所有權重，負采樣每次讓一個訓練樣本僅僅更新一部分權重，減小計算量。

對於訓練樣本（fox，quick），都是經過one-hot編碼的，當vocabulary的大小為10000時，我們期望輸出對應的quick單詞的那個神經元的輸出是1，其餘9999個都是0，這9999個輸出為0的神經元所對應的單詞稱為negative word

隱層-輸出層擁有300 10000的權重，而負采樣時，我們僅僅更新quick 和我們選擇的其他5個negative word的結點對應的權重，共6個神經元，300 6 = 1800 個權重，相當於只計算了0.06%的權重，計算效率大大提高。

其中f(wi)代表每個單詞出現的頻次，p(wi)代表被選中的概率。

負采樣的C語言實現非常的有趣。unigram table有一個包含了一億個元素的數組，這個數組是由詞彙表中每個單詞的索引號填充的，並且這個數組中有重復，也就是說有些單詞會出現多次。那麼每個單詞的索引在這個數組中出現的次數該如何決定呢，由公式P(wi) * table_size，也就是說計算出的負采樣概率*1億=單詞在表中出現的次數。

有了這張表以後，每次去我們進行負采樣時，只需要在0-1億范圍內生成一個隨機數，然後選擇表中索引號為這個隨機數的那個單詞作為我們的negative word即可。一個單詞的負采樣概率越大，那麼它在這個表中出現的次數就越多，它被選中的概率就越大。