02 youtube官網 中文新聞數據集分類實驗(深層網絡結構嵌入)

({ W { (k)}}y_i { (k - 1)} + { b^{ (k)}}),k = 2, \cdots ,K$${ % endraw %}

通過一系列編碼器的計算，我們可以獲得輸出${ \hat x_i}$。自動編碼器的目標是盡量減少輸入和輸出的重構誤差。損失函數可以表示為：

{ % raw %}$${ \rm{ \mathcal{ L}}} = \sum\limits_{ i = 1}^n { \left| { { { \hat x} i} - { x_i}} \right| 2^2} $${ % endraw %}

通過最小化損失函數能夠較好的還原輸入數據的原始表達，其表示空間能夠提取出原始輸入數據的特征。基于上述特性，我們將網絡的鄰接矩陣S作為自動編碼器的輸入，如： ${ x_i} = { s_i}$，那么每一個元素${ s_i}$表示節點${ v_i}$鄰居節點的特征。因此，通過重構可以讓具有相似鄰居結構的節點在隱藏的表示空間也具有相似的表達。

但是，僅僅通過這種方式還不能直接解決問題。因為在網絡中，我們可以觀察到一些連接，但是也有一些合法的連接是缺失的。此外，由于網絡的稀疏性，在鄰接矩陣$S$中，零元素遠遠大于非零元素。如果我們直接將S輸入到傳統的自編碼器中，可能會導致大量的零元素出現在重構空間，這并不是我們想要的結果。為了解決這個問題，我們讓其對非零元素的重構誤差比零元素的懲罰更大。改進的目標函數如下所示：

{ % raw %}$$\begin{ array}{ l}{ { \rm{ \mathcal{ L}}} { 2nd}} = \sum\limits{ i = 1}^n { \left| { ({ { \hat x} i} - { x_i}) \odot { b_i}} \right| 2^2} \{ \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} = \left| { (\hat X - X) \odot B} \right| F^2\end{ array}$${ % endraw %}

其中$ \odot $表示Hadamard積，{ % raw %}${ b_i} = { { b { i,j}}} { j = 1}^n${ % endraw %}，如果{ % raw %}${ s { i,j}} = 0${ % endraw %}，那么{ % raw %}${ b{ i,j}} = 1${ % endraw %}，否則${ b{ i,j}} = \beta > 1$。通過這種改進的損失函數，可以更好的讓具有相似鄰居的點在獲得的表示空間也相似。換句話說，這個非監督部分能夠很好的保存網絡的二階相似度。

不僅要維持全局網絡結構，而且要捕獲局部結構。我們使用一階相似度表示網絡局部結構。一階相似度可以作為監督信息來約束一對頂點在隱藏表示空間的相似性。因此，我們設計了監督部分來利用一階相似度。損失函數如下所示：

{ % raw %}$$\begin{ array}{ l}{ { \rm{ \mathcal{ L}}} { 1nd}} = \sum\limits { i = 1}^n { { s_{ i,j}}\left| { y_i^{ (K)} - y_j^{ (K)}} \right| 2^2} \{ \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} = \sum\limits { i = 1}^n { { s_{ i,j}}\left| { { y_i} - { y_j}} \right| 2^2} \end{ array}$${ % endraw %}

其中{ % raw %}${ Y^{ (k)}} = { y_i^{ (k)}} { i = 1}^n${ % endraw %}為編碼器獲得的隱藏表示空間。

該公式的靈感來源于拉普拉斯特征映射(Laplacian Eigenmaps)，在表示空間中，如果相似的節點相距較遠，那么會受到一個較大的懲罰。通過這一操作，我們的模型能夠很好的保持網絡的一階相似度。

我們同時考慮網絡的一階相似度和二階相似度，另外在加上L2正則項，共同構成了自動編碼器的損失函數：

{ % raw %}$$\begin{ array}{ l}{ { \rm{ \mathcal{ L}}} { mix}} = { { \rm{ \mathcal{ L}}}{ 2nd}} + \alpha { { \rm{ \mathcal{ L}}} { 1nd}} + \upsilon { { \rm{ \mathcal{ L}}} { reg}}\{ \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} = \left| { (\hat X - X) \odot B} \right| F^2 + \alpha \sum\limits { i = 1}^n { { s_{ i,j}}\left| { { y_i} - { y_j}} \right| 2^2} + \upsilon { { \rm{ \mathcal{ L}}} { reg}}\end{ array}$${ % endraw %}

其中：

{ % raw %}$$\begin{ array}{ l}{ { \rm{ \mathcal{ L}}} { mix}} = { { \rm{ \mathcal{ L}}} { 2nd}} + \alpha { { \rm{ \mathcal{ L}}} { 1nd}} + \upsilon { { \rm{ \mathcal{ L}}} { reg}}\{ \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} { \kern 1pt} = \left| { (\hat X - X) \odot B} \right| F^2 + \alpha \sum\limits { i = 1}^n { { s_{ i,j}}\left| { { y_i} - { y_j}} \right| 2^2} + \upsilon { { \rm{ \mathcal{ L}}} { reg}}\end{ array}$${ % endraw %}

為了能夠全面地評價算法得到的低維表示，我們使用了5個真實的網絡數據，包括3個社交網絡，1個引文網絡，1個語言網絡；實驗了2類網絡應用任務，包括多標簽分類和可視化。考慮到各個網絡數據的本身屬性，對于每一類應用，我們使用了至少一個數據集進行試驗。數據集的參數如下表所示：

表1. 網絡數據集參數

我們實驗與以下幾個基準算法進行比較：DeepWalk、LINE、GraRep、Laplacian Eigenmaps、Common Neighbor。

對于多標簽分類問題，我們采用micro-F1和macro-F1指標進行評價。對于標簽A，我們將TP（A），FP（A）和FN（A）分別表示為屬于A的樣本被正確分類到A的數目，不屬于A的樣本被錯誤分類到A的數目和不屬于A的樣本被正確分類到了類別A的其他類的數目。假設 是整個標簽集。Micro-F1和Macro-F1定義如下：

Macro-F1是一個每個類的權重的度量。 定義如下：

{ % raw %}$$Macro - F1 = \frac{ { \sum\nolimits_{ A \in { \rm{ \mathcal{ C}}}} { F1(A)} }}{ { \left| { \rm{ \mathcal{ C}}} \right|}}$${ % endraw %}

其中F1(A)是標簽A的F1度量。

Micro-F1是對每個實例權重的度量。定義如下：

{ % raw %}$$\Pr = \frac{ { \sum\nolimits_{ A \in { \rm{ \mathcal{ C}}}} { TP(A)} }}{ { \sum\nolimits_{ A \in { \rm{ \mathcal{ C}}}} { (TP(A) + FP(A))} }}$${ % endraw %}

{ % raw %}$$R = \frac{ { \sum\nolimits_{ A \in { \rm{ \mathcal{ C}}}} { TP(A)} }}{ { \sum\nolimits_{ A \in { \rm{ \mathcal{ C}}}} { (TP(A) + FN(A))} }}$${ % endraw %}

{ % raw %}$$Micro - F1 = \frac{ { 2*\Pr *R}}{ { \Pr + R}}$${ % endraw %}

我們在本文中提出了一種多層的神經網絡結構，層數隨不同的數據集而做相應調整。每層的神經元數目如表2所示。其中BLOGCATALOG，ARXIV GR-QC和20-EWSGROUP使用了三層神經網絡，FLICKR和YOUTUBE使用了四層。如果我們使用更深的模型，性能幾乎保持不變，甚至變得更糟。

表2. 神經網絡結構

對于我們的方法，通過在驗證集上使用網格搜索(grid search)來調整 ， 和 三個超參數。對于LINE，隨機梯度下降的mini-batch大小設置為1。學習速率的初始值為0.025。負采樣數(number of negative samples)為5，總采樣數(the total number of s

很赞哦!（9813）