03 youtube官網 中文新聞數據集分類實驗(深層網絡結構嵌入)

amples)設為100億。對于DeepWalk，我們將窗口大小設置為10，步長為40，每次采樣40個頂點。對于GraRep，我們將最大轉移矩陣步長(maximum matrix transition step)設置為5。

我們通過本實驗中的多標簽分類任務來評估不同網絡表示的有效性。頂點的表示是從網絡嵌入方法生成的，并被用作將每個頂點分成一組標簽的特征。具體來說，我們采用LIBLINEAR軟件包來訓練分類器。訓練分類器時，我們隨機抽取標簽節點的一部分作為訓練數據，其余作為測試。對于BLOGCATALOG，我們隨機抽取10％至90％的頂點作為訓練樣本，并使用剩余頂點來測試性能。對于FLICKR和YOUTUBE，我們隨機抽取1％至10％的頂點作為訓練樣本，并使用剩余頂點來測試性能。另外，我們刪除沒有在YOUTUBE中被任何類別標記的頂點。我們重復進行5次實驗，取Micro-F1和Macro-F1指標的平均值進行度量。結果分別如圖3到圖5所示。

[圖片上傳失敗...(image-8c4a6-1510922608055)]

圖3 .Micro-F1和Macro-F1在BLOGCATALOG上的表現

[圖片上傳失敗...(image-953fed-1510922608055)]

圖4 .Micro-F1和Macro-F1在FLICKR上的表現

[圖片上傳失敗...(image-bce93a-1510922608055)]

圖5 .Micro-F1和Macro-F1在YOUTUBE上的表現

在圖3到圖5中，我們算法的曲線一直高于其他基準算法的曲線。它表明，在多標簽分類任務中我們算法學習得到的網絡表示比其他算法得到的效果更好。

在圖3（BLOGCATALOG）中，當訓練百分比從60％下降到10％時，我們的方法在基準線上的改善幅度更為明顯。它表明當標簽數據有限時，我們的方法可以比基準算法有更顯著的改進。這樣的優勢對于現實世界的應用尤其重要，因為標記的數據通常很少。

在大多數情況下，DeepWalk的性能是網絡嵌入方法中最差的。原因有兩個方面。首先，DeepWalk沒有明確的目標函數來捕獲網絡結構。其次，DeepWalk使用隨機游走來獲得頂點的鄰居，由于隨機性而引起了很多噪音，特別是對于度數高的頂點。

網絡嵌入的另一個重要應用是在二維空間上生成網絡的可視化。對此我們在20-NEWSGROUP網絡進行可視化的實驗。我們使用不同網絡嵌入方法學習的低維網絡表示作為可視化工具t-SNE的輸入。因此，每個新聞組文檔被映射為二維向量。然后我們可以將每個向量可視化為二維空間上的一個點。對于被標記為不同類別的文檔，我們在對應的點上使用不同的顏色。因此，良好的可視化結果能讓相同顏色的點彼此靠近。可視化結果如圖6所示。

[圖片上傳失敗...(image-b52fc7-1510922608055)]

圖6. 20-NEWSGROUP的可視化

每個點表示一個文檔。點的顏色表示文檔的類別。藍色表示rec.sport.baseball的主題，紅色表示買粉絲p.graphics的主題，綠色表示talk.politics.guns的主題。

從圖7可以看出，LE和DeepWalk的結果并不理想，屬于不同類別的點相互混合。對于LINE，形成不同類別的群集。然而，在中心部分，不同類別的文件仍然相互混合。對于GraRep，結果看起來更好，因為相同顏色的點分割成分組，但是，每個群體的邊界不是很清楚。顯然，SDNE的可視化效果在群體分離和邊界方面都表現最好。

在本文中，我們提出了一種深層網絡結構嵌入，即SDNE來執行網絡嵌入。具體來說，為了捕獲高維非線性的網絡結構，我們設計了一個具有多層非線性函數的半監督深度模型。為了進一步解決網絡結構保持和稀疏問題，我們同時使用了一階鄰近度和二階鄰近度來表示網絡的局部和全局特征。通過在半監督的深度模型中優化它們，所學習的表示能夠體現出網絡的局部和全局特征，并且對稀疏網絡是魯棒的。我們在真實的網絡數據集上試驗了多標簽分類和可視化任務。結果表明，我們的算法與當前最好的算法(state-of-the-art)相比有本質性的提高。

很赞哦!（882）