07 facebook權重算法(騰訊算法高級研究員陳松堅：智能問答技術及其應用)

得到每個點的embedding向量。

隨機游走在前面基于圖的模型中已經介紹過，其主要分為兩步：（1）選擇起始節點；（2）選擇下一節點。起始節點選擇有兩種方法：按一定規則抽取一定量的節點或者以圖中所有節點作為起始節點。一般來說會選擇后一種方法以保證所有節點都會被選取到。

在選擇下一節點方法上，最簡單的是按邊的權重來選擇，但在實際應用中需要通過廣度優先還是深度優先的方法來控制游走范圍。一般來說，深度優先發現能力更強，廣度優先更能使社區內（較相似）的節點出現在一個路徑里。

斯坦福大學Jure Leskovec教授給出了一種可以控制廣度優先或者深度優先的方法。

以上圖為例，假設第一步是從t隨機游走到v，這時候我們要確定下一步的鄰接節點。本例中，作者定義了p和q兩個參數變量來調節游走，首先計算其鄰居節點與上一節點t的距離d，根據下面的公式得到α：

一般從每個節點開始游走5~10次，步長則根據點的數量N游走根號N步。如此便可通過random walk生成點的序列樣本。

得到序列之后，便可以通過word2vec的方式訓練得到各個用戶的特征向量，通過余弦相似度便可以計算各個用戶的相似度了。有了相似度，便可以使用基于用戶的推薦算法了。

推薦系統需要根據用戶的歷史行為和興趣預測用戶未來的行為和興趣，因此大量的用戶行為數據就成為推薦系統的重要組成部分和先決條件。如何在沒有大量用戶數據的情況下設計個性化推薦系統并且讓用戶對推薦結果滿意從而愿意使用推薦系統，就是冷啟動問題。

冷啟動問題主要分為三類：

針對用戶冷啟動，下面給出一些簡要的方案：

（1）有效利用賬戶信息。利用用戶注冊時提供的年齡、性別等數據做粗粒度的個性化；

（2）利用用戶的社交網絡賬號登錄（需要用戶授權），導入用戶在社交網站上的好友信息，然后給用戶推薦其好友喜歡的物品；

（3）要求用戶在登錄時對一些物品進行反饋，手機用戶對這些物品的興趣信息，然后給用推薦那些和這些物品相似的物品；

（4）提供非個性化推薦。非個性化推薦的最簡單例子就是熱門排行榜，我們可以給用戶推薦熱門排行榜，然后等到用戶數據收集到一定的時候，在切換為個性化推薦。

對于物品冷啟動，可以利用新加入物品的內容信息，將它們推薦給喜歡過和他們相似的物品的用戶。

對于系統冷啟動，可以引入專家知識，通過一定高效的方式快速建立起物品的相關度表。

在上面介紹了一些推薦系統的基礎算法知識，這些算法大都是比較經典且現在還在使用的。但是需要注意的是，在實踐中，任何一種推薦算法都不是單獨使用的，而是將多種推薦算法結合起來，也就是混合推薦系統，但是在這里并不準備介紹，感興趣的可以查閱《推薦系統》或《推薦系統與深度學習》等書籍。此外，在推薦中非常重要的點擊率模型以及基于矩陣的一些排序算法在這里并沒有提及，感興趣的也可自行學習。

雖然現在用的很多算法都是基于深度學習的，但是這些經典算法能夠讓我們對推薦系統的發展有一個比較好的理解，同時，更重要的一點——“推陳出新”，只有掌握了這些經典的算法，才能提出或理解現在的一些更好地算法。

騰訊算法高級研究員陳松堅：智能問答技術及其應用

隨著人工智能的飛速發展以及廣泛落地應用，越來越多的設備將會被植入智能問答技術，人機交互場景隨處可見，智能問答在未來將會成為一個非常重要的入口。

騰訊小知憑借著業界領先的智能AI引擎算法和海量大數據倉庫，已將智能問答技術落地實施，并且經過大量的業務考驗和優化，知識點匹配度和準確率都已達到90%以上，在2018 年 GITC 全球互聯網技術大會上，騰訊小知榮獲年度互聯網最具價值產品獎。

騰訊小知算法負責人陳松堅也在會場發表了關于智能問答技術原理及其在To B場景下的應用的專題演講，從自己的角度為我們展現智能問答技術的最新成果。

他首先從智能問答是什么，為什么和怎么做的三個問題出發，闡明了他對當前智能問答技術的定位和價值，首先，現階段的智能問答是信息檢索技術的升級，是量變而未達到質變。但是無論在To B還是To C的場景下，當前的技術都能夠切實解決一些用戶的痛點，提升用戶體驗，是亟待推進和充滿想象的方向。

此后他還分享了小知團隊將上述技術產品化的經驗，包括智能客服機器人和電話機器人兩大塊，主要分享了當前產品的形態，亮點和實際項目中取得的一些成果。

最后，他簡單總結了小知目前完成的工作以及就智能問答的發展提出了自己的幾點看法。

--------------------------------------------------------------

以下是演講稿全文：

各位下午好，很高興今天能在這里給大家做分享報告。先介紹一下，我們騰訊小知是致力于為政府和各行業提供一攬子智能問答解決方案的團隊，目前已經落地的包括基于文本的智能客服機器人和基于語音的電話機器人等。

在大多數人的認知里，智能問答很可能是以上的3個印象，2011年打敗了人類取得問答競賽冠軍的waston;2017年被沙特授予公民身份的機器人sofia;更為大家熟知的鋼鐵俠中的機器人管家jarvis。在大家心目中，智能就意味著能夠像真人一樣交流。然而作為從業者，很遺憾地告訴大家，目前的技術還遠沒有達到這個目標，我認為本質上目前的智能問答技術是對信息檢索技術的一次升級，是量變而未到質變。這個皇冠上的明珠還等待我們去摘取。

那如何實現智能問答機器人呢?我們先來看最基本的單輪問答機器人的實現原理。

熟悉搜索引擎的朋友會發現這個架構跟搜索引擎的很類似。單輪問答一般來說就是FAQ問答，是基于業務問答對組成的問答庫進行檢索匹配。其中FAQ問題集包含多個相似問法供用戶問題去匹配。預處理階段一般會進行文本糾錯，標準化和底層NLP特征提取;召回階段會在倒排索引中召回若干個候選問題(粗排)，而最后的匹配階段會基于各種模型進行匹配打分并返回得分最高的結果(精排)。匹配階段還會引入其他模塊，如知識圖譜和拒識模型，目的是輔助提升匹配的最終準確率。

retrieval中的匹配可以看做是naive solution，詞袋+VSM, 篩選候選夠用了，但是精排需要更精致的策略，第一，要利用監督信息做擬合，我們構建基于問題對的訓練語料，擬合是否匹配這個二分類目標。第二，特征上拋棄稀疏的詞袋模型，而是構造各種相似度來做base s買粉絲rer，然后利用非線性的抗噪能力強的xgboost來做融合，比如我們用到詞bigram, 字bigram, 核心詞，名詞等特征集合的相似度。這種方法的優缺點是一體的，由于模型只學習字面相似的特征，因此不受領域影響，通用性強，適合用在冷啟動階段;但也因為只考慮字面相似，無法處理更深層的語義匹配。

那如何度量語義的相似呢。詞向量技術的興起是語義匹配的前提，所謂詞向量，是將孤立的傳統的token表示映射到相互關聯的向量空間中，這種關聯性，或者說是相似性，是通過詞語的上下文的來描述的。也就是說，上下文越相似的詞語，他們的語義就越相似，詞向量的歐式距離就越近。這是很容易理解的，更妙的是，通過對向量進行簡單加減運算，能夠呈現出概念的關系，比如king-man+woman的結果非常接近于queen, 因此說明詞向量能夠一定程度刻畫語義。那對句子如何做向量表示呢?一個簡單的想法是直接求和平均，WMD是另一個比較有意思且有效的做法，他將計算句子到句子的相似度建模成一個運輸的問題，把句子p的各個詞，運輸到q的各個詞上，也可以說是變換;運輸成本是詞向量的買粉絲sine相似度，而要運輸的是各個詞在句子中的權重，用線性規劃求解一個最優解，即為p到q的距離。另外還有個有效的方法是SIF，思路是做詞向量加權求和，但是突顯出句子中非通用的部分，即權重用詞頻倒數來計算權重，實驗效果也很不錯。

上面的方法有一個問題就是沒有利用有監督信息，所以效果有明顯的天花板。下面介紹這個工作是基于深層網絡做有監督學習的匹配的，做法也比較簡單，首先把句子文本用one-hot編碼，假如詞典大小是500K，那編碼完長度就是500K維，其實等于是詞袋模型，然后輸入到一個多層的神經網絡去學習，最終得到一個128維的向量作為句子的語義表示，然后用買粉絲sine計算兩個句子與文檔的相似度作為模型輸出。這個方法其實是將高維稀疏的token特征映射到低維語義空間，跟詞向量的思路很類似，只不過訓練目標不同，并且這里使用了深層網絡結構。

但是CNN對上下文的處理能力依賴于窗口大小，遠距離就沒辦法處理了，因此要考慮另一種網絡單元RNN，這種單元是專門為時序模型量身打造的，簡單來說，每一時刻t上的隱藏狀態，或者說第t個詞上的語義編碼，都由兩個輸入共同決定，即上一時刻的隱藏狀態和當前時刻的原始輸入，而為了解決遠距離傳遞導致的梯度消失和梯度爆炸等問題，RNN有一些變種結構來應對，比如 LSTM和GRU等。

CNN和RNN都是對原始輸入進行語義編碼的基本單元，編碼后的向量就可以接入多層感知機進行相似度計算，如果是直接計算買粉絲sine相似度，那就是dssm的升級版，而更常見的做法是把兩個句子的編碼向量拼接在一起，再經過一個多層感知機計算相似度，而這種方法統稱為表達式建模;

另一種方案考慮到兩個句子之間的交互信息對學習他們是否匹配顯然更為重要，這一類方案被稱為交互式建模，右邊是一個典型的例子，他最大的不同是首先對兩個句子的所有窗口組合進行拼接和卷積，得到交互信息。然后再進行多次卷積和池化得到表示。其他的交互方式還包括編碼之后，進行交互操作，如作差，點乘等，還有計算attention表示，也是常見的交互方式。

下面介紹我們的方案，跟上面介紹的模型相比，我們的方案主要做了兩處改動，一個是使用了稠密連接的網絡結構，讓rnn層的輸入和輸出拼接在一起做為下一層的輸入，第二個是混合注意力機制，即在計算attention向量進行交互式建模的基礎上，增加self-attention向量計算，然后把兩個attention向量經過門機制進行融合，這樣做一方面引入了問句間的交互信息，同時又增強了對自身的表達建模。

上面的模型是比較復雜的模型，參數量有5.8M。在實際中應用中訓練語料會嚴重不足，為了解決這個問題，我們引入了遷移學習的策略。首先第一種是多任務聯合學習，比如在擬合兩個問句是否匹配的同時，也對問句進行分類預測;另外還可以同時對匹配的問題對做seq2seq的翻譯模型訓練。這兩個策略都證明能有效提升準確率。

而另一個思路更加直觀，即引入其他領域的語料，所謂多語料遷移。Fine-tune即參數微調是其中一種做法，即先用通用語料訓練網絡，固定底層表達層的參數，然后再使用領域語料調整上層參數;另一種思路參考了對抗學習的思想，即引入一個新的任務“混淆分類器”去判別當前樣本是來自源語料還是目標語料，通過在損失函數中增加反向的混淆分類損失項，讓混淆分類器盡可能地無法區分樣本的來源，從而保證共享了參數的表達網絡能夠學習到兩部分語料中共性的部分。

以上的介紹都是為了完成一個基本的單輪對

很赞哦!（988）