01 youtube官網中文版更新了哪些寶貴經驗論文(Youtube DNN經典論文)

Youtube DNN經典論文

最近在看王喆的知乎專欄，第三、四、十三篇都是Youtube的經典論文DNN：買粉絲s://zhuanlan.hu.買粉絲/p/52169807  買粉絲s://zhuanlan.hu.買粉絲/p/52504407  買粉絲s://zhuanlan.hu.買粉絲/p/61827629

跟著大佬又回顧了一下，發現之前真的只能算是一知半解，趁著這次把對這篇論文的新的理解記錄一下，可能還會有一些錯誤。

論文講解了在召回和精排兩個階段的模型：

召回：

先從特征說起：用戶觀看過的買粉絲的embedding，用戶搜索詞的embedding，用戶的地理位置、年齡等side_infomation，還有exampl_age這個需要解釋的特征

然后是模型：三層DNN

最后是training的loss：softmax做分類

serving的方式：nearest neighbor

里面其實有很多疑點：

1.example_age是什么

這個點專欄里說是訓練時間 - 得到這條樣本的時間（視頻點擊時間），但是我覺得這樣表達不出“新視頻”這個概念，也不知道用當前時間去減是啥意思，label是點擊那一刻打上去的，又不是訓練的時候；

所以我覺得這個example age應該是點擊時間-上架時間，表示用戶對新上架視頻的偏好，用這個特征去捕獲這個偏好了，在serve的時候全都置為0就可以消除這個偏好，畢竟這是召回階段，可以多召回些東西。（這樣就是消除用戶對新視頻的偏好了？）

2.為什么要做多分類，而不是預測分，多分類的話有海量視頻，性能怎么保證

為什么要做多分類，而不是把樣本的embedding也給到網絡里做打分，這一點我是真的沒弄明白；

海量視頻的多分類性能的提升是用到了sampled softmax，可以參考買粉絲://買粉絲.4k8k.xyz/article/Kaiyuan_sjtu/119881236  買粉絲s://zhuanlan.hu.買粉絲/p/349908071 總的來說就是通過Q(y|x)采樣出一個子集，對子集計算logits，然后用計算結果F(x,y)-log(Q(y|x))可以表示原數據集上的logits

3.serving階段為什么不做多分類了，而是做nearest neighbor

這里首先要弄明白serving階段的user embedding和買粉絲 embedding是什么，user_embedding是最后一層relu之后的結果，比如是一個d維的向量；然后要得到一個幾百萬維(用d_N表示)的向量，需要過一個d*d_N維的矩陣，這個矩陣的每一列訓練完之后就是買粉絲 embedding；如果是serving的階段依然是和每一列相乘，再算一個softmax，既然分母是一樣的，取指數的操作也是一樣的，那么就直接做點積就好了。

排序：

先從特征說起：當前排序的買粉絲的embedding，用戶觀看過的買粉絲的embedding，用戶和買粉絲的語言embedding，time since last watch是自上次觀看同channel視頻的時間，previous impressions是該視頻已經被曝光給該用戶的次數（這里已經引入了負反饋的思路）

然后是模型：三層DNN

最后是training的loss：weighted logistic

serving的方式：e^(Wx+b)

這里面也有一些疑點：

1.training時候的weighted logistic是什么，為什么serving的時候用的是e^(Wx+b)

這個點是我重讀的時候最沒理解的地方，先嘗試寫一下，這里首先要搞清楚weighted logitstic是什么，那先回顧一下LR的公式的由來是log(odds) = w*x；這里的odds=p/(1-p)表示正樣本發生的概率/負樣本發生的概率；在weighted LR里面這個odds要變成W*p/(1-p)這里的W就是給正樣本加的權重，至于為什么是這樣有一種解釋是用正負樣本比去解釋的，我覺得不是很合理 買粉絲s://zhuanlan.hu.買粉絲/p/435912211；但是如果能夠接受這個odds的話，那么log(odds) = w*x就可以得到odds = e^(wx)，后者就是serving的目標；

再說W*p/(1-p)是什么，這里W權重是這條視頻的時長T，那么sum(Ti*pi)就是E(T)即時長的期望，E(T)/(1-p)泰勒展開就是E(T)*(1+p)這里的p很小的話其實就是E(T)也就是說serving的時候其實得到的就是觀看時長的期望，這里如果用到電商里用price去加權，得到的應該也是對price的預估。

Youtube DNN經典論文

最近在看王喆的知乎專欄，第三、四、十三篇都是Youtube的經典論文DNN：買粉絲s://zhuanlan.hu.買粉絲/p/52169807  買粉絲s://zhuanlan.hu.買粉絲/p/52504407  買粉絲s://zhuanlan.hu.買粉絲/p/61827629

跟著大佬又回顧了一下，發現之前真的只能算是一知半解，趁著這次把對這篇論文的新的理解記錄一下，可能還會有一些錯誤。

論文講解了在召回和精排兩個階段的模型：

召回：

先從特征說起：用戶觀看過的買粉絲的embedding，用戶搜索詞的embedding，用戶的地理位置、年齡等side_infomation，還有exampl_age這個需要解釋的特征

然后是模型：三層DNN

最后是training的loss：softmax做分類

serving的方式：nearest neighbor

里面其實有很多疑點：

1.example_age是什么

這個點專欄里說是訓練時間 - 得到這條樣本的時間（視頻點擊時間），但是我覺得這樣表達不出“新視頻”這個概念，也不知道用當前時間去減是啥意思，label是點擊那一刻打上去的，又不是訓練的時候；

所以我覺得這個example age應該是點擊時間-上架時間，表示用戶對新上架視頻的偏好，用這個特征去捕獲這個偏好了，在serve的時候全都置為0就可以消除這個偏好，畢竟這是召回階段，可以多召回些東西。（這樣就是消除用戶對新視頻的偏好了？）

2.為什么要做多分類，而不是預測分，多分類的話有海量視頻，性能怎么保證

為什么要做多分類，而不是把樣本的embedding也給到網絡里做打分，這一點我是真的沒弄明白；

海量視頻的多分類性能的提升是用到了sampled softmax，可以參考買粉絲://買粉絲.4k8k.xyz/article/Kaiyuan_sjtu/119881236  買粉絲s://zhuanlan.hu.買粉絲/p/349908071 總的來說就是通過Q(y|x)采樣出一個子集，對子集計算logits，然后用計算結果F(x,y)-log(Q(y|x))可以表示原數據集上的logits

3.serving階段為什么不做多分類了，而是做nearest neighbor

這里首先要弄明白serving階段的user embedding和買粉絲 embedding是什么，user_embedding是最后一層relu之后的結果，比如是一個d維的向量；然后要得到一個幾百萬維(用d_N表示)的向量，需要過一個d*d_N維的矩陣，這個矩陣的每一列訓練完之后就是買粉絲 embedding；如果是serving的階段依然是和每一列相乘，再算一個softmax，既然分母是一樣的，取指數的操作也是一樣的，那么就直接做點積就好了。

排序：

先從特征說起：當前排序的買粉絲的embedding，用戶觀看過的買粉絲的embedding，用戶和買粉絲的語言embedding，time since last watch是自上次觀看同channel視頻的時間，previous impressions是該視頻已經被曝光給該用戶的次數（這里已經引入了負反饋的思路）

然后是模型：三層DNN

最后是training的loss：weighted logistic

serving的方式：e^(Wx+b)

這里面也有一些疑點：

1.training時候的weighted logistic是什么，為什么serving的時候用的是e^(Wx+b)

這個點是我重讀的時候最沒理解的地方，先嘗試寫一下，這里首先要搞清楚weighted logitstic是什么，那先回顧一下LR的公式的由來是log(odds) = w*x；這里的odds=p/(1-p)表示正樣本發生的概率/負樣本發生的概率；在weighted LR里面這個odds要變成W*p/(1-p)這里的W就是給正樣本加的權重，至于為什么是這樣有一種解釋是用正負樣本比去解釋的，我覺得不是很合理 買粉絲s://zhuanlan.hu.買粉絲/p/435912211；但是如果能夠接受這個odds的話，那么log(odds) = w*x就可以得到odds = e^(wx)，后者就是serving的目標；

再說W*p/(1-p)是什么，這里W權重是這條視頻的時長T，那么sum(Ti*pi)就是E(T)即時長的期望，E(T)/(1-p)泰勒展開就是E(T)*(1+p)這里的p很小的話其實就是E(T)也就是說serving的時候其實得到的就是觀看時長的期望，這里如果用到電商里用price去加權，得到的應該也是對price的預估。

很赞哦!（5）