02 facebook像素代碼(跨境電商如何做好獨立站)

隊獨立發明的。

用來求解目標函數關于多層神經網絡權值梯度的反向傳播算法（BP）只是一個用來求導的鏈式法則的具體應用而已。反向傳播算法的核心思想是：目標函數對于某層輸入的導數（或者梯度）可以通過向后傳播對該層輸出（或者下一層輸入）的導數求得（如圖1）。反向傳播算法可以被重復的用于傳播梯度通過多層神經網絡的每一層：從該多層神經網絡的最頂層的輸出（也就是改網絡產生預測的那一層）一直到該多層神經網絡的最底層（也就是被接受外部輸入的那一層），一旦這些關于（目標函數對）每層輸入的導數求解完，我們就可以求解每一層上面的（目標函數對）權值的梯度了。

很多深度學習的應用都是使用前饋式神經網絡（如圖1），該神經網絡學習一個從固定大小輸入（比如輸入是一張圖）到固定大小輸出（例如，到不同類別的概率）的映射。從第一層到下一層，計算前一層神經元輸入數據的權值的和，然后把這個和傳給一個非線性激活函數。當前最流行的非線性激活函數是rectified linear unit(ReLU)，函數形式：f(z)=max(z,0)。過去的幾十年中，神經網絡使用一些更加平滑的非線性函數，比如tanh(z)和1/(1+exp(-z))，但是ReLU通常會讓一個多層神經網絡學習的更快，也可以讓一個深度網絡直接有監督的訓練（不需要無監督的pre-train）。

達到之前那種有pre-train的效果。通常情況下，輸入層和輸出層以外的神經單元被稱為隱藏單元。隱藏層的作用可以看成是使用一個非線性的方式打亂輸入數據，來讓輸入數據對應的類別在最后一層變得線性可分。

在20世紀90年代晚期，神經網絡和反向傳播算法被大多數機器學習團隊拋棄，同時也不受計算機視覺和語音識別團隊的重視。人們普遍認為，學習有用的、多級層次結構的、使用較少先驗知識進行特征提取的這些方法都不靠譜。確切的說是因為簡單的梯度下降會讓整個優化陷入到不好的局部最小解。

實踐中，如果在大的網絡中，不管使用什么樣的初始化條件，局部最小解并不算什么大問題，系統總是得到效果差不多的解。最近的理論和實驗表明，局部最小解還真不是啥大問題。相反，解空間中充滿了大量的鞍點（梯度為0的點），同時鞍點周圍大部分曲面都是往上的。所以這些算法就算是陷入了這些局部最小值，關系也不太大。

2006年前后，CIFAR（加拿大高級研究院）把一些研究者聚集在一起，人們對深度前饋式神經網絡重新燃起了興趣。研究者們提出了一種非監督的學習方法，這種方法可以創建一些網絡層來檢測特征而不使用帶標簽的數據，這些網絡層可以用來重構或者對特征檢測器的活動進行建模。通過預訓練過程，深度網絡的權值可以被初始化為有意思的值。然后一個輸出層被添加到該網絡的頂部，并且使用標準的反向傳播算法進行微調。這個工作對手寫體數字的識別以及行人預測任務產生了顯著的效果，尤其是帶標簽的數據非常少的時候。

使用這種與訓練方法做出來的第一個比較大的應用是關于語音識別的，并且是在GPU上做的，這樣做是因為寫代碼很方便，并且在訓練的時候可以得到10倍或者20倍的加速。2009年，這種方法被用來映射短時間的系數窗口，該系統窗口是提取自聲波并被轉換成一組概率數字。它在一組使用很少詞匯的標準的語音識別基準測試程序上達到了驚人的效果，然后又迅速被發展到另外一個更大的數據集上，同時也取得驚人的效果。從2009年到到2012年底，較大的語音團隊開發了這種深度網絡的多個版本并且已經被用到了安卓手機上。對于小的數據集來說，無監督的預訓練可以防止過擬合，同時可以帶來更好的泛化性能當有標簽的樣本很小的時候。一旦深度學習技術重新恢復，這種預訓練只有在數據集合較少的時候才需要。

然后，還有一種深度前饋式神經網絡，這種網絡更易于訓練并且比那種全連接的神經網絡的泛化性能更好。這就是卷積神經網絡（CNN）。當人們對神經網絡不感興趣的時候，卷積神經網絡在實踐中卻取得了很多成功，如今它被計算機視覺團隊廣泛使用。 卷積神經網絡

卷積神經網絡被設計用來處理到多維數組數據的，比如一個有3個包含了像素值2-D圖像組合成的一個具有3個顏色通道的彩色圖像。很多數據形態都是這種多維數組的：1D用來表示信號和序列包括語言，2D用來表示圖像或者聲音，3D用來表示視頻或者有聲音的圖像。卷積神經網絡使用4個關鍵的想法來利用自然信號的屬性：局部連接、權值共享、池化以及多網絡層的使用。

圖2 卷積神經網絡內部

一個典型的卷積神經網絡結構（如圖2）是由一系列的過程組成的。最初的幾個階段是由卷積層和池化層組成，卷積層的單元被組織在特征圖中，在特征圖中，每一個單元通過一組叫做濾波器的權值被連接到上一層的特征圖的一個局部塊，然后這個局部加權和被傳給一個非線性函數，比如ReLU。在一個特征圖中的全部單元享用相同的過濾器，不同層的特征圖使用不同的過濾器。使用這種結構處于兩方面的原因。首先，在數組數據中，比如圖像數據，一個值的附近的值經常是高度相關的，可以形成比較容易被探測到的有區分性的局部特征。其次，不同位置局部統計特征不太相關的，也就是說，在一個地方出現的某個特征，也可能出現在別的地方，所以不同位置的單元可以共享權值以及可以探測相同的樣本。在數學上，這種由一個特征圖執行的過濾操作是一個離線的卷積，卷積神經網絡也是這么得名來的。

深度神經網絡利用的很多自然信號是層級組成的屬性，在這種屬性中高級的特征是通過對低級特征的組合來實現的。在圖像中，局部邊緣的組合形成基本圖案，這些圖案形成物體的局部，然后再形成物體。這種層級結構也存在于語音數據以及文本數據中，如電話中的聲音，因素，音節，文檔中的單詞和句子。當輸入數據在前一層中的位置有變化的時候，池化操作讓這些特征表示對這些變化具有魯棒性。

卷積神經網絡中的卷積和池化層靈感直接來源于視覺神經科學中的簡單細胞和復雜細胞。這種細胞的是以LNG-V1-V2-V4-IT這種層級結構形成視覺回路的。當給一個卷積神經網絡和猴子一副相同的圖片的時候，卷積神經網絡展示了猴子下顳葉皮質中隨機160個神經元的變化。卷積神經網絡有神經認知的根源，他們的架構有點相似，但是在神經認知中是沒有類似反向傳播算法這種端到端的監督學習算法的。一個比較原始的1D卷積神經網絡被稱為時延神經網絡，可以被用來識別語音以及簡單的單詞。

20世紀90年代以來，基于卷積神經網絡出現了大量的應用。最開始是用時延神經網絡來做語音識別以及文檔閱讀。這個文檔閱讀系統使用一個被訓練好的卷積神經網絡和一個概率模型，這個概率模型實現了語言方面的一些約束。20世紀90年代末，這個系統被用來美國超過10%的支票閱讀上。后來，微軟開發了基于卷積神經網絡的字符識別系統以及手寫體識別系統。20世紀90年代早期，卷積神經網絡也被用來自然圖形中的物體識別，比如臉、手以及人臉識別（face re買粉絲gnition ）。

使用深度卷積網絡進行圖像理解

21世紀開始，卷積神經網絡就被成功的大量用于檢測、分割、物體識別以及圖像的各個領域。這些應用都是使用了大量的有標簽的數據，比如交通信號識別，生物信息分割，面部探測，文本、行人以及自然圖形中的人的身體部分的探測。近年來，卷積神經網絡的一個重大成功應用是人臉識別。

值得一提的是，圖像可以在像素級別進行打標簽，這樣就可以應用在比如自動電話接聽機器人、自動駕駛汽車等技術中。像Mobileye以及NVIDIA公司正在把基于卷積神經網絡的方法用于汽車中的視覺系統中。其它的應用涉及到自然語言的理解以及語音識別中。

圖3 從圖像到文字

盡管卷積神經網絡應用的很成功，但是它被計算機視覺以及機器學習團隊開始重視是在2012年的ImageNet競賽。在該競賽中，深度卷積神經網絡被用在上百萬張網絡圖片數據集，這個數據集包含了1000個不同的類。該結果達到了前所未有的好，幾乎比當時最好的方法降低了一半的錯誤率。這個成功來自有效地利用了GPU、ReLU、一個新的被稱為dropout的正則技術，以及通過分解現有樣本產生更多訓練樣本的技術。這個成功給計算機視覺帶來一個革命。如今，卷積神經網絡用于幾乎全部的識別和探測任務中。最近一個更好的成果是，利用卷積神經網絡結合回饋神經網絡用來產生圖像標題。

如今的卷積神經網絡架構有10-20層采用ReLU激活函數、上百萬個權值以及幾十億個連接。然而訓練如此大的網絡兩年前就只需要幾周了，現在硬件、軟件以及算法并行的進步，又把訓練時間壓縮到了幾小時。

基于卷積神經網絡的視覺系統的性能已經引起了大型技術公司的注意，比如Google、Facebook、Microsoft、IBM，yahoo！、Twitter和Adobe等，一些快速增長的創業公司也同樣如是。

卷積神經網絡很容易在芯片或者現場可編程門陣列（FPGA）中高效實現，許多公司比如NVIDIA、Mobileye、Intel、Qual買粉絲m以及Samsung，正在開發卷積神經網絡芯片，以使智能機、相機、機器人以及自動駕駛汽車中的實時視覺系統成為可能。

分布式特征表示與語言處理

與不使用分布式特征表示（distributed representations ）的經典學習算法相比，深度學習理論表明深度網絡具有兩個不同的巨大的優勢。這些優勢來源于網絡中各節點的權值，并取決于具有合理結構的底層生成數據的分布。首先，學習分布式特征表示能夠泛化適應新學習到的特征值的組合（比如，n元特征就有2n種可能的組合）。其次，深度網絡中組合表示層帶來了另一個指數級的優勢潛能（指數級的深度）。

多層神經網絡中的隱層利用網絡中輸入的數據進行特征學習，使之更加容易預測目標輸出。下面是一個很好的示范例子，比如將本地文本的內容作為輸入，訓練多層神經網絡來預測句子中下一個單詞。內容中的每個單詞表示為網絡中的N分之一的向量，也就是說，每個組成部分中有一個值為1其余的全為0。在第一層中，每個單詞創建不同的激活狀態，或單詞向量（如圖4）。在語言模型中，網絡中其余層學習并轉化輸入的單詞向量為輸出單詞向量來預測句子中下一個單詞，可以通過預測詞匯表中的單詞作為文本句子中下一個單詞出現的概率。網絡學習了包含許多激活節點的、并且可以解釋為詞的獨立特征的單詞向量，正如第一次示范的文本學習分層表征文字符號的例子。這些語義特征在輸入中并沒有明確的表征。而是在利用“微規則”（‘micro-rules’,本文中直譯為：微規則）學習過程中被發掘，并作為一個分解輸入與輸出符號之間關系結構的好的方式。當句子是來自大量的真實文本并且個別的微規則不可靠的情況下，學習單詞向量也一樣能表現得很好。利用訓練好的模型預測新的事例時，一些概念比較相似的詞容易混淆，比如星期二（Tuesday）和星期三（Wednesday），瑞典（Sweden）和挪威（Norway）。這樣的表示方式被稱為分布式特征表示，因為他們的元素之間并不互相排斥，并且他們的構造信息對應于觀測到的數據的變化。這些單詞向量是通過學習得到的特征構造的，這些特征不是由專家決定的，而是由神經網絡自動發掘的。從文本中學習得單詞向量表示現在廣泛應用于自然語言中。

圖4 詞向量學習可視化

特征表示問題爭論的中心介于對基于邏輯啟發和基于神經網絡的認識。在邏輯啟發的范式中，一個符號實體表示某一事物，因為其唯一的屬性與其他符號實體相同或者不同。該符號實例沒有內部結構，并且結構與使用是相關的，至于理解符號的語義，就必須與變化的推理規則合理對應。相反地，神經網絡利用了大量活動載體、權值矩陣和標量非線性化，來實現能夠支撐

很赞哦!（9）