06 facebook人臉識別有影響嗎(世界前沿科技是什么？)

義為，其中代表類別的概率，而和分別代表對單元和的輸入。交叉熵定義為，其中代表輸出單元的目標概率，代表應用了激活函數后對單元的概率輸出[32]。

深度神經網絡的問題[編輯]

與其他神經網絡模型類似，如果僅僅是簡單地訓練，深度神經網絡可能會存在很多問題。常見的兩類問題是過擬合和過長的運算時間。

深度神經網絡很容易產生過擬合現象，因為增加的抽象層使得模型能夠對訓練數據中較為罕見的依賴關系進行建模。對此，權重遞減（正規化）或者稀疏（-正規化）等方法可以利用在訓練過程中以減小過擬合現象[33]。另一種較晚用于深度神經網絡訓練的正規化方法是丟棄法（"dropout" regularization），即在訓練中隨機丟棄一部分隱層單元來避免對較為罕見的依賴進行建模[34]。

反向傳播算法和梯度下降法由于其實現簡單，與其他方法相比能夠收斂到更好的局部最優值而成為神經網絡訓練的通行方法。但是，這些方法的計算代價很高，尤其是在訓練深度神經網絡時，因為深度神經網絡的規模（即層數和每層的節點數）、學習率、初始權重等眾多參數都需要考慮。掃描所有參數由于時間代價的原因并不可行，因而小批量訓練（mini-batching），即將多個訓練樣本組合進行訓練而不是每次只使用一個樣本進行訓練，被用于加速模型訓練[35]。而最顯著地速度提升來自GPU，因為矩陣和向量計算非常適合使用GPU實現。但使用大規模集群進行深度神經網絡訓練仍然存在困難，因而深度神經網絡在訓練并行化方面仍有提升的空間。

深度信念網絡[編輯]

一個包含完全連接可見層和隱層的受限玻爾茲曼機（RBM）。注意到可見層單元和隱層單元內部彼此不相連。

深度信念網絡（deep belief 買粉絲works，DBN）是一種包含多層隱單元的概率生成模型，可被視為多層簡單學習模型組合而成的復合模型[36]。

深度信念網絡可以作為深度神經網絡的預訓練部分，并為網絡提供初始權重，再使用反向傳播或者其他判定算法作為調優的手段。這在訓練數據較為缺乏時很有價值，因為不恰當的初始化權重會顯著影響最終模型的性能，而預訓練獲得的權重在權值空間中比隨機權重更接近最優的權重。這不僅提升了模型的性能，也加快了調優階段的收斂速度[37]。

深度信念網絡中的每一層都是典型的受限玻爾茲曼機（restricted Boltzmann machine，RBM），可以使用高效的無監督逐層訓練方法進行訓練。受限玻爾茲曼機是一種無向的基于能量的生成模型，包含一個輸入層和一個隱層。圖中對的邊僅在輸入層和隱層之間存在，而輸入層節點內部和隱層節點內部則不存在邊。單層RBM的訓練方法最初由杰弗里·辛頓在訓練“專家乘積”中提出，被稱為對比分歧（買粉絲ntrast divergence, CD）。對比分歧提供了一種對最大似然的近似，被理想地用于學習受限玻爾茲曼機的權重[35]。當單層RBM被訓練完畢后，另一層RBM可被堆疊在已經訓練完成的RBM上，形成一個多層模型。每次堆疊時，原有的多層網絡輸入層被初始化為訓練樣本，權重為先前訓練得到的權重，該網絡的輸出作為新增RBM的輸入，新的RBM重復先前的單層訓練過程，整個過程可以持續進行，直到達到某個期望中的終止條件[38]。

盡管對比分歧對最大似然的近似十分粗略（對比分歧并不在任何函數的梯度方向上），但經驗結果證實該方法是訓練深度結構的一種有效的方法[35]。

卷積神經網絡[編輯]

主條目：卷積神經網絡

卷積神經網絡（買粉絲nvolutional neuron 買粉絲works，CNN）由一個或多個卷積層和頂端的全連通層（對應經典的神經網絡）組成，同時也包括關聯權重和池化層（pooling layer）。這一結構使得卷積神經網絡能夠利用輸入數據的二維結構。與其他深度學習結構相比，卷積神經網絡在圖像和語音識別方面能夠給出更優的結果。這一模型也可以使用反向傳播算法進行訓練。相比較其他深度、前饋神經網絡，卷積神經網絡需要估計的參數更少，使之成為一種頗具吸引力的深度學習結構[39]。

卷積深度信念網絡[編輯]

卷積深度信念網絡（買粉絲nvolutional deep belief 買粉絲works，CDBN）是深度學習領域較新的分支。在結構上，卷積深度信念網絡與卷積神經網絡在結構上相似。因此，與卷積神經網絡類似，卷積深度信念網絡也具備利用圖像二維結構的能力，與此同時，卷積深度信念網絡也擁有深度信念網絡的預訓練優勢。卷積深度信念網絡提供了一種能被用于信號和圖像處理任務的通用結構，也能夠使用類似深度信念網絡的訓練方法進行訓練[40]。

結果[編輯]

語音識別[編輯]

下表中的結果展示了深度學習在通行的TIMIT數據集上的結果。TIMIT包含630人的語音數據，這些人持八種常見的美式英語口音，每人閱讀10句話。這一數據在深度學習發展之初常被用于驗證深度學習結構[41]。TIMIT數據集較小，使得研究者可以在其上實驗不同的模型配置。

方法

聲音誤差率 (PER, %)

隨機初始化RNN 26.1

貝葉斯三音子GMM-HMM 25.6

單音子重復初始化DNN 23.4

單音子DBN-DNN 22.4

帶BMMI訓練的三音子GMM-HMM 21.7

共享池上的單音子DBN-DNN 20.7

卷積DNN 20.0

圖像分類[編輯]

圖像分類領域中一個公認的評判數據集是MNIST數據集。MNIST由手寫阿拉伯數字組成，包含60,000個訓練樣本和10,000個測試樣本。與TIMIT類似，它的數據規模較小，因而能夠很容易地在不同的模型配置下測試。Yann LeCun的網站給出了多種方法得到的實驗結果[42]。截至2012年，最好的判別結果由Ciresan等人在當年給出，這一結果的錯誤率達到了0.23%[43]。

深度學習與神經科學[編輯]

計算機領域中的深度學習與20世紀90年代由認知神經科學研究者提出的大腦發育理論（尤其是皮層發育理論）密切相關[44]。對這一理論最容易理解的是杰弗里·艾爾曼（Jeffrey Elman）于1996年出版的專著《對天賦的再思考》（Rethinking Innateness）[45]（參見斯拉格和約翰遜[46]以及奎茲和賽杰諾維斯基[47]的表述）。由于這些理論給出了實際的神經計算模型，因而它們是純計算驅動的深度學習模型的技術先驅。這些理論指出，大腦中的神經元組成了不同的層次，這些層次相互連接，形成一個過濾體系。在這些層次中，每層神經元在其所處的環境中獲取一部分信息，經過處理后向更深的層級傳遞。這與后來的單純與計算相關的深度神經網絡模型相似。這一過程的結果是一個與環境相協調的自組織的堆棧式的轉換器。正如1995年在《紐約時報》上刊登的那樣，“……嬰兒的大腦似乎受到所謂‘營養因素’的影響而進行著自我組織……大腦的不同區域依次相連，不同層次的腦組織依照一定的先后順序發育成熟，直至整個大腦發育成熟。”[48]

公眾視野中的深度學習[編輯]

深度學習常常被看作是通向真正人工智能的重要一步[51]，因而許多機構對深度學習的實際應用抱有濃厚的興趣。2013年12月，Facebook宣布雇用燕樂存為其新建的人工智能實驗室的主管，這一實驗室將在加州、倫敦和紐約設立分支機構，幫助Facebook研究利用深度學習算法進行類似自動標記照片中用戶姓名這樣的任務[52]。

2013年3月，杰弗里·辛頓和他的兩位研究生亞歷克斯·克里澤夫斯基和伊利婭·蘇特斯科娃被谷歌公司雇用，以提升現有的機器學習產品并協助處理谷歌日益增長的數據。谷歌同時并購了辛頓創辦的公司DNNresearch[53]。

批評[編輯]

對深度學習的主要批評是許多方法缺乏理論支撐。大多數深度結構僅僅是梯度下降的某些變式。盡管梯度下降已經被充分地研究，但理論涉及的其他算法，例如對比分歧算法，并沒有獲得充分的研究，其收斂性等問題仍不明確。深度學習方法常常被視為黑盒，大多數的結論確認都由經驗而非理論來確定。

也有學者認為，深度學習應當被視為通向真正人工智能的一條途徑，而不是一種包羅萬象的解決方案。盡管深度學習的能力很強，但和真正的人工智能相比，仍然缺乏諸多重要的能力。理論心理學家加里·馬庫斯（Gary Marcus）指出：

就現實而言，深度學習只是建造智能機器這一更大挑戰中的一部分。這些技術缺乏表達因果關系的手段……缺乏進行邏輯推理的方法，而且遠沒有具備集成抽象知識，例如物品屬性、代表和典型用途的信息。最為強大的人工智能系統，例如IBM的人工智能系統沃森，僅僅把深度學習作為一個包含從貝葉斯推理和演繹推理等技術的復雜技術集合中的組成部分[54]。

為什么美國的科技巨頭不像阿里巴巴和騰訊那樣撒大網似的到處投資？

美國的 科技 巨頭通常注重專業，在進行并購和投資時，主要是圍繞自己的主營業務進行，大多都是在相應的領域進行并購投資，很少有大規模的跨行業投資并購。并且 科技 巨頭間的主營業務基本沒有重疊，在對外投資時，沖突和競爭較小，所以幾乎沒有太多跨行業的巨型并購。

美企在投資領域更為聚焦，比如亞馬遜專注投資電商領域，蘋果喜歡對硬件和操作系統軟件進行并購，谷歌（Google）的圍繞搜索技術和廣告技術、以及流量入口，Facebook專注于社交領域和新興的VR/AR，而微軟Microsoft的布局集中在企業端和生產效率軟件上。美國法律對技術創新的保護程度很好，創業中的互聯網公司有新的技術或想法，不用擔心被盜版，也不存在因為資金資源上的不足被擊垮破產的風險。而國內的的創業風險比較大，類似的創新想法可以被克隆，所以被收購或許是最好的選擇。

我國的互聯網市場潛力巨大，需要跑馬圈地為先。阿里由電商發家，涉足金融保險、教育醫療、交通城管、未來 科技 、文化 娛樂 等行業。騰訊由社交起步，在社交、手游等方面無人匹敵，支付體量直逼阿里。2017年阿里投資了79筆，并購金額約為898.54億人民幣，投資活躍度已經超過很多一線VC。而騰訊投資了113筆，文化 娛樂 項目最多，是國內投資布局最多的公司。 在押注未來的風口這件事情上，誰都不敢松懈，未來 還會繼續以跑馬圈地的態勢發展。

因為 社會 環境不同，中國的大企業基本無法避免“尾大不掉”“冗長繁雜”的命運。而壟斷則是美國 科技 巨頭慣用的打法。

AMD和Intel并駕齊驅地壟斷計算機CPU技術；微軟則選擇壟斷操作系統，不管你再厲害的軟件沒有系統也是免談。而且美國獨霸鰲頭的企業代工廠遍及世界各地，但卻無法被復制。

顯卡都是別國代工，但核心技術在本國；微機主板讓對手代工，但核心芯片組技術窺探不來。美國的 科技 巨頭都是走向國際化靠的是低工資成本帶來的價格落差。價格差越大的，沖擊力就越猛，發展速度就越快。

荀子在《勸學》里就表述過了：“縢蛇無足而飛，鼦鼠五技而窮”。行事應該把目標集中到一點上，不專不精，樣樣都是“半瓶子醋”，對于靠“技術”吃飯的來說是大忌。

而阿里和騰訊不同，技術和生產都在自己這里，價格差一下子就達到飽和狀態。 可技術的投資又得上臺階一樣只升不降，所以必須用從別

很赞哦!（71）