06 facebook大語言模型(大數據處理需要用到的九種編程語言)

雖然他現在比以前更少使用R了。

“R已經逐漸過時了，在龐大的數據集底下它跑的慢又笨重”Butler說。

所以接下來他用什么呢?

Python

如果說R是神經質又令人喜愛的Geek，那Python就是隨和又好相處的女生。

Python結合了R的快速、處理復雜數據采礦的能力以及更務實的語言等各個特質，迅速地成為主流，Python比起R，學起來更加簡單也更直觀，而且它的生態系統近幾年來不可思議地快速成長，在統計分析上比起R功能更強。

Butler說，“過去兩年間，從R到Python地顯著改變，就像是一個巨人不斷地推動向前進”。

在數據處理范疇內，通常在規模與復雜之間要有個取舍，而Python以折衷的姿態出現。IPythonNotebook（記事本軟件）和NumPy被用來暫時存取較低負擔的工作量，然而Python對于中等規模的數據處理是相當好的工具；Python擁有豐富的資料族，提供大量的工具包和統計特征。

美國銀行用Python來建立新產品和在銀行的基礎建設接口，同時也處理財務數據，“Python是更廣泛又相當有彈性，所以大家會對它趨之若鶩。”O’Donnell如是說。

然而，雖然它的優點能夠彌補R的缺點，它仍然不是最高效能的語言，偶爾才能處理龐大規模、核心的基礎建設。Dris買粉絲ll是這么認為的。

Julia

今日大多數的數據科學都是透過R、Python、Java、Matlab及SAS為主，但仍然存在著鴻溝要去彌補，而這個時候，新進者Julia看到了這個痛點。

Julia仍太過于神秘而尚未被業界廣泛的采用，但是當談到它的潛力足以搶奪R和Python的寶座時，數據黑客也難以解釋。原因在于Julia是個高階、不可思議的快速和善于表達的語言，比起R要快的許多，比起Python又有潛力處理更具規模的數據，也很容易上手。

“Julia會變的日漸重要，最終，在R和Python可以做的事情在Julia也可以”。Butler是這么認為的。

Dris買粉絲ll說，它就是因為它年輕，才會有可能變成主流又有前景。

Java

Dris買粉絲ll說，Java和以Java為基礎的架構，是由硅谷里最大的幾家科技公司的核心所建立的，如果你從Twitter、Linkedin或是Facebook里觀察，你會發現Java對于所有數據工程基礎架構而言，是非常基礎的語言。

Java沒有和R和Python一樣好的可視化功能，它也不是統計建模的最佳工具，但是如果你需要建立一個龐大的系統、使用過去的原型，那Java通常會是你最基的選擇。

Hadoop and Hive

為了迎合大量數據處理的需求，以Java為基礎的工具群興起。Hadoop為處理一批批數據處理，發展以Java為基礎的架構關鍵；相較于其他處理工具，Hadoop慢許多，但是無比的準確和可被后端數據庫分析廣泛使用。和Hive搭配的很好，Hive是基于查詢的架構下，運作的相當好。

Scala

又是另一個以Java為基礎的語言，和Java很像，對任何想要進行大規模的機械學習或是建立高階的算法，Scala會是逐漸興起的工具。它是善于呈現且擁有建立可靠系統的能力。

“Java像是用鋼鐵建造的；Scala則是讓你能夠把它拿進窯烤然后變成鋼的黏土”Dris買粉絲ll說。

Kafka andStorm

說到當你需要快速的、實時的分析時，你會想到什么?Kafka將會是你的最佳伙伴。其實它已經出現五年有了，只是因為最近串流處理興起才變的越來越流行。

Kafka是從Linkedin內誕生的，是一個特別快速的查詢訊息系統。Kafka的缺點呢?就是它太快了，因此在實時操作時它會犯錯，有時候會漏掉東西。

魚與熊掌不可兼得，「必須要在準確度跟速度之間做一個選擇」，Dris買粉絲ll說。所以全部在硅谷的科技大公司都利用兩個管道：用Kafka或Storm處理實時數據，接下來打開Hadoop處理一批批處理數據系統，這樣聽起來有點麻煩又會有些慢，但好處是，它非常非常精準。

Storm是另一個從Scala寫出來的架構，在硅谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter并購，這并不意外，因為Twitter對快速事件處理有極大的興趣。

Matlab

Matlab可以說是歷久不衰，即使它標價很高；在非常特定的利基市場它使用的相當廣泛，包括密集的研究機器學習、信號處理、圖像辨識等等。

Octave

Octave和Matlab很像，除了它是免費的之外。然而，在學術信號處理的圈子，幾乎都會提到它。

GO

GO是另一個逐漸興起的新進者，從Google開發出來的，放寬點說，它是從C語言來的，并且在建立強大的基礎架構上，漸漸地成為Java和Python的競爭者。

這么多的軟件可以使用，但我認為不見得每個都一定要會才行，知道你的目標和方向是什么，就選定一個最適合的工具使用吧!可以幫助你提升效率又達到精準的結果。

Meta 開源了語言翻譯 AI 模型

Meta（前身是 Facebook）在開源世界做出了不小的貢獻。Meta 除了專注于元宇宙Metaverse和其社交媒體平臺外，還致力于各種研究和創新工作，比如 React（一個 JaveScript 庫）。

現在，Meta 的研究人員決定開源一個叫 “不落下任何語言No Language Left Behind” 項目。

（LCTT 校注：這個直譯項目名稱不夠好聽，我來拋磚引玉，似可稱做“無人獨語”，讀者有什么建議嗎？）

目前，雖然世界上有大約 7000 個在使用中的語言，但大多數在線的內容都是以少數的流行語言來提供的，比如英語。這讓許多不懂這些語言的人處于不利的地位。

雖然現存的許多翻譯工具，但語法錯誤會讓錯誤變得難以閱讀和理解。另外，如果你想把內容翻譯為一個不流行的語言（特別是非洲和亞洲的一些語言），翻譯體驗不會很好。

因此，Meta 正在開發有最高質量的翻譯工具，可以幫助解決這一全球性的問題。

NLLB-200（不落下任何語言No Language Left Behind） 是一個人工智能翻譯模型，其可以翻譯 200 多種語言。該模型在每種語言中的翻譯結果是通過一個名為 FLORES-200 復雜數據集來確定和評估的。

正如 Meta 所說，NLLB 的翻譯結果比以前的人工智能研究方法好 40% 。對于一些最不常見的語言，其翻譯準確率甚至超過 70%。了不起的工作！

為了幫助開發項目和提高模型的翻譯質量，Meta 向所有感興趣的研究人員開放了源代碼，包括 NLLB-200 模型、FLORES-200 數據庫、模型訓練和重建訓練數據庫的代碼。

Meta 宣布向從事聯合國可持續發展目標UN Sustainable Development Goals任何領域工作和翻譯非洲語言的非營利組織和研究人員提供高達 20 萬美元的捐贈，也鼓勵其他學術領域如語言學和機器翻譯的研究人員申請。

盡管 Meta 主要打算在其數字平臺上，特別是在“元宇宙”上使用 NLLB，但 NLLB 也有可能在其他領域產生巨大影響。

許多用戶可以用他們的母語輕松地訪問和閱讀在線資源。項目開源后，社區應該能夠幫助實現這個目標。

你對 Meta 的這個項目有什么看法？

via: 買粉絲s://news.itsfoss.買粉絲/meta-open-source-ai-model/

作者：Rishabh Moharir選題：lkxed譯者：fenglyulin校對：wxy

淺談中文分詞與自然語言處理

最近出于興趣和需要，重新回顧中文分詞技術，期間有些心得，以及一些關于自然語言處理的淺薄之見，這里簡單分享一下。

首先， 中文分詞_百度百科 里面簡單介紹了其中主要的分詞算法以及相應的優缺點，包括字符匹配法、統計法以及理解法，其中字符匹配法和統計法比較流行且可以取到相對不錯的效果，而理解法則相對比較復雜高級，但是我認為這才是真正解決中文分詞任務的根本算法。

如今用于中文分詞的算法和模型雖算不上比比皆是，但也算是唾手可得，開源的如jieba、ltp、Hanlp等等，提供中文分詞服務的如騰訊云、百度大腦、訊飛AI平臺等，以及其他如Jiagu等。

其實這些平臺算法的差距并不算太大，分詞準確率基本上都是在80%以上，然而在98%以下（這里胡謅個數），在一些不太嚴格的應用場景下基本已經夠用了，只要挑一個在自己的業務場景下表現最好的即可。

在我看來，對于中文分詞這項任務而言，最關鍵最核心的其實并不是算法模型，這些都不是所謂的瓶頸，最重要的其實是高質量、大規模的詞典。對于字符匹配法而言，詞典是基礎，沒有詞典自然連分都分不出來；對于統計學習法而言，其效果一方面取決于算法和模型的選擇，一方面取決于其訓練數據的數量與質量，需要堆人力物力，比如找專門的標注公司標注數據等。但是就算是人標的數據，也難免有所錯誤遺漏，所以在有錯誤的訓練數據下，模型也不可能學的太好，同時訓練數據再大，也難以覆蓋全部語料，總會出現OOV，總有些句子會訓練不到，此時還強求模型可以做到“舉一反三”有些不切實際。

詞條中還提到了關于中文分詞的技術難點：歧義識別與新詞識別，關于歧義識別，上面并沒有提具體的解決思路，對于新詞識別而言，這又是自然語言處理領域很基礎并且很重要的點，可以參見一下我之前的文章： 《NLP基礎任務之新詞發現探索之路》 | lightsmile's Blog ，也有另一個思路，比如說爬取網上一些網站的相關條目，比如百度百科等。

簡單看了一下 jieba 、 ansj_seg 、 Jiagu 的分詞詞典，發現其中jieba的詞典質量最差，其中不少詞性都是錯誤的，Jiagu的詞典還算不錯，就是一些新詞不全，ansi_seg的沒有細看。

盡管這些工具在一些評測數據的結果可以達到90以上的成績，但是在我看來，還是不夠的，我覺得中文分詞這個基礎而又艱巨的任務還是要到99%以上才可以，否則分詞都分不對，那些在分詞基礎之上的任務更是不行，畢竟詞是基本的語義單元。

然而在現在深度學習盛行的潮流下，許多任務如文本分類、命名實體識別等并不一定需要依賴于分詞，直接基于字符（char）的Embedding也可以取得不錯的效果，并且也可以規避OOV（out of vocabulary words，未登錄詞）的問題。

但是深度學習，尤其是監督學習的很關鍵之處是得有大規模的高質量訓練數據，不然巧婦難為無米之炊，再好的模型也難以從垃圾中學到有用的知識。

話說回來，雖然自然語言處理是計算機科學與其他領域的交叉學科，深度學習、機器學習算是人工智能的一部分，然而許多時候往往十分依賴人工，而所謂的智能其實也不智能。

無論是計算機視覺領域里的圖像分類還是自然語言處理領域的文本分類，其任務都是學習一個從輸入

很赞哦!（2）