04 facebook大語言模型(大數據處理需要用到的九種編程語言)

都需要對于單個樣本預測多次，但是序列標注模型需要預測的次數直接等于字符的數量，是確定的，但是文本生成任務模型需要預測的次數是不確定的，并且每次預測的值域都是目標語言所有word（或者character）所組成的整體集合，即 O(len(words)) ，其規模可能是十萬級或百萬級的。因此我們很容易發現文本生成任務的難度和復雜程度是要遠遠高于其他任務的。對話任務如生成式閑聊機器人更是如此。

可能是之前的AlphaGo過于吸引廣大群眾的眼球，做相關業務的公司吹的太厲害，以及“人工智能”、“深度學習”這幾個詞聽起來逼格滿滿，導致許多外行人認為現在的人工智能已經發展到很厲害的層次，并且可以做各種各樣的事情，似乎無所不能。但是內行人心里卻明白：“什么人工智能，人工智障吧”、“所謂人工智能，多是智能不夠，人工來湊”。外行人看不到深度模型算法的局限性，如許多模型的精度并不能達到那么高；也看不到深度模型算法的前提條件，如高質量、大規模的數據集，他們以為模型大約聰明到隨便喂點數據便成為終結者般的存在。這也就導致了他們剛開始預期很高，然而在投資或找到外包后發現效果遠遠不能達到預期，大失所望而潦草結束或撤資離場的局面。

如下一張圖大概有點這個意思：

統觀學術界與工業界，和計算機視覺領域相比，自然語言處理這種更深層次的、涉及到認知智能的領域的進展雖悠久但緩慢，并且許多任務目前為止距離真正商用還有很大的距離。然而正是科學史上如阿基米德、牛頓等偉大人物與其他相對無名之輩默默耕耘，前赴后繼，才使得如今之人類齊享先輩之成果，即所謂“前人栽樹后人乘涼”也。

我輩也無需悲觀，須戒驕戒躁，搞算法的就多己見、少盲從，少水論文；搞工程的就多積累經驗，提升實踐能力，多做高質量的項目。功夫不負有心人。

facebook的bart大模型全稱?

Facebook的BART大模型全稱為Bidirectional and AutoRegressive Transformers。

BART是Facebook AI Research（FAIR）團隊開發的一種基于Transformer架構的序列生成模型。BART模型結合了雙向編碼器和自回歸解碼器的特點，可以用于多種自然語言處理任務，如文本摘要、機器翻譯和對話生成等。BART模型的核心思想是通過預訓練和微調的方式，利用大規模的無監督數據來學習語言的表示和生成能力。

《預訓練周刊》第33期：預訓練語言模型的高效分層域適應

關于周刊

本期周刊，我們選擇了9篇預訓練相關的論文，涉及詞匯遷移、常識問答、多模態訓練、層次訓練、對比學習、圖像分割、圖文模型、蛋白質作用和免疫特征表示的 探索 。此外，在研究動態方面，我們選擇了2篇預訓練資訊，將介紹大模型競爭和視覺算法年度回顧方面的一些最新內容。最后，在資源推薦方面，我們選擇了1篇預訓練資源，將介紹跨語言摘要方面的一些最新內容。

本期貢獻者：申德周 翟珂 吳新剛

論文推薦

標題：俄羅斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微調Transformer：詞匯遷移）

簡介：本文討論了巨大型預訓練模型為下游任務微調而引發遷移學習的 探索 之一：詞匯遷移。自然語言處理領域最新進展中Transformer已成為絕對主流。這些模型的大多數實際自然語言處理應用通常是通過遷移學習實現的。本文研究了用于微調的語料庫特定標記化是否會提高模型的最終性能。作者通過一系列的詞匯表優化和遷移實驗，證明了這種詞匯表優化和遷移策略可以提高模型的性能。作者稱之為：在遷移學習領域開創了詞匯遷移的這一方向。

論文地址：「鏈接」

標題：加州大學 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形轉換和一致性優化的小樣本常識問答）

簡介：本文在常識問答（CQA）方向研究預訓練語言模型中的知識提取。作者將重點放在更好地利用預訓練語言模型中存儲的知識。雖然研究人員發現，通過讓預先訓練的語言模型填充精心設計的關系提取和文本分類提示的空白，可以提取嵌入在預訓練的語言模型中的知識，但目前尚不清楚作者是否可以在CQA中采用這種范式，其中輸入和輸出的形式更加靈活。為此，作者研究了四種可以將自然問題翻譯成完形填空式句子的翻譯方法，以更好地從語言模型中獲取常識性知識，包括基于句法的模型、無監督神經模型和兩種監督神經模型。此外，為結合不同的翻譯方法，作者提議鼓勵使用未標記數據對不同翻譯問題進行模型一致性的預測。實驗證明了作者的方法在三個CQA數據集上的有效性。

論文地址：「鏈接」

標題：威斯康星大學、微軟等 | RegionCLIP: Region-based Language-Image Pretraining（基于區域的語言圖像預訓練）

簡介：本文研究了基于識別圖像區域的語言圖像預訓練模型。業界使用“圖像-文本對”的對比語言圖像預訓練 (CLIP)在零樣本和遷移學習中的圖像分類方面取得了令人印象深刻的結果。然而，作者表明直接應用此類模型來識別圖像區域以進行對象檢測會導致性能不佳，因為存在域偏移：CLIP 被訓練以將圖像作為一個整體與文本描述進行匹配，而沒有捕獲圖像之間的細粒度對齊區域和文本跨度。為了緩解這個問題，作者提出了一種稱為 RegionCLIP 的新方法，該方法顯著擴展了 CLIP 以學習區域級視覺表示，從而實現圖像區域和文本概念之間的細粒度對齊。作者的方法利用 CLIP 模型將圖像區域與模板標題匹配，然后預訓練作者的模型以在特征空間中對齊這些區域-文本對。當將作者的預訓練模型轉移到開放詞匯對象檢測任務時，作者的方法在 COCO 和 LVIS 數據集上的新類別分別顯著優于現有技術 3.8 AP50 和 2.2 AP。

論文地址：「鏈接」

代碼地址：買粉絲s://github.買粉絲/microsoft/RegionCLIP

標題：艾倫AI研究所、慕尼黑大學 | Efficient Hierarchical Domain Adaptation for Pretrained Language Models（預訓練語言模型的高效分層域適應）

簡介：本文研究了以分層樹結構的域表示實現預訓練語言模型的分層。生成式的語言模型，在不同的通用領域語料庫上進行訓練，然而這就限制了它們對更窄領域的適用性，之前的工作表明，持續的領域內訓練可以提供進一步的收益。在本文中，作者介紹了一種使用計算效率高的適配器方法將域適應擴展到許多不同域的方法。作者的方法基于對文本域部分重疊的觀察，作者將域表示為分層樹結構，其中樹中的每個節點都與一組適配器權重相關聯。當與凍結的預訓練語言模型相結合時，這種方法可以實現相關領域之間的參數共享，同時避免不相關領域之間的負面干擾。該方法很高效：對于 D 個域，計算成本為 O(log(D))。GPT-2 的實驗結果和 C4 中 100 個最具代表性的網站中的大部分顯示了域內的全面改進。作者還為保留域提供了一種推理時間算法，并表明對通過樹的多條路徑進行平均可以進一步提高泛化效果，同時僅增加推理的邊際成本。

論文地址：「鏈接」

標題：谷歌、亞馬遜等 | Supervised Graph Contrastive Pretraining for Text Classification（用于文本分類的有監督圖對比預訓練）

簡介：本文介紹了用于文本分類的對比預訓練技術。但是，通常可以使用來自與當前任務共享標簽語義的相關任務的標記數據。作者假設有效地使用這些標記數據可以更好地概括當前任務。在本文中，作者提出了一種通過基于圖的監督對比學習方法有效利用來自相關任務的標記數據的新方法。作者通過將監督信息從示例外推到令牌來制定令牌圖。作者的公式產生了一個嵌入空間，其中屬于同一類的高/低概率標記彼此靠近/遠離。作者還提出了詳細的理論見解、以作為本研究方法的驅動。基于作者采用的數據集，實驗表明：作者的方法優于預訓練方案 2.5 % 、并且基于示例級對比學習的公式提升約 1.8 %。此外，在零樣本場景中實驗表明跨域有效性平均提升3.91%。最后，作者還證明了該方法可以用作知識蒸餾設置中的噪聲教師模型、約平均提升4.57% 。

論文地址：「鏈接」

標題：百度 | ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation（ERNIE-ViLG：雙向視覺語言生成的統一生成式預訓練）

簡介：視覺語言預訓練模型極大地提高了圖像-文本生成任務的性能，但用于文本-圖像生成任務的大規模預訓練模型仍在研究中。本文提出了ERNIE-ViLG，一個統一的生成式預訓練框架，基于Transformer模型并將圖像生成和文本生成都表述為以文本/圖像輸入為條件的自回歸生成任務。雙向的圖像-文本生成模型簡化了跨視覺和語言的語義對接。對于文本到圖像的生成過程，作者進一步提出了一種端到端的訓練方法來共同學習視覺序列生成器和圖像重建器。為了 探索 雙向文本-圖像生成的大規模預訓練的前景，本文在1.45億圖像-中文文本對的大規模數據集上訓練了一個100億參數的模型，該模型在文本-圖像和圖像-文本任務上都取得了最先進的性能。

論文地址：「鏈接」

標題：華中科大、西安交大、微軟 | A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model（用預訓練視覺語言模型進行零樣本語義分割的基線）

簡介：通過視覺語言預訓練的零樣本圖像分類已經漸趨成熟，然而在更廣泛的視覺問題上如物體檢測和語義分割還需研究。本文在預訓練的視覺語言模型CLIP上構建零樣本語義分割基線。該問題難點在于語義分割和CLIP模型在不同的視覺顆粒度上執行，語義分割在像素上處理，而CLIP在圖像上執行。為了彌補處理粒度上的差異，本文沒有使用普遍的基于FCN的單階段框架，而使用一個兩階段的語義分割框架，第一階段提取泛化掩碼，第二階段利用基于圖像的CLIP模型，對第一階段產生的掩碼圖像作物進行零樣本分類。本文的實驗結果表明，這個簡單的框架在很大程度上超過了目前的先進技術。憑借其簡單性和強大的性能，本文希望這個框架能夠作為基線以助未來的研究。

論文地址：「鏈接」

標題：中山大學 | AlphaFold2-aware protein-DNA binding site predi

很赞哦!（98541）