微軟 AI&Research 今天分享了有史以來(lái)最大的基于 Transformer 架構的語(yǔ)言生成模型 Turing NLG(下文簡(jiǎn)稱(chēng)為T(mén)-NLG)，并開(kāi)源了一個(gè)名為 DeepSpeed 的深度學(xué)習庫，以簡(jiǎn)化對大型模型的分布式培訓。

　　基于 Transformer 的架構，意味著(zhù)該模型可以生成單詞來(lái)完成開(kāi)放式文本任務(wù)。除了完成未完成的句子外，它還可以生成對輸入文檔的問(wèn)題和摘要的直接答案。

　　去年 8 月，英偉達曾宣布已訓練世界上最大的基于 Transformer 的語(yǔ)言模型，當時(shí)該模型使用了 83 億個(gè)參數，比 BERT 大 24 倍，比 OpenAI 的 GPT-2 大 5 倍。

　　而此次微軟所分享的模型，T-NLG 的參數為 170 億個(gè)，是英偉達的 Megatron(現在是第二大 Transformer 模型)的兩倍，其參數是 OpenAI 的 GPT-2 的十倍。微軟表示，T-NLG 在各種語(yǔ)言建?；鶞噬暇鶅?yōu)于最新技術(shù)，并在應用于許多實(shí)際任務(wù)(包括總結和問(wèn)題解答)時(shí)表現出色。

　　不過(guò)，像 Google 的 Meena 一樣，最初使用 GPT-2，T-NLG 最初只能在私人演示中共享。

　　微軟 AI 研究應用科學(xué)家 Corby Rosset 在博客文章中寫(xiě)道：“除了通過(guò)匯總文檔和電子郵件來(lái)節省用戶(hù)時(shí)間之外，T-NLG 還可以通過(guò)為作者提供寫(xiě)作幫助，并回答讀者可能對文檔提出的問(wèn)題，由此來(lái)增強 Microsoft Office 套件的使用體驗。”

　　具有 Transformer 架構的語(yǔ)言生成模型可以預測下一個(gè)單詞。它們可用于編寫(xiě)故事，以完整的句子生成答案以及總結文本。

　　微軟表示，他們的目標是在任何情況下都能夠像人類(lèi)一樣直接，準確，流暢地做出響應：以前，問(wèn)題解答和摘要系統依賴(lài)于從文檔中提取現有內容，這些內容可以作為備用答案或摘要，但它們通?？雌饋?lái)不自然或不連貫。使用T-NLG 這樣的自然語(yǔ)言生成模型，可以自然地總結或回答有關(guān)個(gè)人文檔或電子郵件主題的問(wèn)題。

　　來(lái)自 AI 領(lǐng)域的專(zhuān)家告訴 VentureBeat，2019 年是 NLP 模型開(kāi)創(chuàng )性的一年——使用 Transformer 架構無(wú)疑是 2019 年最大的機器學(xué)習趨勢之一，這導致了語(yǔ)言生成領(lǐng)域和 GLUE 基準測試領(lǐng)導者的進(jìn)步，Facebook 的 RoBERTa、谷歌的 XLNet 和微軟的 MT-DNN 都紛紛加入到各類(lèi)基準測試榜首的爭奪當中。

　　同樣是在今天，微軟還開(kāi)源了一個(gè)名為 DeepSpeed 的深度學(xué)習庫。該學(xué)習庫已針對開(kāi)發(fā)人員進(jìn)行了優(yōu)化，以提供低延遲、高吞吐量的推理。

　　DeepSpeed 包含零冗余優(yōu)化器(ZeRO)，用于大規模訓練具有 1 億個(gè)或更多參數的模型，微軟過(guò)去曾用它訓練T-NLG。

　　微軟表示，DeepSpeed 和 ZeRO 使得他們能夠降低模型并行度(從 16 降低到4)，將每個(gè)節點(diǎn)的批處理大小增加四倍，并將訓練時(shí)間減少了三分之二;DeepSpeed 使用更少的 GPU 可以使大型模型的訓練效率更高。

　　開(kāi)發(fā)人員和機器學(xué)習從業(yè)人員都可以使用 DeepSpeed 和 ZeRO，因為培訓大型網(wǎng)絡(luò )(例如利用 Transformer 架構的網(wǎng)絡(luò ))可能會(huì )很昂貴，并且可能會(huì )遇到大規模問(wèn)題。

　　另外，Google 的 DeepMind 今天也發(fā)布了一種新的遠程內存模型 Compressive Transformer，以及一種針對書(shū)本級語(yǔ)言建模的新基準 PG19。
　?。?a href="http://www.cki5.com">邯鄲網(wǎng)站建設）