一個(gè)以人工智能領(lǐng)域一些最偉大的頭腦為特色的研究團體正在推出一個(gè)基準來(lái)衡量自然語(yǔ)言處理(NLP)能力。
該財團包括谷歌DeepMind、Facebook AI、紐約大學(xué)(New York University)和華盛頓大學(xué)(University of Washington)。該聯(lián)盟的每個(gè)成員都認為，NLP需要一個(gè)比當前解決方案更全面的基準。
Facebook人工智能表示，其結果是一個(gè)名為SuperGLUE的基準測試平臺，它用一個(gè)“更復雜的基準測試，包含全面的人類(lèi)基線(xiàn)”，取代了一個(gè)較老的名為GLUE的平臺。
SuperGLUE有助于測試NLP能力，以前的基準測試對最新的系統來(lái)說(shuō)太過(guò)簡(jiǎn)單。
在發(fā)布的一年內，一些NLP模型已經(jīng)在GLUE基準上超過(guò)了人類(lèi)的基準性能。目前的模型已經(jīng)提出了一種非常有效的方法，它將語(yǔ)言模型對大量文本數據集的預訓練與簡(jiǎn)單的多任務(wù)和傳輸學(xué)習技術(shù)結合起來(lái)。”
2018年，谷歌發(fā)布了BERT(變形金剛的雙向編碼器表示)，Facebook稱(chēng)這是NLP領(lǐng)域的最大突破之一。Facebook采用了谷歌的開(kāi)源工作，并確定了改進(jìn)其有效性的變化，這導致了RoBERTa (Robustly BERT pre - training Approach)的出現。
研究聯(lián)盟推出AI自然語(yǔ)言處理基準
在發(fā)布的一年內，幾個(gè)NLP模型(包括RoBERTa)已經(jīng)在GLUE基準測試上超過(guò)了人類(lèi)的基準性能。目前的模型已經(jīng)提出了一種非常有效的方法，將語(yǔ)言模型對大量文本數據集的預訓練與簡(jiǎn)單的多任務(wù)和傳輸學(xué)習技術(shù)結合起來(lái)，”Facebook解釋道。
對于SuperGLUE基準測試，該聯(lián)盟確定了滿(mǎn)足以下四個(gè)標準的任務(wù):
有不同的格式。
使用更微妙的問(wèn)題。
用最先進(jìn)的方法尚待解決。
很容易被人解決。
新的基準測試包括八個(gè)不同的和具有挑戰性的任務(wù)，包括一個(gè)貌似合理的選擇(COPA)因果推理任務(wù)。上述任務(wù)為系統提供了一個(gè)句子的前提，它必須從兩種可能的選擇中確定該前提的因果關(guān)系。人類(lèi)在COPA上的準確率達到了100%，而伯特的準確率只有74%。
