來(lái)自加利福尼亞州歐文分校的艾倫人工智能研究所和研究人員發(fā)布了AllenNLP Interpret，該工具包用于解釋自然語(yǔ)言處理(NLP)模型的結果?？蓴U展的工具包包括用于解釋和可視化組件的幾種內置方法，以及使用AllenNLP Interpret解釋包含BERT和RoBERTa的最新NLP模型的結果的示例。

在arXiv上發(fā)表的一篇論文中，研究團隊更詳細地描述了該工具包。AllenNLP Interpret使用兩種基于梯度的解釋方法：顯著(zhù)性圖，確定輸入句子中的每個(gè)單詞或“標記”對模型的預測有多大作用;以及對抗攻擊，嘗試刪除或更改輸入中的單詞，同時(shí)仍保持來(lái)自模型的相同預測。這些技術(shù)可用于各種NLP任務(wù)和模型架構。這些實(shí)現使用一組通用的API和可視化組件，為將來(lái)開(kāi)發(fā)其他技術(shù)和模型支持提供了框架。

隨著(zhù)公司越來(lái)越多地使用AI來(lái)自動(dòng)提供問(wèn)題的答案，用戶(hù)想知道為什么 AI會(huì )給出給定的答案。例如，在檢測到信用卡交易欺詐的情況下，該交易特別暗示欺詐嗎?

對模型如何產(chǎn)生答案的解釋對于模型開(kāi)發(fā)人員了解面對新數據時(shí)系統將如何泛化的能力也很重要。AllenNLP Interpret研究人員Sameer Singh經(jīng)常引用該模型來(lái)區分狼和狗，但實(shí)際上只是學(xué)會(huì )了檢測雪。

對于某些機器學(xué)習算法，解釋很簡(jiǎn)單：例如，決策樹(shù)只是一系列if / then規則。但是，深度學(xué)習模型的輸出可能更難以解釋。

辛格的先前工作包括LIME，它使用線(xiàn)性逼近來(lái)解釋更復雜模型的預測。AllenNLP Interpret使用基于梯度的方法，該方法可測量輸入要素對輸出的影響。由于計算此梯度是深度學(xué)習培訓的關(guān)鍵組成部分，因此這些方法可以應用于任何深度學(xué)習模型。

盡管這些技術(shù)是通用的，但AllenNLP Interpret旨在用于NLP。NLP系統的輸入是文本字符串，通常是句子或整個(gè)文檔，然后將文本解析為其組成詞或標記。AllenNLP Interpret包括顯著(zhù)性圖，顯示每個(gè)標記對模型預測的貢獻;一個(gè)用例可能是解釋句子中的哪些單詞導致其情感被分為正面或負面。

該工具包還包括兩個(gè)對抗方法，這些方法顯示了更改輸入中的標記如何影響輸出。第一，HotFlip，用其他單詞替換斜率最高的輸入單詞，直到模型輸出更改。另一種攻擊是輸入縮減，它會(huì )反復刪除坡度最小的單詞，而不會(huì )更改輸出。這導致輸入文本“通常是無(wú)意義的，但會(huì )引起高置信度預測”。