近年來(lái)，人工智能(AI)的發(fā)展取得了巨大進(jìn)步?，F代AI系統在諸如識別圖像中的對象，注釋視頻，將語(yǔ)音轉換為文本或在不同語(yǔ)言之間進(jìn)行翻譯等認知任務(wù)上實(shí)現人類(lèi)水平的性能。這些突破性結果中有許多是基于深度神經(jīng)網(wǎng)絡(luò )(DNN)的。DNN是復雜的機器學(xué)習模型，與人腦中相互連接的神經(jīng)元具有某些相似性。DNN能夠處理高維輸入(例如，高分辨率圖像中的數百萬(wàn)個(gè)像素)，以各種抽象級別表示這些輸入中的模式，并將這些表示與高級語(yǔ)義概念相關(guān)聯(lián)。
DNN的一個(gè)吸引人的特性是，盡管它們通常是高度準確的，但它們容易受到所謂對抗性示例的攻擊。對抗性示例是經(jīng)過(guò)DNN故意修改的輸入(例如圖像)，以產(chǎn)生所需的響應。圖1中顯示了一個(gè)示例：這里，在大熊貓的圖像上添加了少量對抗性噪聲，導致DNN將其圖像錯誤地歸類(lèi)為卷尾猴。通常，對抗性示例的目標是錯誤分類(lèi)或特定的錯誤預測，這會(huì )使攻擊者受益。
對抗攻擊對安全關(guān)鍵應用程序中的AI系統部署構成了真正的威脅。幾乎無(wú)法檢測到的圖像，視頻，語(yǔ)音和其他數據的更改已被設計成使AI系統感到困惑。即使攻擊者不了解DNN的體系結構或無(wú)法訪(fǎng)問(wèn)其參數，也可以制作此類(lèi)更改。更令人擔憂(yōu)的是，在物理世界中可能會(huì )發(fā)起對抗性攻擊：代替操縱數字圖像的像素，攻擊者可以戴著(zhù)專(zhuān)門(mén)設計的眼鏡來(lái)逃避面部識別系統，或者通過(guò)在交通標志上粘貼補丁來(lái)?yè)魯∽詣?dòng)駕駛汽車(chē)的視覺(jué)識別系統。
IBM Research Ireland發(fā)布了Adversarial Robustness Toolbox(開(kāi)放源代碼軟件庫)，以支持研究人員和開(kāi)發(fā)人員防御DNN免受對抗性攻擊，從而使AI系統更加安全。該版本將在RSA大會(huì )上由IBM Security副總裁兼CTO IBM研究員Sridhar Muppidi博士以及IBM Security安全運營(yíng)與響應(SOAR)副總裁兼CTO Koos Lodewijkx宣布。
Adversarial Robustness Toolbox旨在支持研究人員和開(kāi)發(fā)人員創(chuàng )建新穎的防御技術(shù)，以及部署實(shí)際AI系統的實(shí)際防御。研究人員可以使用“對抗性魯棒性”工具箱對最新防御技術(shù)進(jìn)行基準測試。對于開(kāi)發(fā)人員，該庫提供了接口，這些接口使用單獨的方法作為構建塊來(lái)支持綜合防御系統的組成。
該庫用Python編寫(xiě)，Python是用于開(kāi)發(fā)，測試和部署DNN的最常用編程語(yǔ)言。它包括用于創(chuàng )建對抗性示例的最新算法以及針對這些示例防御DNN的方法。捍衛DNN的方法有三方面：
測量模型的魯棒性。首先，可以評估給定DNN的魯棒性。這樣做的直接方法是記錄在對抗性更改的輸入上準確性的損失。其他方法測量的是，當對DNN的輸入進(jìn)行小的更改時(shí)，其內部表示形式和輸出的變化程度。
模型強化。其次，可以對給定的DNN進(jìn)行“強化”處理，使其對付對抗性輸入更具魯棒性。常見(jiàn)的方法是預處理DNN的輸入，使用對抗性示例擴充訓練數據，或者更改DNN架構以防止對抗性信號傳播通過(guò)內部表示層。
運行時(shí)檢測。最后，可以使用運行時(shí)檢測方法來(lái)標記對手可能會(huì )調整的任何輸入。這些方法通常嘗試利用D對抗的輸入引起的DNN內部表示層中的異常激活。
Adversarial Robustness Toolbox的第一版支持在TensorFlow和Keras深度學(xué)習框架中實(shí)現的DNN 。將來(lái)的版本將把支持擴展到其他流行的框架，例如PyTorch或MXNet。當前，該庫主要用于提高視覺(jué)識別系統的對抗性，但是，我們正在開(kāi)發(fā)將來(lái)的版本，其中包括對其他數據模式(如語(yǔ)音，文本或時(shí)間序列)的適應。
作為一個(gè)開(kāi)源項目，“對抗健壯性工具箱”的目標是創(chuàng )建一個(gè)充滿(mǎn)活力的，由工業(yè)界和學(xué)術(shù)界人士共同參與的生態(tài)系統。與正在進(jìn)行的類(lèi)似工作的主要區別在于，側重于防御方法以及實(shí)際防御系統的可組合性。我們希望“對抗性魯棒性工具箱”項目將刺激圍繞DNN的對抗性魯棒性的研究和開(kāi)發(fā)，并推動(dòng)安全AI在現實(shí)世界應用中的部署。請與我們分享您使用Adversarial Robustness Toolbox的經(jīng)驗以及有關(guān)未來(lái)增強功能的任何建議。