無(wú)論AI和機器學(xué)習系統在生產(chǎn)中具有強大的功能，都無(wú)法抵御對抗性攻擊或試圖通過(guò)惡意輸入欺騙算法的技術(shù)。研究表明，即使在圖像上產(chǎn)生很小的擾動(dòng)，也可能以很高的概率欺騙最好的分類(lèi)器?？紤]到“ AI即服務(wù)”業(yè)務(wù)模型的廣泛傳播，這是一個(gè)問(wèn)題，在該模型中，亞馬遜，谷歌，微軟，Clarifai等公司已經(jīng)將可能容易受到攻擊的系統提供給最終用戶(hù)。

在科技巨頭百度提出的研究人員在最近的一個(gè)部分解決紙張上Arxiv.org公布：Advbox。他們將其描述為一個(gè)用于生成對抗性示例的開(kāi)源工具箱，并說(shuō)它能夠在Facebook的PyTorch和Caffe2，MxNet，Keras，Google的TensorFlow和百度自己的PaddlePaddle等框架中欺騙模型。

盡管Advbox本身不是新東西-最初的發(fā)布是一年多以前的-但本文還是著(zhù)重于揭示技術(shù)細節。

AdvBox基于Python，它實(shí)現了幾種常見(jiàn)攻擊，這些攻擊執行對敵樣本的搜索。每種攻擊方法都使用距離測量來(lái)量化對抗性擾動(dòng)的大小，而子模型Perceptron支持圖像分類(lèi)和對象檢測模型以及云API，該模型評估模型對噪聲，模糊，亮度調整的魯棒性，輪換等。

AdvBox附帶了用于測試容易受到所謂對抗性T恤或面部識別攻擊的檢測模型的工具。此外，它還通過(guò)附帶的Python腳本提供對百度云托管的Deepfake檢測服務(wù)的訪(fǎng)問(wèn)。

共同作者寫(xiě)道：“對[輸入]的微小且通常是難以察覺(jué)的擾動(dòng)足以愚弄最強大的[AI]。” “與以前的工作相比，我們的平臺支持黑匣子攻擊……以及更多的攻擊方案。”

百度并不是唯一一家發(fā)布旨在幫助數據科學(xué)家防御對抗攻擊的資源的公司。去年，IBM和MIT發(fā)布了一個(gè)衡量機器學(xué)習和AI算法健壯性的指標，稱(chēng)為Cross Lipschitz網(wǎng)絡(luò )健壯性至尊價(jià)值，簡(jiǎn)稱(chēng)CLEVER。并且在4月，IBM宣布了一個(gè)開(kāi)發(fā)工具箱，稱(chēng)為Adversarial Robustness Toolbox，其中包括用于測量模型漏洞的代碼，并提出了防止運行時(shí)操縱的方法。另外，德國圖賓根大學(xué)的研究人員創(chuàng )建了Foolbox，這是一個(gè)Python庫，用于針對TensorFlow，Keras和其他框架產(chǎn)生20多種不同的攻擊。

但是還有很多工作要做。巴黎多芬大學(xué)的教授賈馬爾·阿蒂夫(Jamal Atif)表示，在圖像分類(lèi)領(lǐng)域中最有效的防御策略-用對抗圖像示例增強一組照片-充其量只能將準確率提高到45%。“這是最先進(jìn)的，”他在由法國Digitale主持的年度法國AI大會(huì )上在巴黎的講話(huà)中說(shuō)。“我們只是沒(méi)有強大的防御策略。”