最近，微軟開(kāi)源了Counterfit，這是一種AI安全風(fēng)險評估工具，旨在幫助開(kāi)發(fā)人員測試AI和機器學(xué)習系統的安全性。該公司表示，Counterfit可以使組織進(jìn)行評估，以確保其業(yè)務(wù)中使用的算法可靠且值得信賴(lài)。

當前，人工智能技術(shù)正越來(lái)越多地用于受監管的行業(yè)，例如醫療保健，金融和國防。但是，組織在采用風(fēng)險緩解策略方面滯后。微軟的一項調查發(fā)現，一些公司用戶(hù)表示他們沒(méi)有足夠的資源來(lái)確保其AI系統的穩定性和安全性。微軟表示，Counterfit源于公司評估AI系統中是否存在漏洞的需求，目的是主動(dòng)保護AI服務(wù)。 該工具最初是為目標AI模型專(zhuān)門(mén)編寫(xiě)的攻擊腳本的集合，然后演變?yōu)樽詣?dòng)化產(chǎn)品，以對多個(gè)系統進(jìn)行大規?；鶞蕼y試。

在底部，Counterfit是一個(gè)命令行實(shí)用程序，為對抗性框架和可用于逃避和竊取模型的預加載算法提供了一層。 Counterfit旨在為安全社區提供對已發(fā)布攻擊的訪(fǎng)問(wèn)權限，同時(shí)提供一個(gè)接口，通過(guò)該接口可以構造，管理和發(fā)起模型攻擊。

使用Counterfit在A(yíng)I系統上進(jìn)行滲透測試時(shí)，安全團隊可以選擇默認設置，設置隨機參數或自定義每個(gè)參數以覆蓋廣泛的漏洞。具有多個(gè)模型的組織可以使用Counterfit的內置自動(dòng)化功能進(jìn)行掃描，并且可以選擇多次掃描以創(chuàng )建運營(yíng)基準。

Counterfit還提供日志記錄以記錄對目標模型的攻擊。正如微軟指出的那樣，遙測技術(shù)可能會(huì )促使工程團隊提高對系統故障模式的了解。

在內部，Microsoft使用Counterfit作為其AI紅色團隊運營(yíng)的一部分，并在A(yíng)I開(kāi)發(fā)階段期間將漏洞投入生產(chǎn)。 該公司還表示，已與眾多客戶(hù)進(jìn)行了Counterfit的測試，其中包括航空航天巨頭空中客車(chē)(Airbus)，該公司正在開(kāi)發(fā)基于A(yíng)zure AI服務(wù)的AI平臺。

“人工智能在工業(yè)中的使用正在增加。”空中客車(chē)公司高級網(wǎng)絡(luò )安全研究員Matilda Rhode在一份聲明中說(shuō)：“確保這項技術(shù)的安全至關(guān)重要，尤其是要了解在問(wèn)題空間中可以實(shí)現特征空間攻擊的位置。”

基本上，公司希望人們相信AI沒(méi)有被操縱和安全。1月發(fā)布的Gartner的“管理AI風(fēng)險的5個(gè)優(yōu)先事項”框架中的一項建議是，組織“針對攻擊性攻擊采取特定的AI安全措施，以確保抵抗力和應變能力。”這家研究公司估計，到2024年，實(shí)施專(zhuān)門(mén)的AI風(fēng)險管理控制的組織將避免產(chǎn)生負面AI結果的頻率是不消除負面結果的兩倍。“根據Gartner的報告，到2022年，將有30%的AI網(wǎng)絡(luò )攻擊將使用訓練數據對基于機器學(xué)習的系統進(jìn)行毒害，建模盜竊或對抗性樣本攻擊