卡托琳·賈穆?tīng)?Katharine Jarmul)在2018年Goto Berlin大會(huì )上指出，輸入清理可以通過(guò)過(guò)濾掉不太可能的輸入，然后將其過(guò)濾掉，從而幫助我們。我們需要開(kāi)始考慮將模型和放入其中的培訓數據視為潛在的安全漏洞。

數據科學(xué)家，O'Reilly的作者，KIProtect的聯(lián)合創(chuàng )始人Katharine Jarmul在2018年柏林柏林國際Going大會(huì )上談到了如何保護人工智能。InfoQ將通過(guò)問(wèn)答，摘要和文章涵蓋本次會(huì )議。InfoQ采訪(fǎng)了Jarmul，介紹了如何愚弄AI應用程序，創(chuàng )建健壯且安全的神經(jīng)網(wǎng)絡(luò )以及減輕數據隱私和道德數據風(fēng)險。

關(guān)于如何基于神經(jīng)網(wǎng)絡(luò )的模型如何對抗對抗性示例以及這些方法將在多大程度上取得成功，已有許多積極的研究。我認為，最有趣和可行的方法之一是輸入清理。我們可以認為該模型接受任何輸入，無(wú)論該輸入多么不切實(shí)際或不可能。對抗示例經(jīng)常使用的是創(chuàng )建幾乎不可能的輸入(在較暗色塊中間為亮橙色的像素)，并使用這些輸入增加不確定性或更改模型的決策。當我們想到許多不同類(lèi)型的模型中的對抗性示例時(shí)，諸如輸入清理之類(lèi)的諸如輸入之前的特征壓縮或其他降維等方法可能是最實(shí)用，可擴展的方法。

就是說(shuō)，我在GOTO所說(shuō)的只是處理對抗性圖像或示例之外的一兩個(gè)步驟，因為我認為我們在機器學(xué)習中的主要關(guān)注點(diǎn)不是對抗性示例-而是隱私和數據安全性問(wèn)題。從機器學(xué)習模型中提取信息相對容易，并且我們正在將更多模型部署到生產(chǎn)系統中，在這些系統中，它們接觸外部互聯(lián)網(wǎng)并向潛在的對手開(kāi)放。當我們使用個(gè)人或敏感數據訓練模型，然后將其API向其他人開(kāi)放時(shí)，我會(huì )將其與將您的數據庫打開(kāi)到互聯(lián)網(wǎng)進(jìn)行比較。我們需要開(kāi)始考慮將模型和我們放入模型中的訓練數據視為潛在的安全漏洞。關(guān)于這些提取方法已經(jīng)進(jìn)行了積極的研究，利用置信度信息的模型反轉攻擊和基本對策)以及Reza Shokri教授關(guān)于成員推斷攻擊的獲獎?wù)撐?，該論文展示了如何以高精度確定數據點(diǎn)是否是訓練數據集的一部分。保護送入機器學(xué)習模型的數據是我的公司KIProtect致力于的工作之一-即，我們如何使數據科學(xué)和機器學(xué)習的安全性和隱私性變得更容易。

當我們將私有或敏感數據放入機器學(xué)習模型時(shí)，我們正在要求模型學(xué)習其中的一些數據，并將其用于以后的決策。這些數據的元素實(shí)際上將存儲在模型中-意味著(zhù)可以像從嵌入文檔中那樣提取這些元素。攻擊者可以利用這種信息暴露來(lái)學(xué)習訓練數據或模型決策過(guò)程-將私有數據或敏感邏輯暴露給可以訪(fǎng)問(wèn)模型或模型API的任何人。因此，作為個(gè)人，這意味著(zhù)如果將我的個(gè)人信息或數據用于創(chuàng )建模型，尤其是保留較大信息(例如某些神經(jīng)網(wǎng)絡(luò ))的模型，則可以使用該模型來(lái)提取關(guān)于我的信息。模型已創(chuàng )建。

由于越來(lái)越多的公司正在使用機器學(xué)習和MLaaS，因此我認為，作為消費者，我們應該擔心擁有個(gè)人數據或關(guān)于我們的數據以及我們的行為在公開(kāi)可用的模型中的潛在隱私和安全風(fēng)險。作為機器學(xué)習的從業(yè)者，我們需要越來(lái)越關(guān)注模型的基本安全措施，并確定模型中已經(jīng)暴露了多少敏感信息。如果將這些因素納入我們的評估標準，我們有望在模型成功與隱私問(wèn)題之間找到一個(gè)很好的平衡。在KIProtect，我們已經(jīng)使用ML模型評估了我們的假名化過(guò)程，對于在受保護的數據上訓練的機器學(xué)習模型，其準確性?xún)H下降了很小的一部分(1-2%);所以我們認為這不僅是可能的。