杜克大學(xué)計算機科學(xué)教授辛西婭·魯丁說(shuō)，但這就是問(wèn)題所在。“我們可以輸入醫學(xué)圖像，然后觀(guān)察另一端的結果('這是惡性病變的照片'，但是很難知道兩者之間發(fā)生了什么。”

這就是所謂的“黑匣子”問(wèn)題。機器的想法-網(wǎng)絡(luò )的隱藏層-甚至對于制造它的人來(lái)說(shuō)都是難以理解的。

“深度學(xué)習模型的問(wèn)題在于它們是如此復雜，以至于我們實(shí)際上并不知道他們正在學(xué)習什么。”杜克大學(xué)魯丁實(shí)驗室的學(xué)生。“他們經(jīng)?？梢岳梦覀儾幌Ｍ麄兊玫降男畔?。他們的推理過(guò)程可能是完全錯誤的。”

魯丁(Rudin)，陳(Chen)和杜克大學(xué)(Duke)的本科畢業(yè)生貝jie杰(Yijie Bei)提出了解決此問(wèn)題的方法。通過(guò)修改這些預測背后的推理過(guò)程，研究人員可以更好地對網(wǎng)絡(luò )進(jìn)行故障排除或了解它們是否值得信賴(lài)。

大多數方法試圖通過(guò)找出指向圖像的關(guān)鍵特征或像素來(lái)揭示導致計算機視覺(jué)系統正確答案的原因：“這種胸部X射線(xiàn)的生長(cháng)被歸類(lèi)為惡性的，因為對于該模型，這些領(lǐng)域對于肺癌的分類(lèi)至關(guān)重要。”這樣的方法并不能揭示網(wǎng)絡(luò )的原因，而只是揭示了它所處的位置。

公爵隊嘗試了另一種方法。他們的方法不是嘗試事后考慮網(wǎng)絡(luò )的決策，而是訓練網(wǎng)絡(luò )通過(guò)表達對概念的理解來(lái)展示其工作。他們的方法通過(guò)揭示網(wǎng)絡(luò )需要多少來(lái)思考不同的概念來(lái)幫助破譯它所看到的內容而起作用。魯丁說(shuō)：“它弄清楚了在網(wǎng)絡(luò )層中如何表示不同的概念。”

例如，給定一個(gè)圖書(shū)館的圖像，該方法可以確定神經(jīng)網(wǎng)絡(luò )的不同層是否以及依賴(lài)于它們對“書(shū)”的心理表達來(lái)識別場(chǎng)景的程度和程度。

研究人員發(fā)現，只需對神經(jīng)網(wǎng)絡(luò )進(jìn)行少量調整，就可以像原始網(wǎng)絡(luò )一樣準確地識別圖像中的對象和場(chǎng)景，同時(shí)在網(wǎng)絡(luò )的推理過(guò)程中獲得實(shí)質(zhì)性的可解釋性。魯丁說(shuō)：“該技術(shù)的應用非常簡(jiǎn)單。”

該方法控制信息流經(jīng)網(wǎng)絡(luò )的方式。它涉及用新部分替換神經(jīng)網(wǎng)絡(luò )的一個(gè)標準部分。新部分僅約束網(wǎng)絡(luò )中的單個(gè)神經(jīng)元響應人類(lèi)所理解的特定概念而觸發(fā)。這些概念可以是日常物品的類(lèi)別，例如“書(shū)”或“自行車(chē)”。但是它們也可以是一般特征，例如“金屬”，“木材”，“冷”或“溫暖”。通過(guò)一次只讓一個(gè)神經(jīng)元控制一個(gè)概念的信息，就很容易理解網(wǎng)絡(luò )的“思維方式”。