大腦最重要的特征之一是它是一個(gè)“嘈雜的”系統：并非每個(gè)神經(jīng)元都包含完美的信息，這些信息可以完美清晰地通過(guò)突觸傳遞。有時(shí)，部分或沖突的信息由大腦轉變?yōu)樾袆?dòng)，有時(shí)，直到隨著(zhù)時(shí)間的推移積累了更多的信息，才對部分信息起作用。
“這就是為什么當您在不同的時(shí)間用相同的輸入刺激大腦時(shí)，您會(huì )得到不同的反應，”五年級博士Mohammad“ Reza” Mahmoodi解釋說(shuō)。加州大學(xué)圣塔芭芭拉分校電氣和計算機工程教授Dmitri Strukov的實(shí)驗室候選人。“嘈雜的，不可靠的分子機制是重復刺激相同的刺激而獲得實(shí)質(zhì)上不同的神經(jīng)反應的原因，這反過(guò)來(lái)又導致了復雜的隨機或不可預測的行為。”
Mahmoodi說(shuō)，人腦非常擅長(cháng)填補丟失的信息的空白，并通過(guò)噪聲進(jìn)行分類(lèi)以得出準確的結果，因此“進(jìn)垃圾”并不一定會(huì )產(chǎn)生“垃圾”。似乎最適合嘈雜的信息。在隨機計算中，噪聲用于訓練神經(jīng)網(wǎng)絡(luò )，將其“規范化”以提高其健壯性和性能。
Mahmoodi解釋說(shuō)，尚不清楚在什么理論基礎上將感知過(guò)程中涉及的神經(jīng)元反應分為“噪聲”和“信號”，但是大腦中計算的嘈雜本質(zhì)激發(fā)了隨機神經(jīng)網(wǎng)絡(luò )的發(fā)展。而且，這些已成為解決機器學(xué)習，信息理論和統計問(wèn)題的最先進(jìn)方法。
Mahmoodi及其合著(zhù)者Strukov和Mirko Prezioso在一篇論文 中寫(xiě)道：“如果您想要一個(gè)隨機系統，則必須產(chǎn)生一些噪聲。”該 論文描述了創(chuàng )建這種噪聲系統的方法。“ 基于高性能的神經(jīng)計算和neurooptimization非易失性存儲器的通用隨機點(diǎn)產(chǎn)品線(xiàn)路 ”被發(fā)表在最近一期的Nature雜志上通信的問(wèn)題。
基于隨機計算運行的最著(zhù)名的網(wǎng)絡(luò )是所謂的“玻爾茲曼”機，它可以解決困難的組合優(yōu)化問(wèn)題。這些問(wèn)題的特征在于，可能存在的解決方案的數量實(shí)際上是無(wú)限的，但沒(méi)有一個(gè)絕對是最好的解決方案。一個(gè)著(zhù)名的例子就是旅行推銷(xiāo)員的問(wèn)題，即推銷(xiāo)員需要穿越美國的每個(gè)州來(lái)銷(xiāo)售產(chǎn)品，但必須通過(guò)盡可能短的路徑來(lái)做到這一點(diǎn)。
由于空間如此之大，并且其中路線(xiàn)的可能組合幾乎是無(wú)限的，因此不存在明確的最佳，完美解決方案。不過(guò)，馬哈茂迪指出：“您可以使用神經(jīng)網(wǎng)絡(luò )和啟發(fā)式算法來(lái)找到一種半優(yōu)化的解決方案。重要的是您可以在合理的時(shí)間內產(chǎn)生良好的響應。”
這可以通過(guò)應用一種稱(chēng)為“模擬退火”的算法來(lái)簡(jiǎn)化，該算法受物理學(xué)中的結晶過(guò)程啟發(fā)。
“獲得晶體結構，”馬哈茂迪說(shuō)，“將固體加熱到很高的溫度，然后慢慢冷卻。如果將其緩慢冷卻，所有分子都將找到能量最低的位置，最完美的位置，并且您會(huì )得到美麗，完全均勻的晶體。”
在模擬退火中使用了類(lèi)似的方法。“確實(shí)，”馬哈茂迪解釋說(shuō)，“當我們開(kāi)始解決問(wèn)題時(shí)，我們會(huì )使用過(guò)多的噪聲，這與晶體形成中的溫度過(guò)高類(lèi)似。結果是神經(jīng)網(wǎng)絡(luò )中的計算是隨機的或隨機的。然后，我們逐漸減少注入的噪聲，同時(shí)轉向確定性或完全可預測的計算，繼續進(jìn)行晶體形成類(lèi)比稱(chēng)為“降低溫度”。此過(guò)程提高了網(wǎng)絡(luò )探索搜索空間的能力，并提供了更好的最終解決方案。”
對于團隊來(lái)說(shuō)，最大的問(wèn)題是他們是否可以建立一個(gè)快速，節能且可以在可調溫度(噪聲)下運行的隨機神經(jīng)網(wǎng)絡(luò )。大多數人工神經(jīng)網(wǎng)絡(luò )有兩個(gè)共同點(diǎn)：大量的權重，它們本質(zhì)上是網(wǎng)絡(luò )在訓練中學(xué)習的可調參數;以及龐大的計算模塊基礎，主要執行乘法和加法運算。
因此，構建節能高效的高吞吐量神經(jīng)網(wǎng)絡(luò )需要能夠在給定區域中存儲更多信息的設備以及能夠更快地以更高的能源效率執行計算的電路。盡管已經(jīng)有很多乘法電路以及隨機神經(jīng)元的演示，但是結合了兩種功能的有效硬件實(shí)現仍然缺失。
在Strukov實(shí)驗室中，Mahmoodi和其他人正在研究對實(shí)現神經(jīng)網(wǎng)絡(luò )至關(guān)重要的兩種主流技術(shù)：憶阻器和嵌入式閃存。
Mahmoodi說(shuō)：“我們很幸運能夠在UCSB制造最先進(jìn)的模擬憶阻器技術(shù)。” “每個(gè)憶阻器或閃存單元都很小，可以存儲五位以上的數據，而數字存儲器(如SRAM)則要大得多，并且只能存儲一位。因此，我們使用這些更小，更高效的設備來(lái)設計具有模擬和數字電路的混合信號神經(jīng)網(wǎng)絡(luò )，因此比純數字系統要快得多，效率也更高。
他補充說(shuō)：“實(shí)際上，在我們的論文中，我們報告了基于憶阻器或嵌入式閃存的緊湊，快速，節能且可擴展的隨機神經(jīng)網(wǎng)絡(luò )電路。” “電路的高性能歸功于混合信號(數字和模擬)實(shí)現，而有效的隨機操作是通過(guò)利用電路的固有噪聲實(shí)現的。我們證明，我們的電路可以比CPU更快地有效地解決優(yōu)化問(wèn)題，數量級高，并且能效更高。”