隨著(zhù)越來(lái)越多的人工智能應用程序轉移到智能手機上，深度學(xué)習模型越來(lái)越小，以允許應用程序更快地運行并節省電池電量?，F在，麻省理工學(xué)院的研究人員有了一種新的更好的壓縮模型的方法。

它是如此簡(jiǎn)單，以至于他們在上個(gè)月的一條推文中公開(kāi)了它：訓練模型，修剪其最弱的連接，以快速的早期訓練速率對其進(jìn)行重新訓練，然后重復進(jìn)行，直到模型達到您想要的尺寸為止。

“就是這樣，”博士Alex Renda說(shuō)。麻省理工學(xué)院的學(xué)生。人們修剪模型的標準操作非常復雜。”

Renda在本月遠程召開(kāi)的國際學(xué)習代表大會(huì )(ICLR)上討論了該技術(shù)。倫達(Renda)是與博士生喬納森·弗蘭克(Jonathan Frankle)共同撰寫(xiě)的作品 麻省理工學(xué)院電氣工程和計算機科學(xué)系(EECS)的學(xué)生，以及電氣工程和計算機科學(xué)的助理教授邁克爾·卡賓(Michael Carbin)-計算機科學(xué)和人工科學(xué)實(shí)驗室的所有成員。

去年，在ICLR上，富蘭克爾和卡賓(Frankle and Carbin)獲獎的彩票假說(shuō)論文尋求更好的壓縮技術(shù)。他們表明，如果在訓練的早期發(fā)現正確的子網(wǎng)，則深度神經(jīng)網(wǎng)絡(luò )僅能執行十分之一的連接數。隨著(zhù)對訓練更大的深度學(xué)習模型的計算能力和能量需求呈指數級增長(cháng)，這一啟示一直持續到今天。這種增長(cháng)的代價(jià)包括，由于不屬于大型科技公司的研究人員爭奪稀缺的計算資源，導致全球變暖的碳排放量增加以及創(chuàng )新潛力下降。每天的用戶(hù)也會(huì )受到影響。大型AI模型會(huì )消耗手機帶寬和電池電量。

彩票假說(shuō)引發(fā)了一系列主要是理論上的后續論文。但是在同事的建議下，弗蘭克勒決定看看它可能會(huì )修剪什么課程，其中搜索算法會(huì )修剪搜索樹(shù)中評估的節點(diǎn)數。這個(gè)領(lǐng)域已經(jīng)存在了幾十年，但是在神經(jīng)網(wǎng)絡(luò )在ImageNet競賽中對圖像進(jìn)行分類(lèi)的突破性成功之后，這個(gè)領(lǐng)域又重新出現了。隨著(zhù)模型的變大，研究人員增加了人工神經(jīng)元的層以提高性能，其他人則提出了降低它們的技術(shù)。

現在擔任麻省理工學(xué)院助理教授的宋瀚是一位先驅。在一系列有影響力的論文的基礎上，Han提出了一種修剪算法，他稱(chēng)其為AMC或用于模型壓縮的AutoML，這仍然是行業(yè)標準。在Han的技術(shù)下，多余的神經(jīng)元和連接被自動(dòng)刪除，并對模型進(jìn)行重新訓練以恢復其初始精度。

作為對Han的工作的回應，Frankle最近在未發(fā)表的論文中建議，可以通過(guò)將較小的修剪后的模型倒回其初始參數或權重，并以更快的初始速率對較小的模型進(jìn)行重新訓練來(lái)進(jìn)一步改善結果。

在當前的ICLR研究中，研究人員意識到該模型可以簡(jiǎn)單地倒退到其早期訓練速度，而無(wú)需擺弄任何參數。在任何修剪方案中，模型變得越小，精度就越低。但是，當研究人員將此新方法與Han的AMC或Frankle的重繞方法進(jìn)行比較時(shí)，無(wú)論模型縮小多少，其效果都更好。

目前尚不清楚修剪技術(shù)為何能如此出色地工作。研究人員說(shuō)，他們將把這個(gè)問(wèn)題留給其他人回答。研究人員說(shuō)，對于那些想嘗試的人，該算法與其他修剪方法一樣容易實(shí)現，而無(wú)需花費時(shí)間進(jìn)行調整。

“這是'Book'中的修剪算法，” Frankle說(shuō)。“這很明顯，通用并且很簡(jiǎn)單。”

就Han而言，現在從一開(kāi)始就將重點(diǎn)從壓縮AI模型轉移到了引導AI上，以設計小型，高效的模型。他最新的方法“為所有人而做”也在ICLR上首次亮相。關(guān)于新的學(xué)習率方法，他說(shuō)：“我很高興看到新的修剪和再培訓技術(shù)不斷發(fā)展，使更多的人能夠使用高性能的AI應用程序。”