賴(lài)斯大學(xué)的“早起的鳥(niǎo)兒”對蠕蟲(chóng)的關(guān)心較少。它正在尋找數百萬(wàn)噸的溫室氣體排放量。

Early Bird是一種用于培訓深度神經(jīng)網(wǎng)絡(luò )(DNN)，無(wú)人駕駛汽車(chē)，智能助手，面部識別和許多其他高科技應用背后的人工智能(AI)形式的節能方法。

賴(lài)斯大學(xué)和得克薩斯州農工大學(xué)的研究人員于4月29日在國際學(xué)習代表大會(huì )ICLR 2020上的聚焦論文中宣布了《早起的鳥(niǎo)兒》。賴(lài)斯高效智能計算(EIC)實(shí)驗室的主要作者尤浩然和李朝建的一項研究表明，“早起的鳥(niǎo)兒”可以將DNN訓練到相同的準確性水平，或者比典型訓練更好地消耗了10.7倍的能量。EIC實(shí)驗室的負責人Lin Yingyan和Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同領(lǐng)導了這項研究。

Lin說(shuō)：“最近AI突破的主要動(dòng)力是引入更大，更昂貴的DNN。” “但是培訓這些DNN需要大量的精力。要揭示更多的創(chuàng )新，必須找到既能解決環(huán)境問(wèn)題又能減少AI研究的財務(wù)障礙的'綠色'培訓方法。”

培訓最先進(jìn)的DNN不僅成本高昂，而且成本越來(lái)越高。一個(gè)2019年的研究由艾倫研究所AI在西雅圖發(fā)現，培養第一流的所需的計算數量深層神經(jīng)網(wǎng)絡(luò )增加了30萬(wàn)次二〇一二年至2018年之間，以及不同的2019研究在美國麻省大學(xué)的研究人員發(fā)現，碳訓練單個(gè)精英DNN的足跡大約等于五輛美國汽車(chē)的終身二氧化碳排放量。

DNN包含數百萬(wàn)甚至數十億個(gè)學(xué)會(huì )執行特定任務(wù)的人工神經(jīng)元。無(wú)需任何明確的編程，人造神經(jīng)元的深層網(wǎng)絡(luò )就可以通過(guò)“研究”大量先前的示例來(lái)學(xué)習做出類(lèi)似于人的決策，甚至勝過(guò)人類(lèi)專(zhuān)家。例如，如果DNN研究貓和狗的照片，它就會(huì )學(xué)會(huì )識別貓和狗。經(jīng)過(guò)深入研究的棋盤(pán)游戲Go深度網(wǎng)絡(luò )AlphaGo在研究了成千上萬(wàn)的先前玩過(guò)的游戲之后，在2015年擊敗了職業(yè)人類(lèi)玩家。

賴(lài)斯布朗工程學(xué)院的電氣和計算機工程助理教授林說(shuō)：“進(jìn)行DNN培訓的最先進(jìn)方法稱(chēng)為漸進(jìn)式修剪和培訓。” “首先，您要訓練密集的大型網(wǎng)絡(luò )，然后刪除不重要的部分(例如修剪樹(shù))。然后，對修剪的網(wǎng)絡(luò )進(jìn)行重新培訓以恢復性能，因為修剪后性能會(huì )下降。實(shí)際上，您需要修剪和重新訓練多次獲得良好的性能。”

修剪是可能的，因為網(wǎng)絡(luò )中只有一小部分人造神經(jīng)元可以潛在地完成專(zhuān)門(mén)任務(wù)的工作。訓練會(huì )加強必要神經(jīng)元之間的聯(lián)系，并揭示哪些神經(jīng)元可以被修剪掉。修剪可減少模型大小和計算成本，使部署經(jīng)過(guò)全面培訓的DNN更加經(jīng)濟實(shí)惠，尤其是在內存和處理能力有限的小型設備上。

林說(shuō)：“第一步，訓練密集，龐大的網(wǎng)絡(luò )是最昂貴的。” “我們在這項工作中的想法是在這個(gè)昂貴的第一步的開(kāi)始階段，確定最終的，功能齊全的修剪網(wǎng)絡(luò )，我們將其稱(chēng)為“早鳥(niǎo)票”。

通過(guò)在訓練的早期階段尋找關(guān)鍵的網(wǎng)絡(luò )連接模式，Lin和同事們既發(fā)現了早鳥(niǎo)票的存在，又使用它們簡(jiǎn)化了DNN訓練。在對各種基準數據集和DNN模型進(jìn)行的實(shí)驗中，Lin及其同事發(fā)現，“早起的鳥(niǎo)兒”在訓練初期可能只出現十分之一或更少的時(shí)間。

林說(shuō)：“我們的方法可以在密集的巨型網(wǎng)絡(luò )訓練的前10%或更少的時(shí)間內自動(dòng)識別早鳥(niǎo)票。” “這意味著(zhù)您可以訓練DNN，以給定任務(wù)在大約傳統訓練所需時(shí)間的10%或更少的時(shí)間內達到相同或什至更好的精度，這可以節省大量的計算和能源。”

開(kāi)發(fā)使AI更環(huán)保的技術(shù)是Lin團隊的主要重點(diǎn)。關(guān)注環(huán)境是主要動(dòng)機，但林說(shuō)有很多好處。

她說(shuō)：“我們的目標是使AI更加環(huán)保，更具包容性。” “復雜的AI問(wèn)題的龐大規模使較小的參與者望而卻步。綠色AI可以打開(kāi)大門(mén)，使研究人員可以用筆記本電腦或有限的計算資源來(lái)探索AI創(chuàng )新。”