如今，人工智能已成為普遍的流行語(yǔ)，但大多數消費者可能不知道它如何與日常生活息息相關(guān)。分析人員和技術(shù)新聞界中的某些人可能還會(huì )嘲笑該術(shù)語(yǔ)用于某些幾乎不像真正的人工智能的技術(shù)的頻率。也就是說(shuō)，除了強大的數據中心外，還有一些平臺對于A(yíng)I處理和驅動(dòng)它們的NN(神經(jīng)網(wǎng)絡(luò ))來(lái)說(shuō)是很自然的。其中之一是AI推理(使用AI推理信息，而不是訓練NN)在邊緣和口袋中，使用智能手機。
就像您想象的那樣，從Android到Apple的智能手機平臺差別很大，但是語(yǔ)音-文本翻譯和推薦器引擎(例如Google Assistant和Siri)等常見(jiàn)工作負載大量使用了常見(jiàn)的AI NN模型，在設備上執行此操作可提高速度和延遲。
衡量移動(dòng)設備中的AI性能
隨著(zhù)任何新設備的推出以及熱門(mén)新應用的出現，精通技術(shù)的消費者和技術(shù)媒體成員希望能夠衡量和收集各種移動(dòng)生態(tài)系統中設備的相對性能。此外，目前智能手機測試和評論中的AI處理性能正在發(fā)展，因此，在主要的應用商店中當然會(huì )出現多種工具，這些工具聲稱(chēng)能夠測量電話(huà)和其他移動(dòng)設備的AI性能。而且-您猜對了-這些應用程序的創(chuàng )建肯定不盡相同。
為了解決這個(gè)問(wèn)題，Marco和我深入研究了HotHardware，分析了三種主流AI基準測試中各種旗艦Android手機的性能，這些基準在某些情況下會(huì )產(chǎn)生截然不同的結果。
關(guān)鍵是要更好地了解實(shí)際測試的特定基準度量標準。測試是否代表盡可能接近實(shí)際的工作負載?理想的基準測試使用的是消費者可能會(huì )使用的實(shí)際應用程序，但短短的基準測試可以使用流行應用程序的相同核心軟件組件來(lái)代表實(shí)際的性能期望。在這種情況下，這意味著(zhù)我們需要了解這些基準測試工具要針對哪些NN進(jìn)行測試，以及要使用哪些數學(xué)精度和AI算法來(lái)處理這些工作量。
什么是AI基準測試的正確標準？
使移動(dòng)設備具有良好的AI基準的原因是一個(gè)相對較深的細微差別，但總之是幾乎所有的移動(dòng)NPU(神經(jīng)處理單元或專(zhuān)用AI引擎)都采用INT8或量化數學(xué)精度或FP16浮點(diǎn)精度，例如利用ResNet-34或Google的DeepLab-v3等流行的NN在應用中進(jìn)行圖像分類(lèi)和分割。那是貓還是狗?該相機拍攝應采用哪種顏色平衡?這些問(wèn)題是AI試圖從電話(huà)環(huán)境中推斷出答案的問(wèn)題，至少在成像工作負載示例中，盡管還有很多其他問(wèn)題。
當前，INT8精度被認為足以滿(mǎn)足大多數消費類(lèi)移動(dòng)應用的需求，并且壓縮技術(shù)和高級量化技術(shù)的進(jìn)步繼續提高了移動(dòng)設備上的INT8精度，同時(shí)仍然獲得了與FP16相比更低的功耗。FP16提供更好的精度，但在關(guān)鍵的智能手機功耗預算上成本更高。
結果，大多數支持AI的移動(dòng)應用都采用INT8來(lái)提高電源效率。但是，并非所有可用的基準測試都以相同的方式權衡了移動(dòng)平臺的性能。一些應用程序強調FP16的精度，即使實(shí)際上它的使用頻率不如INT8那樣高。此外，高通公司和其他公司的AI平臺SDK(軟件開(kāi)發(fā)套件)針對INT 8進(jìn)行了高度優(yōu)化。因此，問(wèn)題來(lái)了，就這些手機的真實(shí)AI性能而言，其中一些基準測試應用程序的各種測試結果到底意味著(zhù)什么?和其他移動(dòng)設備?從HotHardware收集的分數中可以看出，高通和華為在一些領(lǐng)先的移動(dòng)硅平臺上的排名大相徑庭。顯而易見(jiàn)，高通公司Snapdragon 865設備在INT8 NPU處理吞吐量方面以及在移動(dòng)應用中可能更接近于當前的實(shí)際AI性能方面似乎占據了領(lǐng)先地位。還值得指出的是，高通的Snapdragon移動(dòng)平臺目前還為美國絕大多數Android手機提供支持，因此該公司對生態(tài)系統的影響深遠。
分析師從移動(dòng)AI的早期發(fā)展中汲取靈感
邊緣的人工智能和機器學(xué)習是一個(gè)瞬息萬(wàn)變的領(lǐng)域，它提供的功能越來(lái)越強大且前景廣闊，將在許多方面豐富我們的日常生活。結果，基準指標和用于衡量它們的應用程序也將必須隨著(zhù)時(shí)間的推移而發(fā)展和變化。此外，與傳統的PC基準一樣，新聞，技術(shù)愛(ài)好者和精明的消費者將在未來(lái)幾天內更加關(guān)注AI基準，因為AI成為移動(dòng)體驗和可用平臺解決方案中更為重要的組成部分市場(chǎng)。
因此，這些基準應用程序開(kāi)發(fā)人員和媒體將有責任對構成優(yōu)質(zhì)移動(dòng)AI基準的精要點(diǎn)以及對您自己的個(gè)人口袋AI助手的性能進(jìn)行更真實(shí)的衡量?，F在，如果基準測試沒(méi)有采用常用的NN并切實(shí)代表INT8精度的重要性，您就不得不質(zhì)疑該測試對普通消費者的價(jià)值。但是，這里沒(méi)有絕對值。當前的格局正在以這種方式形成，但AI技術(shù)又以瘋狂的步伐發(fā)展，整個(gè)行業(yè)的其余部分將需要跟上發(fā)展。
