很多朋友不知道【 華為公布AI模型運行新專(zhuān)利：優(yōu)化數據預取 降低延時(shí)】，今天小綠就為大家解答一下。

　　關(guān)鍵在于，在計算卡處理第二組數據的同時(shí)，系統可根據預生成的向量信息，將所需嵌入向量從主機端的第一內存快速預取至計算卡自帶的第二內存中。這一操作實(shí)現了數據搬運與計算過(guò)程的并行化，有效避免了計算資源的空閑等待，從而顯著(zhù)降低整體處理延時(shí)。

版權所有，未經(jīng)許可不得轉載

　　華為此次公布的方案提出了一種前瞻性的數據預取機制。具體而言，主機的處理器會(huì )先分析相鄰兩組輸入數據的差異，識別出在第二數據組中出現但未存在于第一數據組中的“第一數據”。隨后，系統提前將這部分新增數據對應的嵌入向量預取至處理器本地的第一內存，并生成相應的向量信息。

　　【CNMO科技消息】9月5日，天眼查App信息顯示，華為技術(shù)有限公司申請的“AI模型的運行方法、裝置、程序產(chǎn)品和存儲介質(zhì)”專(zhuān)利已正式公布。該專(zhuān)利于當日公開(kāi)，旨在優(yōu)化人工智能模型在異構計算環(huán)境下的運行效率，減少因數據搬運導致的處理延遲。

　　根據專(zhuān)利摘要，該技術(shù)屬于機器學(xué)習領(lǐng)域，主要應用于包含處理器與計算卡協(xié)同工作的主機系統。在A(yíng)I模型訓練或推理過(guò)程中，輸入數據通常分批處理。當系統處理第二組數據時(shí)，若其包含前一批數據中未出現的新數據，傳統架構需臨時(shí)從主機內存調取相關(guān)嵌入向量（Embedding Vector），易造成計算卡等待，影響整體效率。

以上問(wèn)題已經(jīng)回答了。如果你想了解更多，請關(guān)新經(jīng)網(wǎng)網(wǎng)站 (http://www.hkkqyy120.com/)