很多朋友不知道【高通萬(wàn)衛星MemoryS 2026指出：個(gè)人AI發(fā)展始于端側】，今天小綠就為大家解答一下。
?????????
?????????????????
??????????????????在更小型的設備上，比如AR眼鏡和低功耗設備，我們也實(shí)現了讓參數規模在10億-40億之間的模型完全在端側運行。雖然相較于云端大模型，端側模型的參數量仍然相對較小，但行業(yè)內的各種技術(shù)正在推動(dòng)端側大模型支持體量的提升，比如內存帶寬提升，量化位寬技術(shù)的優(yōu)化可以進(jìn)一步壓縮模型尺寸，這都意味著(zhù)終端設備可以承載更豐富的模型。????????但是個(gè)人AI它不是孤立運行的，它可以通過(guò)混合AI的架構，在終端側、本地邊緣、網(wǎng)絡(luò )邊緣和中央云協(xié)同工作。高通在去年也發(fā)布了多款可以提供充分算力去支撐個(gè)人AI場(chǎng)景的產(chǎn)品，包括第五代驍龍8至尊版移動(dòng)平臺、驍龍X2 Elite計算平臺等。大家已經(jīng)可以在市場(chǎng)上看到非常多搭載上述驍龍平臺的商用終端。????????萬(wàn)衛星指出，個(gè)人AI將始于端側，我們正在邁向以AI和用戶(hù)為中心的多終端體驗，終端側智能體將能夠提供更低時(shí)延、更好的個(gè)性化以及持續無(wú)感的用戶(hù)體驗。高通公司通過(guò)統一的技術(shù)路線(xiàn)，能夠跨廣泛產(chǎn)品組合提供高性能、高能效的軟硬件技術(shù)底座，為賦能個(gè)人AI提供跨終端、跨場(chǎng) 景的平臺級能力。?????????
? ? ? ? 最后，我想給大家總結一下高通在A(yíng)I方面的整體布局。從手機、耳機、可穿戴設備、PC等消費電子產(chǎn)品，再到汽車(chē)、機器人，甚至到下一代的數據中心，我們都在用統一的AI架構去賦能所有的產(chǎn)品，核心就在于我們能夠通過(guò)統一的技術(shù)路線(xiàn)，提供高性能、高能效的軟硬件技術(shù)底座，讓高通的AI能力得以從單個(gè)產(chǎn)品或者單顆芯片擴展成為規?；目缃K端、跨場(chǎng)景的平臺級能力。?
????????第二點(diǎn)，端側的內存帶寬也是有限制的。大家知道，自回歸網(wǎng)絡(luò )的一個(gè)顯著(zhù)特點(diǎn)就是受內存帶寬限制，有限的帶寬會(huì )影響大模型輸出token（詞元）的速度，進(jìn)而影響到具體場(chǎng)景里面的用戶(hù)體驗。第三點(diǎn)，我想重點(diǎn)強調在很多終端設備上，尤其是在手機這種集成度比較高的設備上，能效非常重要。我們要避免AI推理在運行時(shí)觸發(fā)溫控限制，避免引起設備發(fā)熱。因此，如何在內存大小、帶寬以及性能和能效之間達成平衡，是我們和業(yè)內伙伴一直在嘗試解決的問(wèn)題。????????以下為萬(wàn)衛星演講全文：?????????????????
? ? ? ? ?我們再來(lái)詳細看一下智能體AI的基礎模塊。大家可以簡(jiǎn)單把智能體理解為一個(gè)持續運行的閉環(huán)系統，這一系統里包含多個(gè)基礎模塊，比如感知模塊、理解模塊和推理模塊，還有記憶系統、工具系統甚至執行系統。這些模塊整合在一起，讓智能體能夠理解用戶(hù)的意圖，處理用戶(hù)輸入的信息，通過(guò)對信息的理解來(lái)拆分成多個(gè)任務(wù)并獨立完成目標。更重要的是，終端側智能體可以提供持續感知、持續思考并且持續行動(dòng)的用戶(hù)體驗。????????
? ? ? ? ?智能體AI其實(shí)為我們面向新數字世界的交互范式帶來(lái)很大改變。高通在過(guò)去兩年一直在講“AI是新的UI”——AI是新的用戶(hù)交互界面。未來(lái)，用戶(hù)不再是圍繞某個(gè)單一的APP或者某個(gè)單一功能去做交互，只需要用語(yǔ)音或文本和智能體去自然交互，智能體就能通過(guò)理解用戶(hù)的輸入信息去理解用戶(hù)意圖，分解并規劃任務(wù)。再結合運行在驍龍平臺上的端側大模型，可以解決我們的任務(wù)，也可以通過(guò)云端的通用大模型，讓AI賦能娛樂(lè )、生產(chǎn)力工具、行業(yè)應用等廣泛的場(chǎng)景。?????????
????????
? ? ? ? 下面我們來(lái)看一下智能體AI的趨勢，最重要的一點(diǎn)就是怎么讓終端側智能體和用戶(hù)實(shí)現深度適配。第一個(gè)顯著(zhù)趨勢就是終端側智能體，其核心在于能夠提供更低時(shí)延、更好的個(gè)性化以及持續無(wú)感的用戶(hù)體驗。第二是智能體專(zhuān)業(yè)化。最開(kāi)始人們是想讓統一的模型去解決大多數問(wèn)題，現在我們在走向任務(wù)專(zhuān)業(yè)化，通過(guò)專(zhuān)業(yè)化智能體和多智能體框架來(lái)解決問(wèn)題。第三個(gè)趨勢，也是我覺(jué)得對用戶(hù)體驗最重要的趨勢，就是高度個(gè)性化。終端側智能體不再是以前那種簡(jiǎn)單的對話(huà)類(lèi)語(yǔ)音助手，而是變成能夠充分理解用戶(hù)意圖、理解上下文、理解用戶(hù)感知信息的真正懂你的AI助手。????????
? ? ? ? 目前我們看到行業(yè)內的關(guān)注重點(diǎn)主要在第二階段和第三階段。接下來(lái)我們先看一下生成式AI的發(fā)展趨勢。我們看到很重要的一點(diǎn)是，能夠在端側運行的生成式AI模型，它的智能正在快速的提升。首先，端側設備能夠支持的模型參數量正在變得越來(lái)越大，比如在手機上我們已經(jīng)可以運行10億到100億參數級別的大模型，在PC上可以運行130億到200億參數量的大模型。在車(chē)上，我們可以支持的模型參數量可能會(huì )更大，達到200~600億的級別。????????第二個(gè)階段就是生成式AI，這個(gè)階段的特點(diǎn)是在基于大量數據預訓練的情況下，AI可以在有監督的情況下去解決一些具體的問(wèn)題，比如說(shuō)OpenAI的ChatGPT模型，以及文生圖模型等等。第三個(gè)階段我們叫做智能體AI。智能體AI跟生成式AI有個(gè)很重要的區別就是，它基本上可以在無(wú)監督的情況下，自主的去理解用戶(hù)意圖，進(jìn)行行動(dòng)和決策，幫我們解決稍微復雜的任務(wù)。第四階段我們叫做物理AI，AI可以真正去理解我們的物理世界，根據真實(shí)物理世界的物理規定，對輸入進(jìn)行反饋和輸出。這一技術(shù)還在早期應用階段。如果大家關(guān)注今年在巴塞羅那的MWC世界移動(dòng)通信大會(huì )，應該也看到了大量行業(yè)關(guān)于物理AI的探索進(jìn)展。????????各位嘉賓，現場(chǎng)的朋友，大家上午好。今天我分享的主題是“引領(lǐng)智能體AI創(chuàng )新，在端側構建個(gè)人AI未來(lái)”。我們首先來(lái)看一下AI在行業(yè)應用的幾個(gè)演進(jìn)階段，第一個(gè)階段我們可以把它叫做感知AI，感知AI并不陌生，它包括多媒體信號、比如語(yǔ)音信號的理解，對圖像的分類(lèi)識別，以及智能降噪等傳統領(lǐng)域的用例。這類(lèi)感知AI在大多數的終端側平臺已經(jīng)得到了商業(yè)化落地，一個(gè)很典型的例子就是在手機領(lǐng)域的計算攝影，其實(shí)就得益于感知AI的落地。????????此外，為表彰產(chǎn)業(yè)鏈內的杰出企業(yè)與領(lǐng)軍人士，彰顯行業(yè)標桿力量，MemoryS大獎也在本次峰會(huì )期間頒布，通過(guò)將業(yè)務(wù)從智能手機擴展至個(gè)人AI與智能可穿戴設備、PC、汽車(chē)、邊緣網(wǎng)絡(luò )以及工業(yè)物聯(lián)網(wǎng)等廣泛邊緣領(lǐng)域，引領(lǐng)構建“邊緣智能生態(tài)”，推動(dòng)AI在萬(wàn)物互聯(lián)終端上真正實(shí)現低延遲、高安全的本地化落地，高通公司榮獲“年度AI生態(tài)杰出貢獻獎”。?????????????????????
? ? ? ? 介紹完趨勢，下面我們來(lái)分享生成式AI在端側部署的優(yōu)勢與挑戰。我認為端側運行生成式AI的最大優(yōu)勢在于個(gè)性化。因為個(gè)人所有的數據都在端側，而新數據的產(chǎn)生源頭也是在端側。在數據產(chǎn)生的源頭直接進(jìn)行推理是一件非常自然的事情，同時(shí)也可以更好保護用戶(hù)的隱私。此外，端側生成式AI還有更高的成本優(yōu)勢，且無(wú)需網(wǎng)絡(luò )連接，這讓用戶(hù)能夠隨時(shí)隨地享受生成式AI帶來(lái)的服務(wù)。在挑戰方面，我這里重點(diǎn)強調幾點(diǎn)。第一點(diǎn)是端側內存規模的限制。雖然我們有很多技術(shù)手段能夠壓縮模型體積，但有限的內存終究會(huì )對可運行的模型大小設置上限，而模型大小的上限也意味著(zhù)端側AI能力的上限。??????????????????
? ? ? ? 以上就是我今天所有的分享，非常感謝大家。??????????????????在過(guò)去，個(gè)人AI更多是以手機為中心，耳機、眼鏡、手表等其他設備是作為附屬與手機連接。未來(lái)，我們正在邁向以AI和用戶(hù)為中心的多終端體驗。也就是說(shuō)AI不再綁定某一個(gè)具體的設備，如果是通過(guò)個(gè)人AI或者智能體去理解用戶(hù)的意圖，再去執行用戶(hù)的任務(wù)，這些任務(wù)是通過(guò)多個(gè)設備之間的靈活協(xié)同來(lái)完成的。AI設備它只是AI的載體，未來(lái)個(gè)人AI體驗一定是朝著(zhù)打造更持續、更無(wú)感的用戶(hù)體驗方向去演進(jìn)。從我們的視角去看個(gè)人AI，它一定是始于終端側的，因為終端側離用戶(hù)最近，終端側擁有用戶(hù)的所有信息，因此能夠在第一時(shí)間感知到用戶(hù)個(gè)人的意圖、上下文和偏好。????????剛才我們聊了終端側，那么在數據中心領(lǐng)域，我們也是在今年MWC發(fā)布了基于Qualcomm?AI200和AI250芯片的加速卡和機架系統。我們以行業(yè)領(lǐng)先的總體擁有成本(TCO)為高速數據中心生成式AI推理提供機架級性能與卓越內存容量。尤其是AI250，它引入了一個(gè)創(chuàng )新的內存架構，為AI處理工作負載帶來(lái)效率的跨時(shí)代躍升。????????????
? ? ? ? 從模型本身的能力來(lái)看，我們觀(guān)察到兩點(diǎn)。首先，去年我們已成功將具備推理能力的大模型部署到了端側。第二，在端側大模型所對應的各類(lèi)場(chǎng)景中，其支持的上下文長(cháng)度也在提升。大概在三年前，端側上下文長(cháng)度普遍僅限于1k-2k；兩年前，大部分場(chǎng)景的上下文已經(jīng)擴展到2k-4k；而去年，高通在與合作伙伴的場(chǎng)景探索中，這個(gè)區間已提升到4k-8k。在一些特定的場(chǎng)景中，我們甚至已經(jīng)可以支持32k-128k的上下文長(cháng)度。?????????????????????
? ? ? ? 更長(cháng)的上下文需求在端側部署其實(shí)是具有挑戰性的，上下文越來(lái)越長(cháng)，意味著(zhù)對KV緩存（Key-Value Cache）的需求會(huì )越來(lái)越大。這直接導致將模型整體部署到端側時(shí)，所需的內存容量會(huì )增加，同時(shí)對內存帶寬的要求也會(huì )越來(lái)越高。在模態(tài)演進(jìn)方面，我們同樣看到端側模型正從單一的“文生文”、“文生圖”、“圖生圖”向更豐富的多模態(tài)方向發(fā)展，包括語(yǔ)音、文字、照片、視覺(jué)以及傳感器等多種輸入，甚至正在向全模態(tài)的方向邁進(jìn)。在去年9月的驍龍峰會(huì )上，高通也展示了與合作伙伴共同將50億參數的全模態(tài)模型完整運行在端側，用戶(hù)可以通過(guò)自然語(yǔ)言進(jìn)行交互。????????3月27日，CFMS｜MemoryS 2026?峰會(huì )以“穿越周期，釋放價(jià)值”為主題在深圳舉辦。本屆峰會(huì )匯聚存儲、CPU/GPU、AI大模型、汽車(chē)等全球核心產(chǎn)業(yè)鏈生態(tài)企業(yè)，探索AI時(shí)代下，存儲廠(chǎng)商、應用終端與平臺廠(chǎng)商將如何融合新技術(shù)、新產(chǎn)品，協(xié)同構建高效生態(tài)。高通公司AI產(chǎn)品技術(shù)中國區負責人萬(wàn)衛星受邀出席本次峰會(huì )并發(fā)表主題演講，探討了在智能體AI創(chuàng )新浪潮下，端側將如何引領(lǐng)構建個(gè)人AI的未來(lái)。
以上問(wèn)題已經(jīng)回答了。如果你想了解更多，請關(guān)
新經(jīng)網(wǎng)網(wǎng)站 (
http://www.hkkqyy120.com/)
