很多朋友不知道【蘋(píng)果新AI模型實(shí)現端側GUI智能 性能超大型模型24倍】，今天小綠就為大家解答一下。

據CNMO了解，這項研究是蘋(píng)果對多模態(tài)大語(yǔ)言模型，特別是其Ferret系列模型的持續探索。早在2023年底，蘋(píng)果就推出了名為“FERRET”的基礎模型，旨在讓AI理解圖像中的特定部分。此后，蘋(píng)果陸續發(fā)布了針對移動(dòng)用戶(hù)界面（UI）理解的Ferret-UI及其增強版Ferret-UI 2。這些早期模型雖然功能強大，但模型參數較大，更側重于在服務(wù)器端運行。

【CNMO科技消息】近日，據外媒報道，蘋(píng)果研究人員已成功開(kāi)發(fā)出一款名為Ferret-UI Lite的全新設備端人工智能代理。這款輕量級模型能夠直接在設備上運行，并根據用戶(hù)的指令自主與各類(lèi)應用程序的圖形界面進(jìn)行交互。

研究人員指出，當前大多數GUI代理都依賴(lài)大型基礎模型，這些模型雖然推理和規劃能力強，但體積龐大、計算需求高，難以在設備端流暢運行。為了解決這一矛盾，Ferret-UI Lite通過(guò)一系列創(chuàng )新技術(shù)，實(shí)現了性能與體積的平衡。它采用了實(shí)時(shí)裁剪與放大技術(shù)：模型在初步分析屏幕后，會(huì )對其關(guān)注的區域進(jìn)行動(dòng)態(tài)裁剪和放大，再進(jìn)行二次判斷。這有效彌補了小模型處理大量圖像信息的局限性。

版權所有，未經(jīng)許可不得轉載

據悉，與之前主要使用iPhone截圖進(jìn)行測試的版本不同，Ferret-UI Lite的訓練和評估主要在A(yíng)ndroid、網(wǎng)頁(yè)及桌面GUI環(huán)境中進(jìn)行。這或許反映了當前大規模GUI代理測試平臺的可獲取性現狀，但也展示了該模型跨平臺應用的潛力。

研究結果顯示，盡管體積小巧，Ferret-UI Lite在多個(gè)基準測試中的表現，足以匹敵甚至超越參數規模高達其24倍的競品模型。它尤其擅長(cháng)處理短期、低層次的操作任務(wù)。雖然在涉及多個(gè)步驟的復雜交互上表現尚有不足，但作為一款完全運行在設備端的AI代理，它提供了顯著(zhù)優(yōu)勢：所有數據處理都在本地完成，無(wú)需上傳至云端，極大地提升了用戶(hù)隱私和數據安全性。

此次發(fā)布的Ferret-UI Lite則代表了不同的研究方向——高效與輕量化。它是一個(gè)僅有30億參數的變體，其核心目標是在資源有限的設備上（如手機）實(shí)現強大的GUI（圖形用戶(hù)界面）代理功能。

以上問(wèn)題已經(jīng)回答了。如果你想了解更多，請關(guān)新經(jīng)網(wǎng)網(wǎng)站 (http://www.hkkqyy120.com/)