智譜AI的AutoGLM后,Google和微軟也下場(chǎng)來做“賈維斯”了蘋果App Store摘要功能:自動(dòng)生成、更新和報(bào)告不準(zhǔn)確的摘要極光通過DCMM3級(jí)認(rèn)證,數(shù)據(jù)管理能力獲權(quán)威認(rèn)可華為MatePad 11.5 2024款上市開售:售價(jià)1699元起惠普將向諾基亞支付專利使用費(fèi),結(jié)束視頻技術(shù)相關(guān)訴訟同程旅行榮獲江蘇省省級(jí)現(xiàn)代服務(wù)業(yè)高質(zhì)量發(fā)展領(lǐng)軍企業(yè)稱號(hào)求變,讓天貓雙11再次偉大?地平線的「護(hù)城河」與「攀云梯」,成就智駕科技企業(yè)樣本雷軍回應(yīng)小米SU7 Ultra車模秒售罄:產(chǎn)能很低抖音生活服務(wù)推出安心吃 最高賠付訂單3倍等額券史上最長雙11,電商新手視頻號(hào)小紅書能“上大分”嗎?AI旅行解決方案提供商視旅科技獲億元A輪融資華為Mate70零部件已開始供貨,首批備貨量增加30%Redmi K80 Pro 手機(jī)相機(jī)規(guī)格曝光:5000 萬像素主攝抖音外賣再調(diào)整:上線隨心團(tuán),到家到店統(tǒng)一入口蘋果M4 Pro Mac mini支持外接三臺(tái)6K顯示屏京東回應(yīng)App內(nèi)支持支付寶:為用戶提供多樣化支付方式81.49萬買的值!小米SU7 Ultra自帶聲浪外放音響 雷軍現(xiàn)場(chǎng)播放音浪炸場(chǎng)ChatGPT新增重磅功能!能打造自己的聊天數(shù)據(jù)庫了大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂
  • 首頁 > 產(chǎn)經(jīng)新聞?lì)l道 > 科技資訊

    Arm 計(jì)算平臺(tái)加持,全新 Llama 3.2 LLM實(shí)現(xiàn)AI 推理的全面加速和擴(kuò)展

    2024年10月09日 13:46:18   來源:Citnews中文科技資訊

      新聞重點(diǎn):

      · 在 Arm CPU 上運(yùn)行 Meta 最新 Llama 3.2 版本,其云端到邊緣側(cè)的性能均得到顯著提升,這為未來 AI 工作負(fù)載提供了強(qiáng)大支持

      · Meta 與 Arm 的合作加快了用例的創(chuàng)新速度,例如個(gè)性化的端側(cè)推薦以及日常任務(wù)自動(dòng)化等

      · Arm 十年來始終積極投資AI領(lǐng)域,并廣泛開展開源合作,為 1B 至 90B 的 LLM 實(shí)現(xiàn)在 Arm 計(jì)算平臺(tái)上無縫運(yùn)行

      人工智能 (AI) 的迅猛發(fā)展意味著大語言模型 (LLM) 的新版本不斷推陳出新。要充分發(fā)揮 AI 的潛力并抓住其帶來的機(jī)遇,需要實(shí)現(xiàn) LLM 從云端到邊緣側(cè)的廣泛部署,而這也伴隨著對(duì)計(jì)算和能源需求的大幅增長。整個(gè)生態(tài)系統(tǒng)正攜手尋找應(yīng)對(duì)這一挑戰(zhàn)的解決方案,不斷推出新的更加高效的開源 LLM,以便大規(guī)模實(shí)現(xiàn)各種 AI 推理工作負(fù)載,加快為用戶帶來全新、快速的 AI 體驗(yàn)。

      為此,Arm與Meta 展開緊密合作,在 Arm CPU 上啟用新的Llama 3.2 LLM,集成開源創(chuàng)新與 Arm 計(jì)算平臺(tái)的優(yōu)勢(shì),顯著推進(jìn)了解決AI挑戰(zhàn)的進(jìn)程。得益于Arm 的持續(xù)投資及與新型LLM 的合作, Arm CPU運(yùn)行 AI 的優(yōu)勢(shì)在生態(tài)系統(tǒng)中脫穎而出,使Arm成為 AI 推理開發(fā)者的首選平臺(tái)。

      加速云到邊緣側(cè)的 AI 性能

      小型 LLM(如 Llama 3.2 1B 和 3B)能夠支持基于文本的基礎(chǔ)生成式 AI 工作負(fù)載,對(duì)于大規(guī)模 AI 推理的實(shí)現(xiàn)至關(guān)重要。通過 Arm CPU 優(yōu)化內(nèi)核在 Arm 技術(shù)驅(qū)動(dòng)的移動(dòng)設(shè)備上運(yùn)行新的 Llama 3.2 3B LLM,可讓提示詞處理速度提高五倍,詞元 (token) 生成速度提高三倍,在生成階段實(shí)現(xiàn)每秒 19.92 個(gè)詞元。這將直接減少了在設(shè)備上處理 AI 工作負(fù)載的延遲,大大提升了用戶整體體驗(yàn)。此外,當(dāng)邊緣側(cè)能處理的 AI 工作負(fù)載越多,往返云端傳輸數(shù)據(jù)所節(jié)省的電量就越多,進(jìn)而節(jié)省了能源和成本。

      除了在邊緣側(cè)運(yùn)行小型模型,Arm CPU同樣支持在云端運(yùn)行更大的模型(如 Llama 3.2 11B 和 90B)。11B 和 90B 的模型非常適合云端基于 CPU 的推理工作負(fù)載,可生成文本和圖像,其中,在Arm Neoverse V2上的測(cè)試結(jié)果展現(xiàn)出了更大的性能提升。在基于 Arm 架構(gòu)的 AWS Graviton4上運(yùn)行 11B 的圖像和文本模型,可以在生成階段實(shí)現(xiàn)每秒 29.3 個(gè)詞元的表現(xiàn),遠(yuǎn)遠(yuǎn)超出了人類大約每秒閱讀五個(gè)詞元的速度。

      AI 將通過開源創(chuàng)新和生態(tài)系統(tǒng)協(xié)作迅速擴(kuò)

      能公開獲取新的 LLMs(如Llama 3.2)至關(guān)重要。開源創(chuàng)新正以迅猛速度發(fā)展,在之前的版本中,開源社區(qū)在不到 24 小時(shí)的時(shí)間內(nèi)便能在 Arm 上部署并運(yùn)行新的 LLM。

      Arm將通過Arm Kleidi進(jìn)一步支持軟件社區(qū),讓整個(gè) AI 技術(shù)棧能夠充分發(fā)揮這一優(yōu)化的 CPU 性能。Kleidi 可在任何 AI 框架上解鎖 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能,無需應(yīng)用程序開發(fā)者進(jìn)行額外的集成工作。

      通過最近的Kleidi 與 PyTorch 集成以及正在推進(jìn)的與 ExecuTorch 集成,Arm正在為基于 Arm CPU的開發(fā)者提供從云端到邊緣側(cè)的無縫 AI 性能。得益于Kleidi 與 PyTorch 的集成,在基于 Arm 架構(gòu)的 AWS Graviton 處理器上運(yùn)行 Llama 3 LLM 的詞元首次響應(yīng)時(shí)間加快了 2.5 倍。

      同時(shí),在端側(cè),與參考實(shí)現(xiàn)相比,在 KleidiAI 庫的加持下,使用 llama.cpp庫在新的Arm Cortex-X925 CPU上運(yùn)行 Llama 3 的詞元首次響應(yīng)時(shí)間加快了 190%。

      構(gòu)建 AI 的未來

      Arm與Meta的合作成為了行業(yè)合作的新標(biāo)桿,匯聚了 Arm 計(jì)算平臺(tái)的靈活性、普及性和 AI 功能,以及 Meta 等行業(yè)巨頭的技術(shù)專長,共同解鎖AI 廣泛應(yīng)用的新機(jī)遇。無論是利用端側(cè) LLM 滿足用戶的個(gè)性化需求,如根據(jù)用戶所處的位置、日程和偏好來執(zhí)行任務(wù),還是通過企業(yè)級(jí)應(yīng)用來優(yōu)化工作效率,讓用戶能夠更專注于戰(zhàn)略性任務(wù),Arm 技術(shù)的集成都為未來奠定了基礎(chǔ)。未來,設(shè)備不再只是命令和控制工具,更是能在提升用戶整體體驗(yàn)方面扮演積極的作用。

      在 Arm CPU 上運(yùn)行 Meta 最新 Llama 3.2 版本,其AI 性能實(shí)現(xiàn)了顯著提升。這類開放式合作是實(shí)現(xiàn)無處不在的 AI 創(chuàng)新、促進(jìn)AI可持續(xù)發(fā)展的最佳途徑。通過新的 LLM、開源社區(qū)和 Arm 的計(jì)算平臺(tái),Arm 正在構(gòu)建 AI 的未來,到 2025 年,將有 1000 多億臺(tái)基于 Arm 架構(gòu)的設(shè)備支持 AI。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    [No. H002]
    分享到微信

    即時(shí)

    新聞

    敢闖技術(shù)無人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎(jiǎng)

    近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會(huì)在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會(huì)即將開幕

    由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。