智譜AI的AutoGLM后,Google和微軟也下場來做“賈維斯”了蘋果App Store摘要功能:自動生成、更新和報(bào)告不準(zhǔn)確的摘要極光通過DCMM3級認(rèn)證,數(shù)據(jù)管理能力獲權(quán)威認(rèn)可華為MatePad 11.5 2024款上市開售:售價(jià)1699元起惠普將向諾基亞支付專利使用費(fèi),結(jié)束視頻技術(shù)相關(guān)訴訟同程旅行榮獲江蘇省省級現(xiàn)代服務(wù)業(yè)高質(zhì)量發(fā)展領(lǐng)軍企業(yè)稱號求變,讓天貓雙11再次偉大?地平線的「護(hù)城河」與「攀云梯」,成就智駕科技企業(yè)樣本雷軍回應(yīng)小米SU7 Ultra車模秒售罄:產(chǎn)能很低抖音生活服務(wù)推出安心吃 最高賠付訂單3倍等額券史上最長雙11,電商新手視頻號小紅書能“上大分”嗎?AI旅行解決方案提供商視旅科技獲億元A輪融資華為Mate70零部件已開始供貨,首批備貨量增加30%Redmi K80 Pro 手機(jī)相機(jī)規(guī)格曝光:5000 萬像素主攝抖音外賣再調(diào)整:上線隨心團(tuán),到家到店統(tǒng)一入口蘋果M4 Pro Mac mini支持外接三臺6K顯示屏京東回應(yīng)App內(nèi)支持支付寶:為用戶提供多樣化支付方式81.49萬買的值!小米SU7 Ultra自帶聲浪外放音響 雷軍現(xiàn)場播放音浪炸場ChatGPT新增重磅功能!能打造自己的聊天數(shù)據(jù)庫了大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂
  • 首頁 > 云計(jì)算頻道 > 大模型

    阿里云全面升級GPU云服務(wù):AI大模型推理性能可提升100%

    2024年07月19日 17:34:10   來源:快科技

      阿里云推出全面升級的GPU云服務(wù),通過全新優(yōu)化GPU套件,多GPU推理服務(wù)性能可最大提升100%。

      針對調(diào)用GPU算力最常用的容器技術(shù),阿里云推出ACK云原生AI套件,幫助開發(fā)者及企業(yè)更高效地開發(fā)和部署AI應(yīng)用,加速大模型應(yīng)用落地。

      隨著AI大模型的體量變大、應(yīng)用變廣,單GPU已難以承載推理應(yīng)用的全部需求,多GPU推理時(shí)代已經(jīng)到來,如何在GPU資源緊缺的當(dāng)下,實(shí)現(xiàn)GPU高效互聯(lián),是提升多GPU推理性能的關(guān)鍵。

      阿里云通過進(jìn)一步優(yōu)化底層的AI通信加速庫DeepNCCL,讓GPU云服務(wù)在推理場景下有更好的性能表現(xiàn):在同等硬件環(huán)境下,Token輸出吞吐至少提升14%,首Token時(shí)延降低15%。

      通過深度優(yōu)化,推理加速性能也提升顯著,Token處理能力提升100%,相同的資源可以支持2倍的業(yè)務(wù)需求,用Kubernetes容器集群技術(shù)調(diào)用GPU算力,已成為運(yùn)行AI大模型任務(wù)的主流選擇。

      ACK容器服務(wù)可提供自動化編排及GPU高效管理和調(diào)度的能力,讓模型部署、擴(kuò)展變得更簡單。

      為進(jìn)一步提升AI應(yīng)用運(yùn)維效率,阿里云推出ACK云原生AI套件,可實(shí)現(xiàn)Kubernetes在GPU調(diào)度和細(xì)粒度共享、AI任務(wù)調(diào)度、訓(xùn)練數(shù)據(jù)加載以及大模型推理服務(wù)啟動等關(guān)鍵領(lǐng)域的能力增強(qiáng)和加速,相較開源均有大幅能力提升。

      比如,針對AI任務(wù)頻繁加載遠(yuǎn)程存儲數(shù)據(jù)的需求,ACK云原生AI套件可提升訓(xùn)練數(shù)據(jù)讀取性能30%以上,降低大模型推理服務(wù)冷啟動時(shí)延70%以上。

      在全球累計(jì)超過1000萬活躍用戶的國產(chǎn)AI繪畫工具海藝AI,就是通過ACK調(diào)用阿里云GPU云服務(wù)的先行者。

      此前,用戶通過海藝AI生成一張圖片平均耗時(shí)20秒,遇到隊(duì)列等待延遲可上升至分鐘級;采用阿里云GPU云算力及ACK容器服務(wù)后,海藝AI的模型切換完全無感,推理耗時(shí)降低至3.95秒,整體性能提升至少50%以上。

      在最新的Forrester 全球AI基礎(chǔ)設(shè)施解決方案研究報(bào)告中,阿里云綜合產(chǎn)品能力指標(biāo)位居全球第二,已成為中國AI大模型的公共底座。

      零一萬物、百川智能、智譜AI、昆侖萬維、vivo、復(fù)旦大學(xué)、巨人網(wǎng)絡(luò)等大批企業(yè)和機(jī)構(gòu)在阿里云上訓(xùn)練大模型,并通過阿里云對外提供服務(wù)。

      小鵬汽車、聯(lián)想、德勤、微博、完美世界、喜馬拉雅等已接入阿里云通義大模型,在阿里云上為消費(fèi)者和客戶提供豐富的AI應(yīng)用服務(wù)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    敢闖技術(shù)無人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎

    近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。