智譜AI的AutoGLM后,Google和微軟也下場來做“賈維斯”了蘋果App Store摘要功能:自動(dòng)生成、更新和報(bào)告不準(zhǔn)確的摘要極光通過DCMM3級(jí)認(rèn)證,數(shù)據(jù)管理能力獲權(quán)威認(rèn)可華為MatePad 11.5 2024款上市開售:售價(jià)1699元起惠普將向諾基亞支付專利使用費(fèi),結(jié)束視頻技術(shù)相關(guān)訴訟同程旅行榮獲江蘇省省級(jí)現(xiàn)代服務(wù)業(yè)高質(zhì)量發(fā)展領(lǐng)軍企業(yè)稱號(hào)求變,讓天貓雙11再次偉大?地平線的「護(hù)城河」與「攀云梯」,成就智駕科技企業(yè)樣本雷軍回應(yīng)小米SU7 Ultra車模秒售罄:產(chǎn)能很低抖音生活服務(wù)推出安心吃 最高賠付訂單3倍等額券史上最長雙11,電商新手視頻號(hào)小紅書能“上大分”嗎?AI旅行解決方案提供商視旅科技獲億元A輪融資華為Mate70零部件已開始供貨,首批備貨量增加30%Redmi K80 Pro 手機(jī)相機(jī)規(guī)格曝光:5000 萬像素主攝抖音外賣再調(diào)整:上線隨心團(tuán),到家到店統(tǒng)一入口蘋果M4 Pro Mac mini支持外接三臺(tái)6K顯示屏京東回應(yīng)App內(nèi)支持支付寶:為用戶提供多樣化支付方式81.49萬買的值!小米SU7 Ultra自帶聲浪外放音響 雷軍現(xiàn)場播放音浪炸場ChatGPT新增重磅功能!能打造自己的聊天數(shù)據(jù)庫了大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂
  • 首頁 > 云計(jì)算頻道 > 大模型

    大模型爆發(fā)倒逼算力升級(jí),火山引擎分享“AI全棧云”經(jīng)驗(yàn)

    2024年08月27日 15:46:13   來源:Citnews中文科技資訊

      AI大模型的爆發(fā)式增長,正驅(qū)動(dòng)著算力需求不斷升級(jí),云基礎(chǔ)設(shè)施在集群建設(shè)和管理、性能、穩(wěn)定性等方面都面臨著嚴(yán)峻挑戰(zhàn)。

      火山引擎基于字節(jié)跳動(dòng)在大模型領(lǐng)域的實(shí)踐沉淀,帶來更高性價(jià)比的算力資源和一站式資源服務(wù),持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地。8月21日,2024火山引擎AI創(chuàng)新巡展上海站活動(dòng)成功舉辦,火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩發(fā)表演講,詳細(xì)介紹了面對(duì)算力需求的升級(jí),火山引擎的具體應(yīng)對(duì)方法和措施。

      羅浩表示,早在2019年,火山引擎已經(jīng)觀察到了由Transformer帶來的更大規(guī)模算力需求。并且隨著算力大規(guī)模爆發(fā)式增長,也帶來了計(jì)算模式的變化,計(jì)算從“單節(jié)點(diǎn)模式”向“集群模式”演化。

      為了滿足AI領(lǐng)域的算力增長,火山引擎首先打造更新的基礎(chǔ)設(shè)施,如新一代GPU型算力,以及能夠容納這些算力的新一代機(jī)房等。

      在此基礎(chǔ)上,則是打造新一代互聯(lián)技術(shù),將多達(dá)數(shù)十萬個(gè)計(jì)算節(jié)點(diǎn)互聯(lián)起來,支持近似線性加速比。

      羅浩介紹,由于不同算力資源池的節(jié)點(diǎn)閾值不同,當(dāng)小于8個(gè)節(jié)點(diǎn)的時(shí)候,調(diào)度都在一臺(tái)服務(wù)器內(nèi)部完成,但當(dāng)節(jié)點(diǎn)大于500的時(shí)候,可能就需要跨機(jī)架調(diào)度,而當(dāng)節(jié)點(diǎn)大于1000或更多時(shí),需要跨兩至三層的交換機(jī)調(diào)度,所涉及到的網(wǎng)絡(luò)架構(gòu)管理內(nèi)容,包括通信協(xié)議、擁塞控制等等,其性能挑戰(zhàn)的難度將逐步增大。

      因此,隨著AI大模型的爆發(fā),任務(wù)已從單節(jié)點(diǎn)來到多節(jié)點(diǎn),甚至達(dá)到萬卡規(guī)模,故障域也變得更大。

      如此大的故障域中,如何在當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)能快速識(shí)別問題,及時(shí)剔除故障節(jié)點(diǎn),節(jié)省計(jì)算成本,就存在相當(dāng)嚴(yán)峻的挑戰(zhàn)。

      火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩

      因此火山引擎提出“AI全棧云”,包含三個(gè)方面。

      一、集中使用資源和算力。最大程度上避免由于分布式數(shù)據(jù)中心建設(shè)帶來的算力孤島和存儲(chǔ)孤島問題。

      二、所有的IaaS層產(chǎn)品、PaaS層產(chǎn)品、數(shù)據(jù)產(chǎn)品、安全產(chǎn)品甚至推薦算法還有AI產(chǎn)品,都在同一朵云上,采用同樣的軟件架構(gòu)、通信協(xié)議,使得數(shù)據(jù)流動(dòng)、業(yè)務(wù)通信保持最高效的,同時(shí)也更加安全。

      三、大算力資源池建設(shè)和自研硬件,以及自研網(wǎng)絡(luò)通信協(xié)議、擁塞控制算法等能力相結(jié)合,實(shí)現(xiàn)規(guī)模更大、性能更強(qiáng)、穩(wěn)定性更高和成本更優(yōu)。

      羅浩表示,目前火山引擎能夠做到在分鐘級(jí)別調(diào)度千卡規(guī)模資源池,以應(yīng)對(duì)彈性任務(wù);ヂ(lián)能力方面,單機(jī)互聯(lián)能力已經(jīng)從800G提升到了3.2T,增長了4倍。同時(shí)火山引擎還提供覆蓋全球的網(wǎng)絡(luò),能夠支持2TB/秒吞吐并行文件存儲(chǔ)。

      在高可用方面,火山引擎做了充分的壓測左移體系,會(huì)在批量機(jī)器交付之前,抽樣比較大的集群同時(shí)部署上容器、虛擬機(jī)、物理機(jī)進(jìn)行測試,確保高可用性。擁有這樣的壓測能力,即可快速發(fā)現(xiàn)問題,結(jié)合冷遷移技術(shù),將故障節(jié)點(diǎn)在離線狀態(tài)或在線狀態(tài)剝離出去,使得任務(wù)持續(xù)運(yùn)行。

      成本方面,火山引擎除對(duì)大規(guī)模算力資源池集中使用之外,對(duì)于loadbook、DevOps等短期任務(wù),只會(huì)用單張卡或0.5張卡,提供更加靈活、更小粒度的資源使用方式。同時(shí),火山引擎的網(wǎng)絡(luò)負(fù)載均衡還能夠感知到訓(xùn)練推理體系里的KV Cache、過熱導(dǎo)致的調(diào)度不均勻問題,達(dá)到更高的調(diào)度效能。

      在存儲(chǔ)方面,除VPFS超大規(guī)模、超大性能存儲(chǔ)之外,火山引擎還提供LAS緩沖層、CFS、TOS分層性價(jià)比更高的存儲(chǔ)。

      羅浩表示,火山引擎基于字節(jié)跳動(dòng)在大模型領(lǐng)域的實(shí)踐沉淀,以技術(shù)驅(qū)動(dòng)的極致性價(jià)比讓大模型人人用得起,陪伴客戶一起成長。未來,火山引擎全棧 AI 服務(wù)將持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地,激發(fā)業(yè)務(wù)增長潛能。(作者:唐明)

      

    [No. X048]
    分享到微信

    即時(shí)

    新聞

    敢闖技術(shù)無人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎(jiǎng)

    近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會(huì)在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會(huì)即將開幕

    由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。