大模型爆發(fā)倒逼算力升級(jí)，火山引擎分享“AI全棧云”經(jīng)驗(yàn)

　　AI大模型的爆發(fā)式增長，正驅(qū)動(dòng)著算力需求不斷升級(jí)，云基礎(chǔ)設(shè)施在集群建設(shè)和管理、性能、穩(wěn)定性等方面都面臨著嚴(yán)峻挑戰(zhàn)。

　　火山引擎基于字節(jié)跳動(dòng)在大模型領(lǐng)域的實(shí)踐沉淀，帶來更高性價(jià)比的算力資源和一站式資源服務(wù)，持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地。8月21日，2024火山引擎AI創(chuàng)新巡展上海站活動(dòng)成功舉辦，火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩發(fā)表演講，詳細(xì)介紹了面對(duì)算力需求的升級(jí)，火山引擎的具體應(yīng)對(duì)方法和措施。

　　羅浩表示，早在2019年，火山引擎已經(jīng)觀察到了由Transformer帶來的更大規(guī)模算力需求。并且隨著算力大規(guī)模爆發(fā)式增長，也帶來了計(jì)算模式的變化，計(jì)算從“單節(jié)點(diǎn)模式”向“集群模式”演化。

　　為了滿足AI領(lǐng)域的算力增長，火山引擎首先打造更新的基礎(chǔ)設(shè)施，如新一代GPU型算力，以及能夠容納這些算力的新一代機(jī)房等。

　　在此基礎(chǔ)上，則是打造新一代互聯(lián)技術(shù)，將多達(dá)數(shù)十萬個(gè)計(jì)算節(jié)點(diǎn)互聯(lián)起來，支持近似線性加速比。

　　羅浩介紹，由于不同算力資源池的節(jié)點(diǎn)閾值不同，當(dāng)小于8個(gè)節(jié)點(diǎn)的時(shí)候，調(diào)度都在一臺(tái)服務(wù)器內(nèi)部完成，但當(dāng)節(jié)點(diǎn)大于500的時(shí)候，可能就需要跨機(jī)架調(diào)度，而當(dāng)節(jié)點(diǎn)大于1000或更多時(shí)，需要跨兩至三層的交換機(jī)調(diào)度，所涉及到的網(wǎng)絡(luò)架構(gòu)管理內(nèi)容，包括通信協(xié)議、擁塞控制等等，其性能挑戰(zhàn)的難度將逐步增大。

　　因此，隨著AI大模型的爆發(fā)，任務(wù)已從單節(jié)點(diǎn)來到多節(jié)點(diǎn)，甚至達(dá)到萬卡規(guī)模，故障域也變得更大。

　　如此大的故障域中，如何在當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)能快速識(shí)別問題，及時(shí)剔除故障節(jié)點(diǎn)，節(jié)省計(jì)算成本，就存在相當(dāng)嚴(yán)峻的挑戰(zhàn)。

　　火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩

　　因此火山引擎提出“AI全棧云”，包含三個(gè)方面。

　　一、集中使用資源和算力。最大程度上避免由于分布式數(shù)據(jù)中心建設(shè)帶來的算力孤島和存儲(chǔ)孤島問題。

　　二、所有的IaaS層產(chǎn)品、PaaS層產(chǎn)品、數(shù)據(jù)產(chǎn)品、安全產(chǎn)品甚至推薦算法還有AI產(chǎn)品，都在同一朵云上，采用同樣的軟件架構(gòu)、通信協(xié)議，使得數(shù)據(jù)流動(dòng)、業(yè)務(wù)通信保持最高效的，同時(shí)也更加安全。

　　三、大算力資源池建設(shè)和自研硬件，以及自研網(wǎng)絡(luò)通信協(xié)議、擁塞控制算法等能力相結(jié)合，實(shí)現(xiàn)規(guī)模更大、性能更強(qiáng)、穩(wěn)定性更高和成本更優(yōu)。

　　羅浩表示，目前火山引擎能夠做到在分鐘級(jí)別調(diào)度千卡規(guī)模資源池，以應(yīng)對(duì)彈性任務(wù)�；ヂ�(lián)能力方面，單機(jī)互聯(lián)能力已經(jīng)從800G提升到了3.2T，增長了4倍。同時(shí)火山引擎還提供覆蓋全球的網(wǎng)絡(luò)，能夠支持2TB/秒吞吐并行文件存儲(chǔ)。

　　在高可用方面，火山引擎做了充分的壓測左移體系，會(huì)在批量機(jī)器交付之前，抽樣比較大的集群同時(shí)部署上容器、虛擬機(jī)、物理機(jī)進(jìn)行測試，確保高可用性。擁有這樣的壓測能力，即可快速發(fā)現(xiàn)問題，結(jié)合冷遷移技術(shù)，將故障節(jié)點(diǎn)在離線狀態(tài)或在線狀態(tài)剝離出去，使得任務(wù)持續(xù)運(yùn)行。

　　成本方面，火山引擎除對(duì)大規(guī)模算力資源池集中使用之外，對(duì)于loadbook、DevOps等短期任務(wù)，只會(huì)用單張卡或0.5張卡，提供更加靈活、更小粒度的資源使用方式。同時(shí)，火山引擎的網(wǎng)絡(luò)負(fù)載均衡還能夠感知到訓(xùn)練推理體系里的KV Cache、過熱導(dǎo)致的調(diào)度不均勻問題，達(dá)到更高的調(diào)度效能。

　　在存儲(chǔ)方面，除VPFS超大規(guī)模、超大性能存儲(chǔ)之外，火山引擎還提供LAS緩沖層、CFS、TOS分層性價(jià)比更高的存儲(chǔ)。

　　羅浩表示，火山引擎基于字節(jié)跳動(dòng)在大模型領(lǐng)域的實(shí)踐沉淀，以技術(shù)驅(qū)動(dòng)的極致性價(jià)比讓大模型人人用得起，陪伴客戶一起成長。未來，火山引擎全棧 AI 服務(wù)將持續(xù)助力企業(yè) AI 轉(zhuǎn)型落地，激發(fā)業(yè)務(wù)增長潛能。(作者：唐明)