大模型混合云，到了系統(tǒng)性創(chuàng)新突圍的關(guān)鍵時(shí)刻

　　文 | 智能相對論

　　作者 | 陳泊丞

　　亞馬遜與Anthropic、微軟與OpenAI以及華為云提出的大模型混合云概念等等種種信號都在表明，云計(jì)算與大模型深度融合發(fā)展的趨勢已是業(yè)內(nèi)共識。

　　目前，以生成式AI為導(dǎo)向，越來越多的公司開始加速大模型技術(shù)在云計(jì)算平臺上的部署和應(yīng)用，而又反向推動云計(jì)算產(chǎn)業(yè)的迭代與升級。

　　從底層的基礎(chǔ)設(shè)施到中間層的平臺服務(wù)再到頂層的場景應(yīng)用，云計(jì)算正經(jīng)歷著顯著變革。以亞馬遜云科技為例，作為全球云計(jì)算巨頭，他家的云產(chǎn)品正全面為大模型的部署與應(yīng)用做好技術(shù)層面的鋪墊。

　　一、在底層，打造以GPU和自研芯片為代表的基礎(chǔ)設(shè)施，用于基礎(chǔ)模型的訓(xùn)練以及在生產(chǎn)環(huán)境中運(yùn)行推理。

　　二、在中間層，推出Amazon Bedrock，基于完全托管的服務(wù)，允許用戶輕松接入經(jīng)過嚴(yán)格篩選的第三方品牌大模型，如AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI等，以及亞馬遜自有品牌的大模型Amazon Titan。

　　三、在頂層，通過基礎(chǔ)模型構(gòu)建開箱即用的生成式AI應(yīng)用程序如Amazon Q等，讓用戶無需任何專業(yè)知識即可快速上手生成式AI。

　　由此來看，生成式AI的發(fā)展正在改變云計(jì)算本身的產(chǎn)業(yè)格局，整個(gè)市場的競爭也到了前所未有的變革階段。

　　生成式AI，重構(gòu)了云

　　秉持著亞馬遜云科技類似觀點(diǎn)和行動的，還有本土的云廠商們。

　　百度集團(tuán)副總裁侯震宇此前便提出，大模型將驅(qū)動云計(jì)算的創(chuàng)新，并重塑云計(jì)算的產(chǎn)業(yè)格局，在驅(qū)動了底層IT基礎(chǔ)設(shè)施的重構(gòu)，也帶來了上層應(yīng)用開發(fā)模式的變革。

　　而華為云發(fā)布的國內(nèi)業(yè)界首個(gè)大模型混合云——華為云Stack 8.3，則是把混合云與大模型相結(jié)合，更具體地反饋出了云服務(wù)發(fā)展的新方向——通過提供算力平臺、云服務(wù)、開發(fā)套件和專業(yè)服務(wù)等完整的AI生產(chǎn)鏈，打通了從基礎(chǔ)設(shè)施到應(yīng)用開發(fā)的技術(shù)路徑，幫助政企客戶一站式建立專屬大模型能力，成了云服務(wù)的進(jìn)階能力。

　　而這種能力的進(jìn)階，基于大模型混合云的技術(shù)發(fā)展而言，其本質(zhì)是一種應(yīng)用場景的特化。

　　比如，云邊協(xié)同技術(shù)在大模型混合云上的延續(xù)應(yīng)用與創(chuàng)新，其目的是為了解決AI大模型逐步應(yīng)用到煤礦生產(chǎn)、電力巡檢、工業(yè)質(zhì)檢等工業(yè)場景中所暴露出來的邊緣實(shí)時(shí)推理需求。

　　一方面，工業(yè)場景對AI應(yīng)用的需求比其他場景更多，且效率要求也更高，低延時(shí)、高敏捷、廣泛部署都需要做好邊緣管理和應(yīng)用工作。另一方面，當(dāng)AI大模型走向工業(yè)場景應(yīng)用，其版本迭代、功能升級就不可避免地進(jìn)入邊用邊學(xué)、邊升級邊應(yīng)用的階段。

　　由此，云邊協(xié)同成為關(guān)鍵，需平衡計(jì)算資源、優(yōu)化數(shù)據(jù)流動、提升處理效率和增強(qiáng)服務(wù)質(zhì)量，支撐了多樣化、高要求的AI應(yīng)用場景。

　　華為混合云提出的云邊協(xié)同方案基于混合云的ModelArts AI開發(fā)平臺和盤古大模型，形成了一站式的場景化模型訓(xùn)練工作流。再通過采集原始生產(chǎn)樣本數(shù)據(jù)和模型運(yùn)行中產(chǎn)生的存疑樣本數(shù)據(jù)，使用工作流高效訓(xùn)練模型，并統(tǒng)一管理模型版本，有效實(shí)現(xiàn)了AI模型邊用邊學(xué)、快速迭代、持續(xù)升級、能適應(yīng)新的工況和數(shù)據(jù)變化。

　　再說數(shù)據(jù)問題，其中數(shù)據(jù)存儲就困擾著AI大模型訓(xùn)練效率。隨著AI大模型參數(shù)量的增加，訓(xùn)練集群規(guī)模也不斷擴(kuò)大，而傳統(tǒng)存儲從架構(gòu)上就已經(jīng)難以應(yīng)對超大規(guī)模AI集群數(shù)據(jù)快讀、Checkpoint快存、故障快速恢復(fù)的需求。

　　面對這樣的特定需求，華為云不得不在存儲架構(gòu)上來尋求突破，基于于OBS數(shù)據(jù)湖、SFS Turbo高性能并行文件系統(tǒng)和AI Turbo加速的創(chuàng)新三層架構(gòu)，從而系統(tǒng)地應(yīng)對大模型訓(xùn)練場景的挑戰(zhàn)。

　　總的來說，只是為了應(yīng)對AI大模型的各類場景問題，云服務(wù)就需要從底層基礎(chǔ)設(shè)施到頂層應(yīng)用來全面創(chuàng)新，提出對應(yīng)的解決方案以進(jìn)一步推動AI大模型的發(fā)展。那么，擺在大模型混合云面前的技術(shù)難點(diǎn)并不會太少，近年來華為云一直在通過系統(tǒng)性的創(chuàng)新解決大模型應(yīng)用的關(guān)鍵堵點(diǎn)，其發(fā)布的大模型混合云十大創(chuàng)新技術(shù)就包括了除云邊協(xié)同、數(shù)據(jù)存儲之外還有增強(qiáng)AI網(wǎng)絡(luò)、算子加速、統(tǒng)一數(shù)據(jù)編碼、多樣性算力調(diào)度等等。

　　事實(shí)上，拋開華為云提出的大模型混合云這樣系統(tǒng)的概念不談，業(yè)內(nèi)對于云與大模型的結(jié)合已經(jīng)達(dá)成共識，并致力于提供各類技術(shù)方案，來解決大模型在云上的各種訓(xùn)練、推理、應(yīng)用等需求。

　　像京東云推出了一套大模型的完整工具，包括支撐大模型應(yīng)用的基礎(chǔ)設(shè)施——言犀AI開發(fā)計(jì)算平臺、向量數(shù)據(jù)庫、混合多云操作系統(tǒng)云艦、高性能存儲平臺云海、軟硬一體虛擬化引擎京剛等核心產(chǎn)品，對應(yīng)的就是在云的基礎(chǔ)上推動大模型的產(chǎn)業(yè)化發(fā)展。

　　大模型混合云的系統(tǒng)性突圍

　　亞馬遜云科技、華為云、京東云、百度智能云等諸多廠商面向今天爆發(fā)的大模型時(shí)代，無一不在致力于打造完整的技術(shù)解決方案，把底層、中間層、頂層等一系列的流程和服務(wù)包辦，從而讓大模型能在云上持續(xù)部署和應(yīng)用，釋放價(jià)值。

　　大模型混合云這一概念的提出，更是把云廠商的這種綜合解決方案帶向了更加系統(tǒng)的階段。而這種系統(tǒng)性的形成，不僅要求云廠商要在技術(shù)上聚力，還要面向場景進(jìn)行廣泛探索。

　　“對政府來說，他們關(guān)心的可能并不是簡單解決內(nèi)部節(jié)約一個(gè)客服人員、運(yùn)維人員的問題，而是更多站在產(chǎn)業(yè)布局角度，通過大模型帶動整個(gè)產(chǎn)業(yè)的發(fā)展。”眾數(shù)信科創(chuàng)始人兼CEO吳炳坤在接受媒體采訪時(shí)說道。

　　基于云服務(wù)行業(yè)的發(fā)展趨勢，這種產(chǎn)業(yè)的系統(tǒng)性發(fā)展實(shí)際上就需要借助云技術(shù)的系統(tǒng)性升級來實(shí)現(xiàn)——這是一種大格局的體現(xiàn)。對此，從傳統(tǒng)的多云策略來看，大模型混合云的提出更能展現(xiàn)出未來云服務(wù)的大格局。

　　多云策略側(cè)重于使用多個(gè)云服務(wù)提供商的服務(wù)，以避免供應(yīng)商鎖定，同時(shí)優(yōu)化成本或利用各服務(wù)商的優(yōu)勢。而大模型混合云雖然也可能涉及多個(gè)云環(huán)境，但其核心在于構(gòu)建一個(gè)高度整合、優(yōu)化的大規(guī)模數(shù)據(jù)處理和AI模型運(yùn)行環(huán)境，不單純?yōu)榱朔稚⒎��?wù)來源，而是為了實(shí)現(xiàn)特定的技術(shù)和業(yè)務(wù)目標(biāo)。

　　比如，華為云Stack的多云協(xié)同架構(gòu)，就允許行業(yè)大模型在公有云上進(jìn)行訓(xùn)練，同時(shí)還能結(jié)合企業(yè)本地?cái)?shù)據(jù)在混合云中微調(diào)，然后在邊緣云進(jìn)行推理，從而滿足不同場景下的計(jì)算需求。

　　這樣做的本質(zhì)不是為了分散“云”，而是基于原生混合云能力，讓用戶可以將大模型從本地延伸到邊緣和公有云，實(shí)現(xiàn)全場景跨云部署，達(dá)到應(yīng)用效率、安全性能等結(jié)果的最優(yōu)化。

　　因此，總結(jié)來說，大模型混合云是針對特定領(lǐng)域(特別是需要處理大規(guī)模數(shù)據(jù)和復(fù)雜AI模型的場景)優(yōu)化的混合云架構(gòu)，它集成了公有云的彈性與私有云的安全控制，以及可能的多云服務(wù)，以滿足高性能計(jì)算和AI應(yīng)用的特殊需求。

　　這種集成實(shí)現(xiàn)的技術(shù)系統(tǒng)性將在接下來的時(shí)間內(nèi)成就產(chǎn)業(yè)的系統(tǒng)性發(fā)展，也就是“不是簡單解決內(nèi)部節(jié)約一個(gè)客服人員、運(yùn)維人員的問題，而是更多站在產(chǎn)業(yè)布局角度，通過大模型帶動整個(gè)產(chǎn)業(yè)的發(fā)展。”

　　因此，基于這樣的系統(tǒng)性發(fā)展，接下來大模型+混合云的發(fā)展將形成了較為顯著的幾大趨勢。

　　一、在算力調(diào)度上，大模型的訓(xùn)練和推理通常需要大量的計(jì)算資源。隨著模型規(guī)模的增長，對算力的需求也在增加�；旌显骗h(huán)境下的算力調(diào)度和優(yōu)化技術(shù)會持續(xù)發(fā)展，以支持更高效的大模型訓(xùn)練和推理。

　　二、在云邊協(xié)同上，隨著物聯(lián)網(wǎng)(IoT)設(shè)備的普及，邊緣計(jì)算變得越來越重要�；旌显萍軜�(gòu)將支持更緊密的云邊協(xié)同，使大模型能夠在邊緣進(jìn)行實(shí)時(shí)推理，減少延遲并提高響應(yīng)速度。

　　三、在基礎(chǔ)設(shè)施上，AI-Native存儲和網(wǎng)絡(luò)技術(shù)將繼續(xù)演進(jìn)，以支持更高效的模型訓(xùn)練和推理過程。例如，高性能存儲支持多級緩存機(jī)制，實(shí)現(xiàn)Checkpoint秒級存取，以及訓(xùn)練故障分鐘級恢復(fù)。

　　四、在模型應(yīng)用上，企業(yè)可以通過混合云環(huán)境中的本地?cái)?shù)據(jù)對預(yù)訓(xùn)練的大模型進(jìn)行微調(diào)，以適應(yīng)特定業(yè)務(wù)場景的需求，同時(shí)保持?jǐn)?shù)據(jù)的私密性。

　　五、在業(yè)務(wù)部署上，不同行業(yè)(如金融、醫(yī)療、制造等)將利用混合云上的大模型來解決特定的業(yè)務(wù)挑戰(zhàn)，促進(jìn)業(yè)務(wù)創(chuàng)新和流程自動化。同時(shí)，大模型在混合云環(huán)境中更容易實(shí)現(xiàn)規(guī)模化部署，特別是在那些分布廣泛的企業(yè)和行業(yè)中，如能源、交通、制造等領(lǐng)域。

　　六、在生態(tài)建設(shè)上，大模型和混合云的結(jié)合將促進(jìn)更多生態(tài)合作伙伴的加入，共同開發(fā)解決方案和服務(wù)，擴(kuò)大整個(gè)生態(tài)系統(tǒng)。同時(shí)，隨著大模型混合云應(yīng)用的增多，相關(guān)標(biāo)準(zhǔn)和協(xié)議也將逐步制定和完善，以提高不同系統(tǒng)間的互操作性和兼容性。

　　寫在最后

　　現(xiàn)如今，大模型擁有了數(shù)億乃至數(shù)十億的參數(shù)量，這為生成式AI的發(fā)展提供了前所未有的計(jì)算規(guī)模和復(fù)雜度。更多的參數(shù)意味著模型可以學(xué)習(xí)到更深層次、更精細(xì)的數(shù)據(jù)特征，從而在文本生成、圖像合成、音頻創(chuàng)作等多個(gè)領(lǐng)域生成更高質(zhì)量和多樣性的內(nèi)容，很好地推動了生成式AI的高質(zhì)量發(fā)展。

　　而這樣的能力對于產(chǎn)業(yè)而言，正是未來產(chǎn)業(yè)轉(zhuǎn)型升級的一大關(guān)鍵。云計(jì)算同樣作為產(chǎn)業(yè)升級的底層技術(shù)，與生成式AI的協(xié)同將以更全面、完整的形態(tài)來實(shí)現(xiàn)這一目標(biāo)。但是，在這個(gè)過程中，云如何與生成式AI背后的大模型進(jìn)行結(jié)合，將是關(guān)鍵性問題。

　　生成式AI這趟“順風(fēng)車”，亞馬遜云科技、華為云、京東云、百度智能云等云廠商都想搭，但是搭起來卻是得費(fèi)些心思咯。