大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂2mm²芯片點(diǎn)亮盲人黑暗世界!馬斯克前搭檔出手,失明81%也能閱讀了蘋果智能上線!海外網(wǎng)友狂給差評(píng):GPT套殼?!紫光國(guó)微發(fā)布Q3財(cái)報(bào) 前三季度實(shí)現(xiàn)營(yíng)收42.63億元打造小微企業(yè)數(shù)智服務(wù)“新樣板”,暢捷通攜手伙伴共筑融合生態(tài)蘋果2024款Mac mini發(fā)布,4499元起光線傳媒:前三季度凈利潤(rùn)4.61億元 同比增長(zhǎng)25.08%2024年粵港澳大灣區(qū)人工智能產(chǎn)業(yè)大會(huì) 首日活動(dòng)圓滿成功AMD Q3收入68.2億美元?jiǎng)?chuàng)下新高,預(yù)計(jì)Q4收入約75億美元《星鳴特攻》失利,索尼關(guān)閉 Firewalk Studios機(jī)械革命蛟龍16 Pro只要5037元 京東11.11購(gòu)3C數(shù)碼又便宜又好綠盟科技發(fā)布三季度報(bào)告,收入略增,虧損收窄,經(jīng)營(yíng)性凈現(xiàn)金流同比翻倍對(duì)話高通孟樸:自研Oryon CPU背后,是移動(dòng)計(jì)算邊界的再定義金磚大賽之元宇宙3D數(shù)字內(nèi)容設(shè)計(jì)創(chuàng)作賽發(fā)布3D協(xié)同設(shè)計(jì)實(shí)訓(xùn)平臺(tái),考察學(xué)生3D內(nèi)容在線編輯創(chuàng)作力福特汽車 2024 年第三季度營(yíng)收 460 億美元2024年胡潤(rùn)百富榜:張一鳴首次成為中國(guó)首富 雷軍排名上升15位消息稱臺(tái)積電擬收購(gòu)更多群創(chuàng)工廠擴(kuò)產(chǎn)先進(jìn)封裝小米15手機(jī)亮銀版公布,今晚 7 點(diǎn)發(fā)布Omdia觀點(diǎn):目錄管理對(duì)于電信運(yùn)營(yíng)商擴(kuò)大市場(chǎng)至關(guān)重要消息稱蘋果M5芯片預(yù)計(jì)明年年底推出,采用臺(tái)積電3nm制程
  • 首頁 > 云計(jì)算頻道 > 云計(jì)算

    OpenAI開啟推理算力新Scaling Law,AI PC和CPU的機(jī)會(huì)來了

    2024年09月27日 16:03:10   來源:Citnews中文科技資訊

      OpenAI的新模型o1,可謂是開啟了Scaling Law的新篇章——

      隨著更多的強(qiáng)化學(xué)習(xí)(訓(xùn)練時(shí)計(jì)算)和更多的思考時(shí)間(測(cè)試時(shí)計(jì)算),o1在邏輯推理能力上已經(jīng)達(dá)到了目前天花板級(jí)別。

      尤其是在北大給出的一項(xiàng)評(píng)測(cè)中,**o1-mini**模型的跑分比o1-preview還要高:

      這就展示一種新的思路和可能性——

      **小模型專門加強(qiáng)推理能力,放棄在參數(shù)中存儲(chǔ)大量世界知識(shí)。**

      OpenAI科學(xué)家趙盛佳給出的解釋是:

      >o1-mini是高度專業(yè)化的模型,只關(guān)注少部分能力可以更深入。

      但與此同時(shí),也出現(xiàn)了另一個(gè)問題:

      若是想讓AI同時(shí)掌握高階推理能力和大量知識(shí)的任務(wù)應(yīng)該怎么辦?

      于是乎,技術(shù)的聚光燈再次對(duì)焦到了**大模型和RAG的組合**。

      具體而言,向量數(shù)據(jù)庫(kù)讓大模型能夠快速有效地檢索和處理大量的向量數(shù)據(jù),為大模型提供了更豐富和準(zhǔn)確的信息,從而增強(qiáng)了模型的整體性能和應(yīng)用范圍。

      可以說是讓大模型有了“好記憶”,減少出現(xiàn)答非所問的情況。

      而且這一次,小模型專業(yè)化的新趨勢(shì)還對(duì)RAG中的向量數(shù)據(jù)庫(kù)提出了更高的要求:

      一方面是小模型存儲(chǔ)的知識(shí)少了,對(duì)于外部知識(shí)存儲(chǔ)和檢索的質(zhì)量要求就更高。

      另一方面是AI應(yīng)用落地的腳步加快,面對(duì)多用戶、高并發(fā)的場(chǎng)景,對(duì)整個(gè)系統(tǒng)的性能也更高。

      在此背景下,業(yè)界先進(jìn)企業(yè)正將目光投向更強(qiáng)大的**分布式向量數(shù)據(jù)庫(kù)**。

      向量數(shù)據(jù)庫(kù)代表玩家**星環(huán)科技**就和**英特爾**強(qiáng)強(qiáng)聯(lián)手,對(duì)此提出了一種新解法:

      用更強(qiáng)性能的數(shù)據(jù)中心CPU與酷睿™ Ultra支持的AI PC組合,加上專門優(yōu)化過的分布式向量數(shù)據(jù)庫(kù),提供更經(jīng)濟(jì)、更通用的方案,有效解決企業(yè)部署大模型的瓶頸問題。

      分布式向量數(shù)據(jù)庫(kù)推動(dòng)大模型應(yīng)用落地

      正如我們剛才提到的,RAG的重要組成部分就是外掛的專業(yè)知識(shí)庫(kù),因此這個(gè)知識(shí)庫(kù)中需得涵蓋能夠精準(zhǔn)回答問題所需要的專業(yè)知識(shí)和規(guī)則。

      而要構(gòu)建這個(gè)外掛知識(shí)庫(kù),常見的方法包括向量數(shù)據(jù)庫(kù)、知識(shí)圖譜,甚至也可以直接把ElasticSearch數(shù)據(jù)接入。

      但由于向量數(shù)據(jù)庫(kù)具備對(duì)高維向量的檢索能力,能夠跟大模型很好地匹配,效果也較好,所以成為了目前主流的形式。

      向量數(shù)據(jù)庫(kù)可以對(duì)向量化后的數(shù)據(jù)進(jìn)行高效的存儲(chǔ)、處理與管理。

      如下圖展示的那樣,數(shù)據(jù)向量化過程利用了諸如詞向量模型和卷積神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)。

      通過Embedding過程,這些技術(shù)能夠?qū)⑽谋、圖像、音視頻等多種形式的數(shù)據(jù)轉(zhuǎn)換成向量形式,并將其存儲(chǔ)在向量數(shù)據(jù)庫(kù)中。

      至于向量數(shù)據(jù)庫(kù)的查詢功能,則是通過計(jì)算向量間的相似度來實(shí)現(xiàn)的。

      星環(huán)科技所提出的創(chuàng)新成果,便是**無涯·問知Infinity Intelligence**。

      這是一款基于星環(huán)大模型底座,結(jié)合個(gè)人知識(shí)庫(kù)、企業(yè)知識(shí)庫(kù)、法律法規(guī)、財(cái)經(jīng)等多種知識(shí)源的企業(yè)級(jí)垂直領(lǐng)域問答產(chǎn)品,可以實(shí)現(xiàn)企業(yè)級(jí)智能問答。

      例如面對(duì)“國(guó)家大基金三期會(huì)投向哪些領(lǐng)域”這樣非常專業(yè)的問題,無涯·問知不僅可以輕松作答,還能提供相關(guān)圖譜、關(guān)鍵信息等:

      而且還能圖文并茂地展示作答:

      上傳本地的視頻文件等,無涯·問知“唰唰唰”地就可以做總結(jié):

      整體來看,無涯·問知在**個(gè)人知識(shí)庫(kù)**上,支持用戶一鍵上傳文檔、表格、圖片、音視頻等多模態(tài)數(shù)據(jù),快速實(shí)現(xiàn)海量多模知識(shí)的檢索與智能問答。

      在**企業(yè)知識(shí)庫(kù)**方面,則是通過管理端構(gòu)建企業(yè)知識(shí)庫(kù)后,員工可以基于企業(yè)知識(shí)庫(kù)進(jìn)行問答,知識(shí)庫(kù)作為企業(yè)內(nèi)部的知識(shí)共享平臺(tái),促進(jìn)不同團(tuán)隊(duì)和部門之間的協(xié)作和信息交流。

      除此之外,無涯·問知內(nèi)置了各大交易所的交易規(guī)則、監(jiān)管要求等常見的**法律法規(guī)知識(shí)**,用戶可針對(duì)法律法規(guī)的具體條款、監(jiān)管規(guī)則、試行辦法等提出問題,無涯·問知將提供法律風(fēng)險(xiǎn)預(yù)警以及應(yīng)對(duì)建議。

      它還內(nèi)置了豐富的上市公司財(cái)報(bào)和產(chǎn)業(yè)鏈圖譜數(shù)據(jù),能夠?yàn)榻鹑跈C(jī)構(gòu)提供全面深入的**投資研究分析工具**。

      即便是面對(duì)金融、法律等眾多既要求時(shí)效性、又要求數(shù)據(jù)隱私的行業(yè),星環(huán)也有無需上云聯(lián)網(wǎng)的無涯問知AI PC版,它可以在配備英特爾® 酷睿™ Ultra的主流個(gè)人電腦上,基于集成顯卡和NPU流暢運(yùn)行。

      它不僅具備強(qiáng)大的本地化向量庫(kù),支持多格式、不限長(zhǎng)度的文件資料入庫(kù),還支持影、音、圖、文等多模態(tài)數(shù)據(jù)的“知識(shí)化”處理,以及“語義化”查詢和應(yīng)用能力,極大地豐富了知識(shí)獲取和應(yīng)用場(chǎng)景。

      無涯·問知可以算是星環(huán)知識(shí)平臺(tái)Transwarp Knowledge Hub中重要的組成部分,其為用戶打通了從人工智能基礎(chǔ)設(shè)施建設(shè)到大數(shù)據(jù)、人工智能等研發(fā)應(yīng)用的完整鏈條。

      值得一提的是,TKH同樣提供了AI PC版本,基于本地大模型技術(shù),能夠回答用戶各類問題,為用戶帶來文檔總結(jié)、知識(shí)問答等全新體驗(yàn),同時(shí)保障用戶隱私數(shù)據(jù)安全。

      AI PC版本星環(huán)大模型知識(shí)庫(kù)提供本地大模型和遠(yuǎn)程大模型供選擇,簡(jiǎn)單問題可以由本地模型快速處理,而復(fù)雜疑難問題則可以提交給云端大模型進(jìn)行深入分析。

      這種彈性擴(kuò)展的能力,確保了企業(yè)在面對(duì)不同挑戰(zhàn)時(shí),都能夠獲得足夠的計(jì)算支持。

      而這一系列產(chǎn)品之所以能夠做到在云端和本地都能提供高效的知識(shí)管理和智能化工具,離不開星環(huán)科技自研的幾個(gè)關(guān)鍵技術(shù)。

      首先就是基于星環(huán)自研**向量數(shù)據(jù)庫(kù)Hippo的向量索引技術(shù)**,能夠在龐大的數(shù)據(jù)集中快速精準(zhǔn)地召回相關(guān)信息,提升了信息檢索的速度和準(zhǔn)確性,使模型在處理查詢時(shí)更加高效。

      其次是利用了**圖計(jì)算框架**,讓大模型能夠識(shí)別實(shí)體間的多層次關(guān)系,從而進(jìn)行深度的關(guān)聯(lián)分析,提供了更為深入和準(zhǔn)確的洞察結(jié)論。

      在**數(shù)據(jù)**方面,覆蓋官方資訊、門戶類網(wǎng)站、自媒體財(cái)經(jīng)等1600多個(gè)信息源,涵蓋了全市場(chǎng)的各類宏觀、價(jià)格指數(shù)以及大部分新聞數(shù)據(jù)。

      不僅包括通常渠道可獲取的數(shù)據(jù),還包含高可信度、擁有第一手資料的新聞合作商數(shù)據(jù),同時(shí)也對(duì)所有官方政策數(shù)據(jù)進(jìn)行實(shí)時(shí)全覆蓋。

      但隨著大模型的發(fā)展,數(shù)據(jù)規(guī)?芍^是極速暴增,這就對(duì)數(shù)據(jù)庫(kù)和智能問答的性能提出更高要求。

      因此,數(shù)據(jù)壓縮、算力提升也成為了各個(gè)大模型玩家發(fā)力的關(guān)鍵點(diǎn)。

      在這方面,星環(huán)科技與英特爾深度合作,從端側(cè)的AIPC到后端的數(shù)據(jù)中心和云,通過軟硬協(xié)同優(yōu)化為大模型的應(yīng)用落地打造了可行的方案。

      CPU助力向量數(shù)據(jù)庫(kù)應(yīng)用性能大幅提升

      向量數(shù)據(jù)庫(kù)搭配CPU,其實(shí)本來就已經(jīng)是行業(yè)內(nèi)現(xiàn)階段的主流共識(shí)。

      究其原因,向量相似度檢索、高密度向量聚類等都屬于CPU密集型負(fù)載。因此,CPU的性能至關(guān)重要。

      第五代英特爾® 至強(qiáng)® 可擴(kuò)展處理器,正是帶來了一系列面向AI時(shí)代的關(guān)鍵特性更新。

      首先,它搭載了更大容量的高帶寬內(nèi)存,有效緩解了向量數(shù)據(jù)庫(kù)中數(shù)據(jù)密集型工作負(fù)載的內(nèi)存墻問題。

      此外,它還集成了英特爾® AMX(高級(jí)矩陣擴(kuò)展)加速引擎,能高效地處理向量數(shù)據(jù)庫(kù)查詢所需的矩陣乘法運(yùn)算,并在單次運(yùn)算中處理更大矩陣。

      對(duì)于云端部署的版本來說,搭載第五代至強(qiáng)® 處理器后,星環(huán)Transwarp Hippo的整體性能較第三代提升高達(dá)2.07倍。

      那么本地AI算力,是否能支撐在AI PC上使用大模型來支持企業(yè)應(yīng)用呢?

      星環(huán)嘗試后給出了答案:完全夠用。

      從AI PC誕生到現(xiàn)在近一年時(shí)間,整體AI算力提升了200%多,能耗又降低了50%。

      這背后就要?dú)w功于英特爾® 酷睿™ Ultra系列CPU的升級(jí)改進(jìn)了。

      在最新的英特爾® 酷睿™ Ultra 處理器 (第二代)200V系列處理器支持下,整個(gè)AI PC平臺(tái)算力最高能達(dá)到120 TOPS。

      特別是其中搭載的第四代NPU,性能比上一代強(qiáng)大4倍,非常適合在節(jié)能的同時(shí)運(yùn)行持續(xù)的AI工作負(fù)載。

      在軟件層面,英特爾和星環(huán)合作,還對(duì)數(shù)據(jù)庫(kù)底層做了性能優(yōu)化。

      通過水平擴(kuò)展架構(gòu)、基于CPU的向量化指令優(yōu)化、多元芯片加速等技術(shù),有助于分布式向量數(shù)據(jù)庫(kù)發(fā)揮并行檢索能力,為海量、多維向量處理提供強(qiáng)大算力支持。

      經(jīng)過優(yōu)化后的Transwarp Hippo實(shí)現(xiàn)了海量、高維度向量數(shù)據(jù)處理,并具備低時(shí)延、高精確度等優(yōu)勢(shì)。

      同時(shí)提升了Transwarp Hippo了服務(wù)器節(jié)點(diǎn)的性能密度,在性能提升的同時(shí),具備更高的每瓦性能,有助于節(jié)省單位性能的能耗支出,最終體現(xiàn)為降低總體擁有成本 (TCO)。

      存算融合趨勢(shì)明顯,CPU大有可為

      隨著OpenAI o1系列為代表的大模型不斷革新算法,大模型推理時(shí)的算力消耗正在飛速攀升,對(duì)支撐大模型運(yùn)轉(zhuǎn)的基礎(chǔ)設(shè)施平臺(tái)提出了更高的要求。

      特別是對(duì)于需要頻繁訪問外部知識(shí)庫(kù)的大模型應(yīng)用,存儲(chǔ)與計(jì)算深度融合儼然成為當(dāng)務(wù)之急。

      在這一技術(shù)變革大潮中,CPU成為其中關(guān)鍵角色之一。

      此外,英特爾基于CPU的解決方案還為用戶帶來了更具成本優(yōu)勢(shì)的選擇。由于通用CPU擁有成熟、完善的供應(yīng)鏈體系和生態(tài)支持,企業(yè)用戶可以獲得穩(wěn)定可靠的算力供給。

      同時(shí),英特爾® 至強(qiáng)® 和酷睿™ 處理器能同時(shí)覆蓋端側(cè)和云側(cè)的算力需求,為不同的應(yīng)用場(chǎng)景提供強(qiáng)大的支持。

      展望未來,存算一體化的趨勢(shì)將愈發(fā)明顯。

      從大模型應(yīng)用的角度看,知識(shí)檢索和AI推理將不再?zèng)芪挤置,而是深度交織、彼此?qiáng)化。

      在這樣一個(gè)智能融合的未來圖景中,CPU作為連接存儲(chǔ)、網(wǎng)絡(luò)和各類加速器的紐帶,其地位將變得舉足輕重。(文章來源:量子位,作者:夢(mèng)晨 金磊”)

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    [No. S013]
    分享到微信

    即時(shí)

    新聞

    敢闖技術(shù)無人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎(jiǎng)

    近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會(huì)在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會(huì)即將開幕

    由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。