大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂2mm²芯片點(diǎn)亮盲人黑暗世界!馬斯克前搭檔出手,失明81%也能閱讀了蘋果智能上線!海外網(wǎng)友狂給差評(píng):GPT套殼?!紫光國(guó)微發(fā)布Q3財(cái)報(bào) 前三季度實(shí)現(xiàn)營(yíng)收42.63億元打造小微企業(yè)數(shù)智服務(wù)“新樣板”,暢捷通攜手伙伴共筑融合生態(tài)蘋果2024款Mac mini發(fā)布,4499元起光線傳媒:前三季度凈利潤(rùn)4.61億元 同比增長(zhǎng)25.08%2024年粵港澳大灣區(qū)人工智能產(chǎn)業(yè)大會(huì) 首日活動(dòng)圓滿成功AMD Q3收入68.2億美元?jiǎng)?chuàng)下新高,預(yù)計(jì)Q4收入約75億美元《星鳴特攻》失利,索尼關(guān)閉 Firewalk Studios機(jī)械革命蛟龍16 Pro只要5037元 京東11.11購(gòu)3C數(shù)碼又便宜又好綠盟科技發(fā)布三季度報(bào)告,收入略增,虧損收窄,經(jīng)營(yíng)性凈現(xiàn)金流同比翻倍對(duì)話高通孟樸:自研Oryon CPU背后,是移動(dòng)計(jì)算邊界的再定義金磚大賽之元宇宙3D數(shù)字內(nèi)容設(shè)計(jì)創(chuàng)作賽發(fā)布3D協(xié)同設(shè)計(jì)實(shí)訓(xùn)平臺(tái),考察學(xué)生3D內(nèi)容在線編輯創(chuàng)作力福特汽車 2024 年第三季度營(yíng)收 460 億美元2024年胡潤(rùn)百富榜:張一鳴首次成為中國(guó)首富 雷軍排名上升15位消息稱臺(tái)積電擬收購(gòu)更多群創(chuàng)工廠擴(kuò)產(chǎn)先進(jìn)封裝小米15手機(jī)亮銀版公布,今晚 7 點(diǎn)發(fā)布Omdia觀點(diǎn):目錄管理對(duì)于電信運(yùn)營(yíng)商擴(kuò)大市場(chǎng)至關(guān)重要消息稱蘋果M5芯片預(yù)計(jì)明年年底推出,采用臺(tái)積電3nm制程
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    合合信息發(fā)布大模型加速器,破解國(guó)內(nèi)大模型產(chǎn)業(yè)“語(yǔ)料荒”難題

    2024年09月19日 17:01:53   來(lái)源:Citnews中文科技資訊

      近日,合合信息在WAIC 2024上發(fā)布了用于大模型語(yǔ)料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。合合信息的思路是,從“煉丹”源頭的燃料出發(fā),通過(guò)標(biāo)準(zhǔn)化平臺(tái)進(jìn)行語(yǔ)料結(jié)構(gòu)化,提高數(shù)據(jù)預(yù)訓(xùn)練效率,幫助大模型廠商達(dá)成有效的模型性能提升和迭代。

      國(guó)內(nèi)的大模型產(chǎn)業(yè)處于高速發(fā)展時(shí)期,面向各個(gè)細(xì)分領(lǐng)域的大模型如雨后春筍辦涌現(xiàn),例如處理文檔的kimi、豆包,用于制作ppt的天工、萬(wàn)知,但做到與chatgpt媲美確非常困難。業(yè)內(nèi)人士對(duì)這個(gè)現(xiàn)象的解釋是,高質(zhì)量的中文數(shù)據(jù)集實(shí)在緊缺,訓(xùn)模型時(shí)只能直接購(gòu)買外文標(biāo)注數(shù)據(jù)集或者直接采集開源的國(guó)外語(yǔ)料庫(kù)作為外援。一旦“進(jìn)口語(yǔ)料”加入的訓(xùn)練參數(shù)量多了,就會(huì)出現(xiàn)跟ChatGPT相似的回答方式。

      國(guó)內(nèi)外大模型數(shù)據(jù)集主要為英文,均源于許多開源數(shù)據(jù)集進(jìn)行訓(xùn)練,如Common Crawl、RedPajama、BooksCorpus、The Pile、ROOT等。這部分?jǐn)?shù)據(jù)雖然量多,但質(zhì)量上卻良莠不齊。一大優(yōu)質(zhì)的中文語(yǔ)料數(shù)據(jù),沉睡在報(bào)告、論文、報(bào)紙等文檔里。

      為緩解語(yǔ)料荒困境,合合信息推出了用于大模型語(yǔ)料訓(xùn)練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺(tái)。在訓(xùn)練前期階段,使用“加速器”文檔解析引擎,破解書籍、論文、研報(bào)等文檔中的版面解析障礙,為模型訓(xùn)練與應(yīng)用輸送純凈的“燃料”;同時(shí),“加速器”搭載了文本向量化模型,以解決大模型“已讀亂回”的幻覺(jué)問(wèn)題。

      合合信息此次發(fā)布的大模型“加速器TextIn智能文檔處理平臺(tái),由TextIn文檔解析、TextIn Embedding(文本向量數(shù)據(jù)模型)以及OpenKIE三大工具組成。從獲得海量數(shù)據(jù)到高價(jià)值數(shù)據(jù),預(yù)訓(xùn)練階段的語(yǔ)料處理十分關(guān)鍵。這意味著,作為一個(gè)平臺(tái)型產(chǎn)品,向大模型廠商和開發(fā)者“遞鏟子”,其基礎(chǔ)的工具能力是否足夠扎實(shí),關(guān)系到種子用戶的購(gòu)買意愿。

      基于這一思路,合合信息在產(chǎn)品設(shè)計(jì)階段提前做了幾件事。首先是場(chǎng)景前置,在未個(gè)性化階段提前給模型補(bǔ)充大量?jī)?yōu)質(zhì)的垂直領(lǐng)域Know-how,比如金融、法律、教育等,關(guān)注特定行業(yè)中的普遍痛點(diǎn),基于用戶訴求在產(chǎn)品設(shè)計(jì)時(shí)提供解決方案,進(jìn)而提高大模型加速器在核心應(yīng)用場(chǎng)景中表現(xiàn)能力。二是專注產(chǎn)品化,不只對(duì)客戶提供通用場(chǎng)景的API,而是提供更多工具型產(chǎn)品,降低應(yīng)用門檻,做到開箱即用,這對(duì)技術(shù)資源較為薄弱的傳統(tǒng)企業(yè)、中小創(chuàng)業(yè)公司或個(gè)人開發(fā)者來(lái)說(shuō)非常友好。

      大模型變革的浪潮里,以數(shù)據(jù)為中心,成為行業(yè)人士從事大模型研發(fā)和應(yīng)用的共識(shí)。具體到實(shí)踐層面,大模型上游階段在文本解析、邏輯版面、文檔問(wèn)答等方面,仍有很多的提升工作可以做。

      未來(lái),合合信息將繼續(xù)依托技術(shù)優(yōu)勢(shì),面向人工智能產(chǎn)業(yè)的不足提出解決辦法,助力大模型產(chǎn)業(yè)持續(xù)健康發(fā)展。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    [No. S013]
    分享到微信

    即時(shí)

    新聞

    敢闖技術(shù)無(wú)人區(qū) TCL實(shí)業(yè)斬獲多項(xiàng)AWE 2024艾普蘭獎(jiǎng)

    近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會(huì)在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會(huì)即將開幕

    由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。