科技媒體 marktechpost 昨日(9 月 23 日)發(fā)布博文,報(bào)道稱 OpenAI 在 Hugging Face 上發(fā)布了多語言大規(guī)模多任務(wù)語言理解(MMMLU)數(shù)據(jù)集。
背景
隨著語言模型日益強(qiáng)大,評(píng)估其在不同語言、認(rèn)知和文化背景下的能力已成為當(dāng)務(wù)之急。
OpenAI 決定推出 MMMLU 數(shù)據(jù)集,通過提供強(qiáng)大的多語言和多任務(wù)數(shù)據(jù)集,來評(píng)估大型語言模型(LLMs)在各種任務(wù)中的性能,從而應(yīng)對(duì)這一挑戰(zhàn)。
MMMLU 數(shù)據(jù)集簡介
MMMLU 數(shù)據(jù)集包含一系列問題,涵蓋各種主題、學(xué)科領(lǐng)域和語言。其結(jié)構(gòu)旨在評(píng)估模型在不同研究領(lǐng)域中需要常識(shí)、推理、解決問題和理解能力的任務(wù)中的表現(xiàn)。
MMMLU 的創(chuàng)建反映了 OpenAI 對(duì)測(cè)量模型實(shí)際能力的關(guān)注,尤其是在 NLP 研究中代表性不足的語言,納入多種語言可確保模型在使用英語時(shí)有效,并能勝任全球使用的其他語言。
MMMLU 數(shù)據(jù)集核心
涵蓋范圍廣
MMMLU 數(shù)據(jù)集是同類基準(zhǔn)中最廣泛的基準(zhǔn)之一,涵蓋了從高中問題到高級(jí)專業(yè)和學(xué)術(shù)知識(shí)的多種任務(wù)。
研究人員和開發(fā)人員在利用 MMMLU 數(shù)據(jù)集過程中,可以調(diào)用不同難度的問題,測(cè)試大預(yù)言模型在人文、科學(xué)和技術(shù)主題下的表現(xiàn)。
更考驗(yàn)深層認(rèn)知
這些問題都經(jīng)過精心策劃,以確保對(duì)模型的測(cè)試不局限于表面理解,而是深入研究更深層次的認(rèn)知能力,包括批判性推理、解釋和跨領(lǐng)域解決問題的能力。
多語言支持
MMMLU 數(shù)據(jù)集的另一個(gè)值得注意的特點(diǎn)是它的多語言范圍,支持簡體中文。該數(shù)據(jù)集支持多種語言,可以進(jìn)行跨語言的綜合評(píng)估。
然而,以英語數(shù)據(jù)訓(xùn)練的模型在使用其他語言時(shí)往往需要幫助來保持準(zhǔn)確性和連貫性。MMMLU 數(shù)據(jù)集提供了一個(gè)框架,用于測(cè)試傳統(tǒng)上在 NLP 研究中代表性不足的語言模型,從而彌補(bǔ)了這一差距。
MMMLU 數(shù)據(jù)集意義
MMMLU 的發(fā)布解決了人工智能界的幾個(gè)相關(guān)挑戰(zhàn)。它提供了一種更具多樣性和文化包容性的方法來評(píng)估模型,確保它們?cè)诟哔Y源和低資源語言中都能表現(xiàn)出色。
MMMLU 的多任務(wù)特性突破了現(xiàn)有基準(zhǔn)的界限,它可以評(píng)估同一模型在不同任務(wù)中的表現(xiàn),從類似瑣事的事實(shí)回憶到復(fù)雜的推理和問題解決。這樣就能更細(xì)致地了解模型在不同領(lǐng)域的優(yōu)缺點(diǎn)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
特斯拉最近發(fā)布了一段視頻,展示了其人形機(jī)器人Optimus(擎天柱)的新功能和進(jìn)展,試圖回應(yīng)外界對(duì)其智能水平的質(zhì)疑。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。