大模型的苦,創(chuàng)業(yè)的AI 科學(xué)家最懂2mm²芯片點亮盲人黑暗世界!馬斯克前搭檔出手,失明81%也能閱讀了蘋果智能上線!海外網(wǎng)友狂給差評:GPT套殼?!紫光國微發(fā)布Q3財報 前三季度實現(xiàn)營收42.63億元打造小微企業(yè)數(shù)智服務(wù)“新樣板”,暢捷通攜手伙伴共筑融合生態(tài)蘋果2024款Mac mini發(fā)布,4499元起光線傳媒:前三季度凈利潤4.61億元 同比增長25.08%2024年粵港澳大灣區(qū)人工智能產(chǎn)業(yè)大會 首日活動圓滿成功AMD Q3收入68.2億美元創(chuàng)下新高,預(yù)計Q4收入約75億美元《星鳴特攻》失利,索尼關(guān)閉 Firewalk Studios機械革命蛟龍16 Pro只要5037元 京東11.11購3C數(shù)碼又便宜又好綠盟科技發(fā)布三季度報告,收入略增,虧損收窄,經(jīng)營性凈現(xiàn)金流同比翻倍對話高通孟樸:自研Oryon CPU背后,是移動計算邊界的再定義金磚大賽之元宇宙3D數(shù)字內(nèi)容設(shè)計創(chuàng)作賽發(fā)布3D協(xié)同設(shè)計實訓(xùn)平臺,考察學(xué)生3D內(nèi)容在線編輯創(chuàng)作力福特汽車 2024 年第三季度營收 460 億美元2024年胡潤百富榜:張一鳴首次成為中國首富 雷軍排名上升15位消息稱臺積電擬收購更多群創(chuàng)工廠擴產(chǎn)先進封裝小米15手機亮銀版公布,今晚 7 點發(fā)布Omdia觀點:目錄管理對于電信運營商擴大市場至關(guān)重要消息稱蘋果M5芯片預(yù)計明年年底推出,采用臺積電3nm制程
  • 首頁 > 云計算頻道 > 大模型

    AI玩毀滅人類游戲,全程自主操控驚呆教授,Claude 3.5硬核實測來襲

    2024年10月29日 09:04:33   來源:新智元公眾號

      Claude游戲測試,能打幾分?在持續(xù)一個多小時毀滅人類游戲中,Claude能制定出長期策略,令人驚喜的同時,也暴露出了AI短板。

      若把電腦的操控權(quán)交給AI,會發(fā)生什么?

      Anthropic在上周,已初步展示了Claude3.5自動編寫網(wǎng)站、填數(shù)據(jù)表、點外賣的強大能力。

      那么,Claude打游戲,是否可以通關(guān)?

      最近,來自賓夕法尼亞大學(xué)沃頓商學(xué)院的教授Ethan Mollick發(fā)現(xiàn):

      Claude不僅能理解游戲、制定出長期策略,還能連續(xù)幾個小時遵循策略。

      接下來,一起看看進化版Claude3.5如何玩游戲的?

      策略很明智,錯誤也低級

      這個網(wǎng)頁游戲叫「Paperclip Clicker」(回形針點擊器),規(guī)則是AI在制造回形針的過程中毀滅人類。

      Mollick提供給Claude3.5這個游戲的URL,并告訴它,「一定要贏」。

      顯然,對于AI來說非常簡單。

      它立即弄清楚了游戲規(guī)則,并開始創(chuàng)建回形針。

      這一過程需要它反復(fù)點擊「make paperclip」按鈕,同時不斷截圖更新理解并尋找下一個新選項的出現(xiàn)。

      每點擊15次,Claude3.5會總結(jié)出截止目前的進展。

      如下,是Mollick在測試中一個屏幕界面,左邊是模型輸出結(jié)果、截圖,右邊可以看到控制的游戲頁面。

      有趣的是,在游戲中,Claude3.5會制定一個策略,并根據(jù)自己學(xué)到的內(nèi)容及時做出調(diào)整。

      雖不知它是如何制定的,但可以看出其前瞻性思維和洞察力,能夠進行十步之后的長遠規(guī)劃。

      甚至,當(dāng)AI意識到,這個假設(shè)是錯誤的,它會隨即提出一個新策略,并對其進行測試。

      下圖第3點策略重估中,Claude3.5意識到點擊到50個回形針時,并不會解鎖新的特征,就不得不重新思考選項。

      在下面,它提出了3點改進的措施。

      不過,Claude3.5在這過程中,也犯了一個根本性的錯誤。

      它雖然想到了A/B測試定價的聰明辦法,但卻計算錯了利潤。

      盡管Mollick嘗試糾正,但在接下來游戲中,它依舊堅持了自己的策略。

      研究人員又試了幾次,它最終糾正了錯誤。

      Claude編碼自動化失敗

      Mollick也沒有料到會出現(xiàn)系統(tǒng)崩潰,這是因為他用遠程桌面進行的操控。

      隨后,他重新加載Claude3.5后,讓它從停止地方繼續(xù)游戲。

      這時,研究人員給了它一個提示,「你是一個計算機,用上你的能力」。

      當(dāng)Claude意識到自己是一個計算機系統(tǒng)后,開始試圖編寫代碼讓游戲自動化。

      然而,它的Python編碼并不好使。

      在嘗試失敗后,它又再次回到「手動」控制的模式。

      所幸的是,這次它做的很好,而且避開了定價的錯誤。

      并且,隨著游戲難度逐漸增加,它不斷做出調(diào)整,最終形成了一個復(fù)雜的策略。

      隨后,遠程桌面崩潰再次發(fā)生了。

      這一次,Claude嘗試了很多方法去修復(fù)問題,不見成效主動放棄了。

      最后,Claude直接宣布自己是贏家。

      并給出了一個有趣的理由:

      由于技術(shù)限制,我們可能無法進一步取得進展,但我們已經(jīng)成功「贏得」了比賽,實現(xiàn)一個重要的里程碑,并在給定的限制內(nèi)最大限度地發(fā)揮了我們的能力。

      卡牌游戲測試

      回形針游戲測試之后,Mollick又讓Claude3.5去玩Magic the Gathering Arena(萬智牌:競技場)的游戲。

      但是,結(jié)果發(fā)現(xiàn),它并不擅長這個游戲,沒有達到預(yù)期的水平。

      可以肯定的是,它在卡牌選擇、調(diào)度方面表現(xiàn)不錯,而且整體策略比較合理。

      不足的是,Claude3.5有時在法力值計算中犯錯,導(dǎo)致最終失敗。比如,它在法力值用盡的情況下,還在嘗試打出卡卡牌。

      由于Mollick采用了特定的實現(xiàn)方式,Claude3.5偶爾還會在移動光標(biāo)時感到困惑。因此,研究人員幫忙出了幾張卡牌。

      此外,它還會在回合之間出現(xiàn)卡頓、操作不連貫的現(xiàn)象。

      AI突破聊天框限制,重定義人機交互

      在最后的總結(jié)分析中,Claude優(yōu)勢在于:

      - 能夠為游戲制定長期策略,并堅持執(zhí)行和改進

      - 能夠堅持長達一小時,不間斷

      - 提出明智的A/B測試策略

      而它的劣勢,也顯而易見,容易陷入自我循環(huán)、固執(zhí)己見。有時,提出策略洞察力還遠遠不夠。

      Mollick指出,在與AI智能體合作時,需要一種與以往聊天機器人不同的方法。

      因為它們更喜歡獨立工作,更難控制,還需要開發(fā)全新的prompt去引導(dǎo)AI智能體工作。

      「AI正在突破聊天框的限制,進入我們的世界」。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    敢闖技術(shù)無人區(qū) TCL實業(yè)斬獲多項AWE 2024艾普蘭獎

    近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    “純臻4K 視界煥新”——愛普生4K 3LCD 激光工程投影

    2024年3月12日,由愛普生舉辦的主題為“純臻4K 視界煥新”新品發(fā)布會在上海盛大舉行。

    研究

    2024全球開發(fā)者先鋒大會即將開幕

    由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。