谷歌展示首個(gè)大模型實(shí)時(shí)游戲模擬引擎，重塑游戲開(kāi)發(fā)流程

　　傳統(tǒng)的游戲引擎依賴手動(dòng)編碼，通過(guò)循環(huán)處理用戶輸入、更新游戲狀態(tài)來(lái)完成游戲的開(kāi)發(fā)，這種方法費(fèi)時(shí)且成本非常高。

　　谷歌的研究人員基于開(kāi)源擴(kuò)散模型Stable Diffusion1.4開(kāi)發(fā)了實(shí)時(shí)游戲模擬引擎GameNGen，可以在單個(gè)TPU上以超過(guò)20幀每秒的速度交互式模擬了經(jīng)典射擊游戲《DOOM》。

　　隨后邀請(qǐng)了人類對(duì)GameNGen模擬的游戲進(jìn)行評(píng)估，結(jié)果顯示，人類幾乎無(wú)法分別出哪個(gè)一個(gè)是AI模擬的游戲，這是因?yàn)镚ameNGen在模擬游戲時(shí)，不只是簡(jiǎn)單地復(fù)制視覺(jué)效果，還能維持復(fù)雜的內(nèi)部狀態(tài)更新。

　　例如，可以正確地計(jì)算玩家的生命值、彈藥數(shù)量，攻擊敵人，破壞物體，打開(kāi)門等，并且這些狀態(tài)變化能夠持續(xù)多幀形成連貫的視覺(jué)效果，進(jìn)一步增強(qiáng)了模擬的真實(shí)性。

　　GameNGen模擬的經(jīng)典設(shè)計(jì)游戲《Doom》

　　雖然GameNGen的功能異常強(qiáng)大，但在架構(gòu)和訓(xùn)練方面并不復(fù)雜，主要由兩大部分組成。第一階段，通過(guò)訓(xùn)練一個(gè)智能體來(lái)模擬人類玩家的各種游戲行為，通過(guò)與游戲環(huán)境的交互，生成了一系列的動(dòng)作和觀察數(shù)據(jù)。

　　這些數(shù)據(jù)不僅包括玩家的輸入，按鍵和鼠標(biāo)移動(dòng)，還包括游戲的輸出，屏幕上渲染的像素等。該數(shù)據(jù)后續(xù)會(huì)被用來(lái)訓(xùn)練生成模型，使其能夠?qū)W習(xí)如何根據(jù)玩家的輸入和游戲的當(dāng)前狀態(tài)來(lái)預(yù)測(cè)游戲的下一幀。

　　為了使智能體更好地執(zhí)行多種動(dòng)作，研究人員還設(shè)置了獎(jiǎng)勵(lì)函數(shù)，包括玩家被擊中(-100分)、玩家死亡(-5000分)、擊中敵人(300分)、殺死敵人(1000分)、拾取物品 / 武器(100分)、發(fā)現(xiàn)秘密(500分)等。此外，為了鼓勵(lì)智能體流暢地模擬人類玩法，每個(gè)動(dòng)作會(huì)應(yīng)用4幀，并人為增加重復(fù)上一個(gè)動(dòng)作的概率。

　　第二階段，在訓(xùn)練生成模型時(shí)，研究人員選了開(kāi)源的擴(kuò)散模型Stable Diffusion v1.4作為基礎(chǔ)模型，并對(duì)其進(jìn)行了調(diào)整以適應(yīng)游戲模擬的復(fù)雜需求。通過(guò)編碼過(guò)去的幀和動(dòng)作來(lái)預(yù)測(cè)下一幀，該過(guò)程涉及到將過(guò)去的幀編碼到潛在空間，并將其與噪聲結(jié)合來(lái)生成新的幀。這種編碼和預(yù)測(cè)的過(guò)程是GameNGen能夠?qū)崟r(shí)生成高質(zhì)量游戲畫(huà)面的技術(shù)關(guān)鍵。

　　為了解決自回歸生成過(guò)程中可能出現(xiàn)的樣本質(zhì)量快速下降難題，研究人員引入了“噪聲增強(qiáng)”技術(shù)。這種方法通過(guò)在訓(xùn)練時(shí)向編碼幀中添加不同量的高斯噪聲，并在模型輸入中包含噪聲水平，使得網(wǎng)絡(luò)能夠在推理時(shí)校正之前幀中的錯(cuò)誤信息。也是保持長(zhǎng)時(shí)間軌跡穩(wěn)定性的重要方法，允許模型在生成過(guò)程中不斷校正和優(yōu)化其預(yù)測(cè)，從而保持生成畫(huà)面的連貫性和質(zhì)量。

　　研究人員表示，雖然GameNGen還有一些技術(shù)局限，但在游戲關(guān)卡設(shè)計(jì)、游戲測(cè)試、實(shí)時(shí)場(chǎng)景交互等游戲開(kāi)發(fā)領(lǐng)域幫助非常大。例如，在創(chuàng)建游戲場(chǎng)景時(shí)，傳統(tǒng)方法可能需要開(kāi)發(fā)人員逐一編寫(xiě)每個(gè)元素的代碼，而 GameNGen 可以根據(jù)訓(xùn)練數(shù)據(jù)自動(dòng)生成逼真的場(chǎng)景，包括地形、建筑和道具等。

　　此外，GameNGen 還能夠根據(jù)玩家的行為和反饋進(jìn)行實(shí)時(shí)調(diào)整和優(yōu)化�？梢詫W(xué)習(xí)玩家的游戲模式和偏好，從而為玩家提供個(gè)性化的游戲體驗(yàn)。例如，如果玩家傾向于某種類型的游戲策略，GameNGen 可以相應(yīng)地調(diào)整游戲難度和內(nèi)容，以增加游戲的趣味性和挑戰(zhàn)性。