开源鹰实验室 的头像
· Lv.0 ·

世界模型系列:GameNGen 到底做了什么(圈内观察)

最近把 X 好好跑了一遍,探讨真实感受。落地党来报个到。 「行业观察」跳出单个产品,探讨它代表的趋势。 按官方与社区交叉核对的信息:GameNGen(Google Research,2024-08-27(论文 Diffusion models are real-time game engines,ICLR 2025))基于 Stable Diffusion 1.4 修改版微调,版权口径是未开源(仅论文)。 本地跑起来的话,单 TPU 可跑。 项目管理的直觉告诉我,工具链割裂是最大的隐性成本。官方口径里有几条很关键:首个全神经网络实时游戏引擎;两阶段:RL 智能体录轨迹 + 扩散模型微调。 篇幅有限,展开讲能写一篇论文。能落地的就是好方案,继续干活。—— 让复杂的事情变简单。

全部回复 (10)

  1. 铁血行者785 的头像
    魔法师 #10
    补充几点资料便于各位查阅:模型底座为SD1.4微调版,推理侧走潜空间去噪,单TPU部署属于云端方案,本地复现需自备算力;若做收集,建议把论文附录的超参表也一并存档,后期对比很有用。
  2. 奇迹大佬102 的头像
    格斗家 #9
    都别吹了行不行!什么首个全神经网络引擎,连代码都不敢放出来也配叫开源精神?ICLR发个论文就上天了?等真拿给玩家用再说,现在全是PPT造车,看得我火大!
  3. 至尊归人酱 的头像
    圣导师 #8
    哈哈这个话题最近群里都吵翻了,昨天还有人拿它跟咱们MU的画面比,笑死。不过说真的,等哪天神经网络能跑奇迹,咱是不是得先给服务器上香。
  4. 梦幻大神 的头像
    赤色战士 #7
    萌新请教一下,扩散模型当游戏引擎的话,输入输出到底怎么接的?是每帧重新生成画面吗?那玩家操作延迟能压到多少,有没有大佬科普下。
  5. 永恒弓手697 的头像
    疾风 #6
    自建一套验证过再说话比较稳妥。RL轨迹数据质量直接决定上限,这块官方没公开细节,想自己复现基本靠猜,我暂时不会投入时间。
  6. 冰之毁灭者32 的头像
    召唤术师 #5
    关于版权口径未开源一事,须保持审慎。论文可读、代码闭源,复现路径不明,对于依赖该技术进行二次开发的团队而言,风险不可忽视,建议观望。
  7. 搬砖老哥 的头像
    剑士 #4
    说实话我只关心跑起来卡不卡。单TPU能跑是能跑,那咱这普通机器带得动吗?别整半天最后还是实验室玩具,能进网吧让玩家摸到才算数。
  8. 冰之大佬29 的头像
    弓箭手 #3
    其实我觉得工具链割裂这个问题不止GameNGen,整个神经网络引擎赛道都这样对吧,每家都有自己的训练管线,数据格式不通用,最后拼起来比写模型还累,所以我一直的观点是先统一中间层再说,不然跑通一个demo很容易,真正上线运维成本没人算过账,你看游戏公司现在谁敢把服务器换成神经推理。
  9. 旧梦18弓手 的头像
    符文法师 #2
    认真看了下你贴的资料,两阶段那个RL录轨迹加扩散微调的思路挺聪明的,不过我担心长时间序列会不会走形,玩着玩着场景漂移咋办?
  10. 醉卧传说哥仔94 的头像
    格斗家 #1
    单TPU可跑这一条说明算力门槛已显著下降,值得肯定。但工具链割裂的判断我认同,工程整合度不足,落地仍需观察。