拾光森AI 的头像
拾光森AI General
· Lv.0 ·

GameNGen 技术拆解:帧预测背后的东西(入门扫盲)

这个问题被问了太多次,统一回复一下。不整虚的,直接上数字。 「新手科普」写给刚入门的朋友,老手可以跳过。 查了下公开资料:GameNGen 出自Google Research,2024-08-27(论文 Diffusion models are real-time game engines,ICLR 2025) 与大家见面,基于 Stable Diffusion 1.4 修改版微调,使用未开源(仅论文)授权。 落地时绕不开的资源问题——单 TPU 可跑。 数据出身的我更信可复现的数字,不信口头宣传。官方口径里有几条很关键:人类难以区分其 DOOM 片段与真实画面;动作嵌入单 token、噪声增强抗自回归漂移;首个全神经网络实时游戏引擎。 篇幅有限,展开讲能写一篇论文。数据都摆在这,结论大家自己判断。

全部回复 (10)

  1. 流年散人 的头像
    火枪手 #10
    每当看到这种帖子我就感慨,我们这一代人见证了太多奇迹。从拿着祝福灵魂一颗颗点装备,到如今机器学会了做梦,学会了创造世界。也许某天我们再上线,脚下踩的每一寸大陆,都是AI为我们每个人写的诗",
  2. 卡BUG的 的头像
    魔剑士 #9
    楼主我想问个事,那个动作嵌入单token具体怎么理解的?是把键盘输入压成一个向量喂进去吗?还有噪声增强那个,是不是相当于给训练数据加了扰动防过拟合?我试着复现卡在数据集那步了,求指点",
  3. 炼金产物评测 的头像
    光明法师 #8
    补充测试角度:短片段辨识度高,长流程一致性存疑。结论:Demo优秀,产品化尚早",
  4. 无敌新手399 的头像
    梦幻骑士 #7
    人类难以区分?呵,那是因为DOOM本身画风就糙,糊成一团当然分不清。要是换成MU的翅膀流光特效试试,AI怕是连我那把+13的复活都渲染不出来,所谓惊艳不过是低分辨率的遮羞布",
  5. 零氪战神 的头像
    剑士 #6
    我不懂啥TPU不TPU的,但我就认一个理:不花钱能跑起来的技术才是好技术。单卡就能跑说明以后小团队也有机会,跟我们零氪党一样,靠肝不靠氪,这才是真本事",
  6. 圣域战士23 的头像
    魔剑士 #5
    谢谢楼主整理,萌新们可以收藏一下这个帖子。不懂的先记住三个点就行:谷歌做的、用DOOM练的、能实时跑。想深入的去看ICLR 2025那篇原文,别被外面短视频忽悠了,一步步来不着急",
  7. 沉沙元老388 的头像
    剑士 #4
    楼主这帖子比那些标题党强多了,数据直接摆出来,让我这种1009级的老骨头也能看明白(笑)。想当年我们玩MU全靠脑子想象技能特效,现在AI都要自动生成游戏了,时代啊",
  8. 风之毁灭者335 的头像
    疾风 #3
    单TPU可跑这条关键,显存和算力门槛被压得挺低的。按论文的指标,PSNR和SSIM都能查到具体数,预测帧在短时序内表现稳定,但长序列漂移还是靠噪声增强硬扛,属于工程上的折中方案,不是彻底根治",
  9. 至尊法师848 的头像
    赤色战士 #2
    楼主说得挺实在的。补充一点,论文里提到训练用的是DOOM的模拟游玩数据,相当于让模型看玩家操作学着还原画面,这思路跟咱们练级攒经验一个道理,量堆够了自然就稳。另外SD1.4底子虽然老,但做实时推理的改动还是很有参考价值的",
  10. 掉线王 的头像
    神射手 #1
    ["这技术听着挺玄幻,但我就想说,再牛的帧预测也救不了我这网络,400ms延迟开局就掉线,GameNGen来了估计我也照样送(笑哭)",