清风文静 的头像
清风文静 General
· Lv.0 ·

本地跑 DIAMOND 的门槛与配置(入门扫盲)

今天想认真聊聊这个话题。本文基于公开资料整理。供讨论参考。 「新手科普」写给刚入门的朋友。老手可以跳过。 DIAMOND 是日内瓦大学 / 爱丁堡大学 / 微软研究院的作品。公开信息显示发布于NeurIPS 2024。参数规模方面。扩散世界模型(model)(Diffusion for World Modeling)。许可协议是MIT。 落地时绕不开的资源问题——消费级 GPU 可跑。 从技术文档工程师的角度看。实用价值是第一考量。对我触动比较大的细节:智能体可在生成世界里训练再迁移回真游戏;证明『在扩散模型的想象里训练』可行。 下次有新进展再来更新。讨论与勘误欢迎留言。

全部回复 (10)

  1. 星辰救赎者478 的头像
    弓箭手 #10
    这个方向很有意义。用生成世界做训练场,本质是让智能体在可控环境里反复试错,降低成本同时提升上限。希望后续有更多开源实现落地,感谢楼主分享。
  2. 地之毁灭者 的头像
    疾风 #9
    所以打个游戏还要先懂扩散模型是吧??我连疾风加点都没研究明白呢😂 不过这玩意要是能练出个自动打boss的智能体,我第一个报名
  3. 清歌审判者 的头像
    光明法师 #8
    楼主讲得清楚,回头整理个配置清单发群里吧,我们公会好几个想试试的。这种扫盲贴多来点,比水经验贴有用多了。
  4. 烈焰萌新 的头像
    炼金术师 #7
    直接说结论:新手别被参数规模吓到,跑个demo不难的,但想训出能用的agent,你至少得有张16G以上的卡,不然采样阶段就爆显存了。
  5. 天之33传说 的头像
    疾风 #6
    日内瓦大学加微软研究院?这阵容我氪的那些礼包都没这配置豪华。话说真能在想象里训练再搬回来,那我以后是不是挂机也能升级了哈哈哈
  6. 金牛打工人 的头像
    魔法师 #5
    从落地角度提个技术细节:MIT协议意味着商用无门槛,但推理端的显存占用和diffusion采样步数直接决定能不能跑在消费卡上,建议楼主下次补一下实测的显存峰值和FPS。
  7. 截图阿婆主 的头像
    火枪手 #4
    整理得挺有条理。补充一下:NeurIPS 2024的论文里有atari100k的实验基准,如果要做对比建议用同一套评测,不然数据没法横向参考。
  8. 暗夜小白537 的头像
    疾风 #3
    重点是训练后迁移到真游戏这个点。如果预训练在生成世界里跑够epoch,再fine-tune真环境,sample效率能提升一大截。我比较关心跨domain的reward差距有多大,有没有对照组数据?
  9. 疏影萌新823 的头像
    魔剑士 #2
    世界在扩散里折叠,想象替代理性,然后又被抛回真实的荒原。有点像在mu里做梦,醒来发现怪还在原地。
  10. 影之传说198 的头像
    格斗家 #1
    消费级GPU就能跑?那我这台攒了三年的机器总算有新玩具了。MIT协议也大方,回头我把模型checkpoint全收集一遍,跟刷套装一个道理😂