谷歌发布Genie 2模型,可一键生成长达1分钟的3D游戏
作者: 第一财经 日期:2024-12-05 19:56 阅读:0 来源:第一财经
【天维网综合报道】报道,12月5日凌晨,就在OpenAI宣布将于未来12天连续进行12场发布会直播时,Google DeepMind同时在官网发布了大型基础世界模型Genie 2,可通过单张图片和文字描述生成种类多样的可玩3D世界。作为今年初推出的 Genie 模型的升级版,Genie 2标志着人工智能在虚拟世界生成领域的又一次突破。
DeepMind透露,Genie 2具备从不同视角(如第一人称视角与等距视角)生成连贯世界的能力,这些生成的世界可持续时间长达一分钟,但多数情况下维持在10到20秒之间。
博客中放出了大量由模型生成的视频示例,来展示Genie 2在行动控制、长视界记忆、长视频生成、NPC、物理等方面的效果与优势。例如,输入“森林中的可爱人形机器人”,模型便可构建一个包含机器人角色和可探索环境的动态场景。用户可以通过键盘或鼠标操作角色在世界中进行跳跃、游泳等互动。
据悉,经过视频训练,该模型能够精准模拟物体的交互、动画效果、照明、物理现象、反射效果以及“NPC”(非玩家角色)的行为。许多生成的场景画质接近 3A级别的电子游戏,甚至在物体视角一致性和场景记忆方面表现优异。
技术方面,谷歌提到,Genie 2 是一个自回归潜在扩散模型,在大型视频数据集上进行训练。经过自动编码器后,视频中的潜在帧被传递到大型Transformer动力学模型。该模型使用与大语言模型类似的因果掩码进行训练。在推理时, Genie 2能以自回归方式进行采样,逐帧获取单个动作和过去的潜在帧。
谷歌对世界模型研究的投入正在持续扩大。今年 10 月,DeepMind 聘请了OpenAI前视频生成项目负责人Tim Brooks,同时两年前从Meta挖来了以开放式实验闻名的Tim Rocktäschel。与之相似的模型还有“AI教母”李飞飞创立的 World Labs 和以色列初创公司 Decart 的产品。
虽然大多数基础世界模型可以模拟游戏和 3D 环境,但还存在伪影、一致性和幻觉相关的问题。Google DeepMind还在博客最后放了一些有趣的“花絮”,Genie 2生成出一些奇怪视频,比如没有采取行动的情况下一个“鬼魂”出现在花园,在雪场的人物角色从滑板上跳下来,相比滑雪更爱跑酷,以及一个魔法球爆炸。
就3D游戏生成这一领域研究,谷歌还表示,游戏在人工智能研究领域发挥着重要作用。游戏的吸引力、独特的挑战组合和可衡量的进展使其成为安全测试和推进 AI 能力的理想环境。自 Google DeepMind 成立以来,游戏就一直非常重要,是研究的重心。然而,训练更通用的具身智能体的传统瓶颈在于缺乏足够丰富和多样化的训练环境。
版权声明
1. 未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。
2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。
版权声明
1.
未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。
2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。
- 蔚来在澳大利亚胜诉,奥迪商标异议被驳回
- 22个跌停后又连拉3涨停,*ST卓朗退市风险高悬
- 医药领域并购频发,百亿市值羚锐制药拟收购银谷制药
- 美团核心本地商业板块宣布新一轮组织架构调整
- 鲍威尔称对降息将更谨慎,暗示美联储将免受政府效率部削减
- 对外侧下丘脑进行深部脑刺激,可改善脊髓损伤者的行走能力
- 盘前必读丨法国政府被议会推翻;华为Mate70系列正式开售
- 英特尔高管:明年上半年推出18A制程节点样品并交付客户
- 道指首次收盘站上45000点,法国政府被议会推翻
- 深江铁路13名现场作业人员失联,施工单位6月曾开展安全生产宣誓
· 请您文明上网、理性发言
· 尊重网上道德,承担一切因您的行为而直接或间接引起的法律责任
· 您的留言只代表个人意见,不代表本站立场
· 天维网拥有管理笔名和留言的一切权利
· 您在天维网留言板发表的言论,天维网有权在网站内转载或引用
· 天维网新闻留言板管理人员有权保留或删除其管辖留言中的任意内容
· 参与本留言即表明您已经阅读并接受上述条款
查看所有评论 共( 条)