腾讯推出图生视频模型 国产模型距Sora有多远?

作者: 第一财经   日期:2024-03-16 11:12 阅读:0  来源:第一财经  
分享到:
邮箱:

据第一财经报道,AI视频生成有了新进入者。3月15日,腾讯控股(00700.HK)与清华大学、香港科技大学联合推出图生视频模型“Follow-Your-Click”。使用者可点击对应区域并加上提示词,使特定对象运动。从放出的视频看,运动时间为几秒。

OpenAI今年2月推出Sora,可生成60秒连贯视频,是目前视频生成效果最好的AI模型。Sora计划在今年晚些时候面向公众开放。在这段时间里,大模型企业抓紧追赶Sora。记者了解到,运动无法准确控制是目前主要视频生成工具的一大弊病,这正是“Follow-Your-Click”着力改善的。但从文生图到图生视频,国内AI工具追赶先进水平仍有一段路要走。

可控制对应区域运动

相关论文称,图生视频的可控性和局部动画探索较少,多数图生视频方法倾向于移动整个场景。当前的I2V(Image-to-video generation,图生视频)技术还要求用户描述目标运动并提供帧内容的冗余详细描述。论文提出新的I2V框架“Follow-Your-Click”,通过用户点击和简短的运动描述提示,实现图像动画。为此,研究人员设计了WebVid Motion数据集,强调人类情感、动作和物体常见运动,并设计了一个运动增强模块,使模型能理解短提示。该论文提出的方法能通过多次单击来控制多个对象和移动类型。

从“Follow-Your-Click”演示视频看,选中鸟、雷电、人、火箭等,便可根据“转头”“笑”“伤心”“发射”等简短提示生成几秒视频。在提示词为“伤心”的视频中,人物低头掩面哭泣,动作较流畅。

Follow-Your-Click展示的视频生成案例

不能准确控制画面中具体人物或物体的运动,是现有AI视频生成工具需要解决的问题。有AI视频创作者向记者表示,目前的AI工具视频生成效果不佳的一个原因是时长不足,另一个是难以准确描述运动,很多画面只能实现视差动画,例如将人物放大缩小以展示人物走动,或者物体前后左右摆动,并不真实,使用者也难以通过提示词控制这些运动。为此,需要不断调整图片内容,减少画面复杂程度,避免AI生成太多不符合逻辑的动作。还有创作者使用Runway创作视频,给定两个人物战斗的图片,AI却生成了两人放下兵器握手的画面。

腾讯混元大模型团队还在研究和探索多模态技术。此外,字节跳动今年1月推出文生视频模型MagicVideo-V2,将文生图模型、视频运动生成器、参考图像嵌入模块和帧插值模块集成到端到端视频生成流程中。还有消息称字节跳动在研发名为Boximator的视频生成模型,字节此前回应称,这是一个视频生成领域控制对象运动的技术方法研究项目,与国外领先的视频生成模型在画面质量、保真率和视频时长等方面还有很大差距。

距离多远

从文生图到图生视频,国内AI工具距离海外先进水平有多远?

图生视频需要先有图片。有AI行业从业者告诉记者,他尝试了Midjourney和智谱AI、文心一言、通义千问、昆仑天工、字节豆包、腾讯混元等主要图片生成工具后发现,在细节、画面表现力等方面,国内图片生成工具与Midjourney还有明显距离。“图片生成海外目前做得较好的是美国的几个科技公司,现在国内的工具大约比海外慢一个版本,差距是半年到1年时间。”一名研究AI应用的技术人员告诉记者。

但也有AI视频创作者向记者表示,Midjouney等海外图片生成工具也有弊病,其素材库不一定符合国内创作者的要求,例如生成的中国古代人物更接近东亚其他国家人们的面相,海外工具对中国历史文化的理解也不够,体现在生成物品的细节上不合适。

视频生成方面,不论是国内还是海外企业,目前都还没有拿出明显能匹敌Sora的产品。但近期国内有多家发力多模态大模型的企业拿到融资,且透露正在追赶Sora。

近日,生数科技完成一轮数亿元融资,生数科技CEO唐家渝表示,拥有在大规模GPU集群上实现高效兼容、低成本的模型训练经验之后,追赶Sora肯定比追赶GPT-4轻松很多,预计今年可以达到Sora目前版本的效果。AI视频生成公司爱诗科技近日也传出完成亿元级别人民币A1轮融资的消息,创始人王长虎表示,未来将集中人力和资源,在3-6个月内赶超Sora目前水平。


版权声明
1. 未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。


2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。

版权声明
1. 未经《新西兰天维网》书面许可,对于《新西兰天维网》拥有版权、编译和/或其他知识产权的任何内容,任何人不得复制、转载、摘编或在非《新西兰天维网》所属的服务器上做镜像或以其他任何方式进行使用,否则将追究法律责任。


2. 在《新西兰天维网》上转载的新闻,版权归新闻原信源所有,新闻内容并不代表本网立场。

新闻评论须知

· 请您文明上网、理性发言

· 尊重网上道德,承担一切因您的行为而直接或间接引起的法律责任

· 您的留言只代表个人意见,不代表本站立场

· 天维网拥有管理笔名和留言的一切权利

· 您在天维网留言板发表的言论,天维网有权在网站内转载或引用

· 天维网新闻留言板管理人员有权保留或删除其管辖留言中的任意内容

· 参与本留言即表明您已经阅读并接受上述条款

验证码:
×

查看所有评论  共( 条)

Click here

Advertising With Us