大模型开源潮从文本模型蔓延到了视频生成领域。2月25日,阿里巴巴开源了万相2.1视频生成模型,3月6日,腾讯开源图生视频模型,阶跃星辰也计划在本月开源图生视频模型。
据腾讯介绍,新开源的图生视频模型总参数量130亿,适用于写实视频制作、动漫角色制作生成等,开源内容包含权重、推理代码和LoRA训练代码。用户上传一张图片,并简短描述希望画面如何运动、镜头如何调度,就能生成5秒短视频。用户也可以输入文字或音频,让图片中的人物对口型说话或唱歌。
腾讯展示的视频生成案例包括爱因斯坦吃苹果、梵高喝红酒、机械马走动、虚拟人物念绕口令等。从演示视频看,视频中的主体运动较为流畅,
对口型也比较真实。
2月,阿里开源的万相2.1视频生成模型则有14B(B为10亿)和1.3B两个参数规格,万相2.1的特点包括支持无限长1080P视频的高效编解码,以及首次实现中文文字视频生成功能。
就视频生成的成熟度和开源的作用,腾讯混元多模态生成技术负责人凯撒去年12月接受第一财经等媒体采访时表示,视频生成开源生态不是很成气候,最大的问题是开源的视频生成底模(基座模型)与闭源差距太大。视频生成所需算力、数据消耗量和图像生成相比是数量级的差距,业内不想把自己花大成本做出来的模型开源出来。而在这种闭门造车的情况下,很多人没有用到最好的模型,混元于是在去年12月开源了文生视频模型。
此外,也有业内人士告诉记者,视频生成模型的技术路径未完全清晰,行业还在摸索。在技术打磨阶段,开源也能推动行业进步。
记者留意到,随着近期多家大模型厂商推动开源,在能力较突出的视频生成大模型中,开源模型已占有一席之地。记者在视频生成模型评测体系VBench榜单看到,万相2.1模型目前列该榜单第一,总分86.22%,超过闭源的Sora。除此之外,排名前20的模型中还有另外6款模型标注为开源模型。腾讯去年12月推出的HunyuanVideo位列第12位,智谱旗下的CogVideoX1.5-5B位列第15位,这两款均是开源模型。而在该榜单第20名至第50名中,开源模型的数量则远超闭源模型。
图像生成模型作为图生视频模型的基础,记者还从香港大学经管学院获悉,该学院今日发布了《人工智能模型图像生成能力综合评测报告》。在新图像生成内容质量(包括图文一致性、美感等维度)方面,字节即梦AI位列第一,在该榜单前20名内,包括DALL-E3、Hunyuan-DiT在内的多个模型是开源模型。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com