B站开源动漫视频生成模型 AniSora V3 版,速度更快、质量更高

B站开源动漫视频生成模型 AniSora V3 版,速度更快、质量更高

人工智能 2025-07-08 19:12:04 5小时前

IT酷哥 7 月 7 日消息,B站团队的开源动漫视频生成模型 AniSora 于 7 月 2 日更新到 AniSora V3 预览版。

作为 Index-AniSora 项目的一部分,V3 版本在原有基础上进一步优化了生成质量、动作流畅度和风格多样性,为动漫、漫画及 VTuber 内容创作者提供了更强大的工具。

AniSora 支持一键生成多种动漫风格的视频镜头,包括番剧片段、国创动画、漫画改编、VTuber 内容、动画 PV、鬼畜(MAD)等。

AniSora V3 基于B站此前开源的 CogVideoX-5B 和 Wan2.1-14B 模型,结合强化学习与人类反馈(RLHF)框架,显著提升了生成视频的视觉质量和动作一致性。其支持一键生成多种风格的动漫视频镜头,包括番剧片段、国创动画、漫画视频改编、VTuber 内容等。

核心升级包括:

时空掩码模块(Spatiotemporal Mask Module)优化:V3 版本增强了时空控制能力,支持更复杂的动画任务,如精细的角色表情控制、动态镜头移动和局部图像引导生成。例如,提示“五位女孩在镜头放大时起舞,左手上举至头顶再下放至膝盖”能生成流畅的舞蹈动画,镜头与角色动作同步自然。

数据集扩展:V3 继续依托超过 1000 万高质量动漫视频片段(从 100 万原始视频中提取)进行训练,新增数据清洗流水线,确保生成内容的风格一致性和细节丰富度。

硬件优化:V3 新增对华为 Ascend910B NPU 的原生支持,完全基于国产芯片训练,推理速度提升约 20%,生成 4 秒高清视频仅需 2-3 分钟。

多任务学习:V3 强化了多任务处理能力,支持从单帧图像生成视频、关键帧插值到唇部同步等功能,特别适合漫画改编和 VTuber 内容创作。

在最新基准测试中,AniSora V3 在VBench和双盲主观测试中,角色一致性和动作流畅度均达到业界顶尖水平(SOTA),尤其在复杂动作 (如违反物理规律的夸张动漫动作) 上表现突出。

V3 还引入了首个针对动漫视频生成的RLHF 框架,通过 AnimeReward 和 GAPO 等工具对模型进行微调,确保输出更符合人类审美和动漫风格需求。社区开发者已开始基于 V3 开发定制化插件,例如增强特定动漫风格(如吉卜力风)的生成效果。

AniSora V3 支持多种动漫风格,包括日本动漫、国产原创动画、漫画改编、VTuber 内容及恶搞动画(鬼畜动画),覆盖 90% 的动漫视频应用场景。具体应用包括:

单图转视频:用户上传一张高质量动漫图像,配合文本提示(如“角色在向前行驶的车中挥手,头发随风摆动”),即可生成动态视频,保持角色细节和风格一致。

漫画改编:从漫画帧生成带唇部同步和动作的动画,适合快速制作预告片或短篇动画。

VTuber 与游戏:支持实时生成角色动画,助力独立创作者和游戏开发者快速测试角色动作。

高分辨率输出:生成视频支持高达 1080p,确保在社交媒体、流媒体平台上的专业呈现。

AIbase 测试显示,V3 在生成复杂场景(如多角色交互、动态背景)时,相比 V2 减少了约 15% 的伪影问题,生成时间缩短至平均 2.5 分钟(IT酷哥注:4 秒视频)。

相比 OpenAI 的 Sora 或 Kling 等通用视频生成模型,AniSora V3 专注于动漫领域。与字节跳动的 EX-4D 相比,AniSora V3 更专注于 2D / 2.5D 动漫风格,而非 4D 多视角生成。

IT酷哥附开源地址:

https://github.com/bilibili/Index-anisora/tree/main

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 《自然》杂志拒绝刊登人工智能生成的图片和视频
  • OpenAI CEO 阿尔特曼称中国拥有世界上最优秀的 AI 人才,呼吁中美合作以应对风险
  • 亚马逊云服务部门高管称正考虑使用 AMD 的新款 AI 芯片,还未最终决定
  • 打不过就加入:首家承认 ChatGPT 影响收入的公司 Chegg 选择拥抱 AI ,裁减 4% 员工
  • 网易云音乐和小冰联合推出 AI 歌手音乐创作软件,首发内置 12 名 AI 歌手
  • 消息称东盟正起草 AI 监管法案:新加坡牵头,最快今年底完成
  • AI 入局世界网球温布顿锦标赛,可分析赢球概率及生成球评
  • 日本起草针对学校的生成式 AI 使用指南,禁止学生用 ChatGPT 写作文
  • 人工智能深度调查:用过 AI 工具的人并没想象的那么多
  • 金融巨头瑞穗银行押注生成式 AI,开放 Azure OpenAI 给 4.5 万名员工使用
  • 微软推出生成式 AI 培训项目,免费提供在线课程和证书
  • 版权问题难解,OpenAI 被控非法使用图书数据训练 AI 系统
  • “世界上最像人的机器人”Ameca 接入 Stable Diffusion 和 GPT-3,现场完成作画
  • 研究表明 GPT-4 模型具备自我纠错能力,有望推动 AI 代码进一步商业化
  • 联合国将招募数十个机器人,协助完成 2030 可持续发展目标
  • 热度过去用户兴趣降低:数据显示 ChatGPT 流量在 6 月首次出现下降
  • 上半年全球风险投资额缩水近半,超 400 亿美元流向 AI 初创公司
  • WPS AI 官网上线:可申请体验官资格,支持 Windows、安卓端下载
  • 精准度可提高 20%:英国九家银行签约使用基于 AI 的“消费者欺诈风险系统”应对诈骗
  • 小冰 CEO 李笛:马斯克呼吁停止研发 AI 大模型,可能是想给自己争取更多时间
  • 最新资讯

    热门资讯