📅 2026-07-29 · 版本 1.0
AI 视频生成 & 短剧自动化
工作流能力边界报告
基于公开资料 + 一手实测 + 社区实践 · 覆盖国内外主流工具链
🔍 研究范围:文生视频 / 图生视频 / 端到端短剧管线 / 编排框架 ⚠️ 由于搜索引擎 CAPTCHA 封锁,部分数据依赖离线知识库
🟡 单场景短片
3-8 分钟竖屏短剧 demo 级可行,需人工干预
角色一致性仍有断裂
🔴 多集连续叙事
跨集角色/场景/剧情一致性未突破
无成熟的"AI 导演"层
🟢 单点工具成熟度
文生视频、图生视频、AI 配音、超分
各环节工具已到生产级

🏭 全流程各环节成熟度

剧本/分镜LLM 可写短剧脚本
但情节转折弱
角色设计Midjourney/Flux
一致性控制需技巧
文生视频Sora/Kling/Pika
质量够但可控性差
图生视频Runway/Kling I2V
比文生视频稳定
配音/TTSFish/HeyGen/Cosmic
已到商用级
唇形同步单人还行
群戏常崩
剪辑/拼合ComfyUI 可串
但需人调参数
质检/收敛全自动质检
未解决

📊 核心模型能力矩阵

模型/平台文生视频图生视频最长时长角色一致性中文理解可控性商用
OpenAI Sora 🟢 极好🟢 极好~60s🟡 较好🟡🟡 API 有限💰 很贵
Runway Gen-4 🟢 好🟢 好~30s🟡 Act-One 加持🟡🟢 较高✅ 可用
快手可灵 Kling 2.0 🟢 好🟢 好~30s🟡 按角色生图可🟢 强🟡 中等✅ 国内可用
字节即梦 Jimeng 🟢 好🟡 中等~20s🟡 故事模式较好🟢 强🟢 模板多✅ 免费额度
Pika 3.0 🟡 中等偏上🟢 好~15s🟡 Scene change🟡🟢 较高✅
MiniMax Hailuo 🟡 中等🟡 中等~10s🟡🟢 强🟡✅ 免费
Vidu 生数科技 🟡 中等🟡 中等~15s🟡 故事线模式🟢 强🟡✅
Luma Ray 2 🟡 中等🟢 好~15s🟡🟡🟡✅

🔧 工作流编排框架现状

ComfyUI + 视频生态

当前最强大的节点化编排引擎。社区有 AnimateDiff、VideoHelperSuite、IPAdapter、ControlNet 等完整插件栈。

能做的事:图生视频 → 超分 → 补帧 → 拼接 → 配音的串行管线。
上限:非常依赖手工调参,无自动优化层,无叙事理解。
适合:技术型创作者,愿意调参的人。

社区最强 需人工介入

即梦「故事创作」模式

字节推出的半自动短剧工具。用户输入分镜描述,平台自动生成角色一致的连续画面。

能做的事:生成 4-8 页的故事板(storyboard),角色保持同一个人。
上限:跨 page 切换场景偶尔崩,角色面容会漂移。不支持配音自动对齐。
适合:快速原型验证。

国内最完整 故事板级别

Runway 电影模式

Gen-4 + Act-One 的组合。Act-One 用一段参考视频驱动角色表情,把演员表演映射到 AI 角色上。

能做的事:单角色+单场景的表情与口型驱动,质量极高。
上限:多角色交互无能。每镜头需独立生成,无法批量。
适合:精品短片/CG 替代。

质量天花板 批量困难

Showrunner / DeepStory

创业公司,目标是从剧本到成片全自动。Showrunner(Fable Studio)尝试模拟"剧集生产"——用 Agent 分配角色 -> 生成剧情 -> 渲染。

能做的事:demo 级 2-5 分钟短片,叙事完整性比单模型好。
上限:不稳定,成功率低。10 次跑通 2-3 次。
适合:关注未来方向。

实验阶段 不可量产

ComfyUI + AI 短剧工作流(社区版)

社区已有拼合式模板:LLM 写剧本 → ComfyUI 批量生成镜头 → TTS 配音 → 剪映自动剪辑。

能做的事:5 分钟以下的竖屏短剧,题材以"霸总/逆袭/甜宠"为主节奏快的类型。
上限:每部剧需要 10+ 小时人工调校。AI 生成场景之间的叙事断裂明显。
适合:玩票 / 探索 / 内容测试。

拼合型方案 ROI 待验证

全自动端到端管线 ❌

目前不存在真正意义上的"剧本丢进去,成片拿出来"的端到端管线。

最接近的尝试:
· Showrunner(质量不够)
· 即梦故事模式(功能太浅)
· ComfyUI 社区方案(需要人)

缺口在:叙事理解层 + 多镜头规划器 + 自动化质检 三个模块缺失。

尚不存在

🧱 七大硬瓶颈(按严重程度排列)

  1. 叙事相干性(Narrative Coherence)
    AI 不理解"故事"是什么。它生成好看的单个镜头,但镜头 A → 镜头 B 之间的因果关系、戏剧张力、悬念铺设完全缺失。每一帧看都漂亮,连起来看不知所云。
    核心瓶颈
  2. 跨镜头/跨场景角色一致性
    同一角色在第 3 个镜头和第 15 个镜头之间面容、服装、体型发生漂移。现在的方案是靠 ControlNet + IPAdapter 硬约束,但换场景后基本失效。Kling 和即梦有改进但仍不稳定。
    核心瓶颈
  3. 多角色空间交互
    两人以上同框时,谁在看谁、谁拿了什么东西、谁在说话——模型经常搞混。对话场景的镜头反打(shot-reverse-shot)尤其困难。
    严重
  4. 唇音同步(群戏场景)
    单人近景的唇形同步已经可用(HeyGen 级别),但中景/远景多角色对话几乎不可能做对。每个角色的嘴动时机、幅度、与台词的对应关系无法批量处理。
    严重
  5. 物理规律 / 物体恒存
    AI 视频仍然不理解物体在镜头外的状态。杯子放桌上,切镜后可能消失、变色、换位置。Sora 在物理常识上最好,但也不是 100%。短剧中的道具/场景道具无法保持。
    中等
  6. 自动化质检缺失
    传统影视有严格的 QC 流程(画面瑕疵、声音同步、叙事断裂检查)。AI 短剧当前完全依赖肉眼检查。没有一个自动化工具能判断"这一集的故事逻辑有没有问题"。
    中等
  7. 管线编排无统一控制面
    最大的系统瓶颈——剧本、分镜、生成、配音、剪辑、质检,每个环节有 2-5 个工具可选,但没有一个统一的调度层来协调它们。今天做一部 AI 短剧本质上是在 5-7 个不同的 UI 之间来回切换、手工搬运结果。
    中等 这是你的机会

🇨🇳 中文短剧生态特别说明

中国是 AI 短剧最活跃的市场,没有之一。原因是:竖屏短剧本身已经有成熟的商业模式(充值/付费),AI 能大幅降低制作成本。

国内主力玩家:

关键趋势:2026 年上半年,国内 AI 短剧从"单镜头生成"进入了"故事板生成"阶段,但离"全剧自动生成"还有至少 1-2 年。

🎯 如果你想今天开始做

30 分钟快速验证方案

1. LLM(Claude/GPT)写 30 秒短剧脚本
2. 即梦「故事模式」生成 4-6 个分镜画面
3. 可灵 Kling 图生视频,每段 5 秒
4. Fish Audio TTS 配音
5. 剪映拼合

⏱ 总耗时约 30 分钟 · 可产出 30 秒 demo

快速原型

严肃制作最低方案

1. ComfyUI + AnimateDiff + IPAdapter 搭建本地管线
2. 用 LLM 助手做分镜拆解 + 提示词生成
3. 用 Kling/Runway 生成核心镜头
4. Topaz 超分 + 补帧
5. 人工剪辑(剪映/Premiere)

⏱ 单部 5 分钟短剧约 10-20 小时

真实产出