本文档以扣子编程官方模板漫画视频生成为例,拆解视频生成工作流的核心流程和模块,演示如何通过搭建一个生成指定风格视频的低代码工作流。只需要输入一个内容主题,此工作流即可帮你生成相应漫画视频。
你可以单击漫画视频生成模板中的复制,创建一个副本以查看完整的工作流。该工作流分为以下四个核心步骤:
本章节将分别介绍各个核心步骤的实现流程。
我们通过大模型节点来制作剧本,可以把大模型当作一个“实习生”,我们告诉“他”应该怎么去生成剧本,“他”就会根据我们的要求,结合输入去生成相关的剧情。只需要为模型节点设计一个剧本编辑的人设,并指定剧本的要求即可。
大模型节点的输入是用户指定的剧情主题,输出是剧本内容及核心人物的详细人设介绍。
由于我们后续要用到批处理节点去批量生成视频的各个分镜片段,而大模型每次的输出总是随机的,不一定能保持主体任务的形象一致性,主角可能在不同分镜中是不同的外表和样貌。如果对任务形象一致性的要求比较高,可以添加一个设计人物形象的分支,专门生成人物形象图,供后续生成视频时参考。
任务形象的设计由批处理节点完成,此节点接收用户指定的视频模式(图解视频、漫画视频),并基于前序节点生成的核心人设生成人物形象图。其中:
有了剧本之后,就可以开始制作分镜了,这里我们让模型来设计每个分镜的细节。一般分镜要求有以下几个要素:场景描述、台词、人物动作、音效说明等,本文主要是面向入门的开发者,所以简化整体流程,只需要让模型设计旁白、场景和运镜方式即可。详细的分镜设计提示词可参考模板。
大模型节点的输出我们设置为一个字符串数组,其中每个元素是一个分镜,其中包括:
分镜设计完之后,就是“拍摄”了。在 AI 生成视频的场景,我们依然需要生成旁白的音频、制作首帧图片,并且通过视频剪辑技术将视频内容与音频、首帧图合成起来。
这个环节同样由批处理节点完成,批量制作各个分镜,再将其合并为一个完整的视频即可。
首先,我们需要先制作首帧图片。此环节由大模型节点完成,所以生图模型的提示词至关重要。
为了保证主角人物形象的一致性,我们在步骤二中已经为每个角色设计了对应的人设参考图,后续的环节都可以参考此图片去生成。当然这里也可以通过 Seedream 模型的过拟合的特性去实现,也就是描述的人物的提示词没有变化,出来的人物图基本一致。
所以在生成首帧图片的环节,我们需要保证每个分镜的人物的描述都是一致的,那么我们就需要模型在描述分镜的时候也把人物形象也塞进去,所以,分镜设计的环节中我们输入了人物形象,让“分镜设计”的节点结合人物形象去生成分镜。
生成首帧图之后,我们可以通过首帧图驱动分镜视频视频合成,以达到图像元素的一致性。这里我们可以选取“Seedance-lite”或者“Seedance-Pro”进行视频合成。Pro 模型的价格相对较高,但是效果更好。
需要注意的是,这个工作流支持生成两种类型的视频,我们通过工作流入参 mode 来指定视频类型:
直接将分镜设计中的生成的旁白进行文字转语音进行播放,这里当然可以指定特定的音色进行生成。然后通过视频剪辑插件,我们将语音添加到视频当中,并且配上字幕。核心节点如下:
最后一步就是将前面的分镜进行合成,生成整段视频。这里我们通过视频剪辑工具(concat_videos)插件实现,该插件将批处理节点制作好的分镜数组合成为一个完整的视频文件。
有以下两种方式: