AI短剧系列 | 第 26 天：字幕与剪辑——剪映与开源剪辑工具批量生产

引言：剪辑是把碎片变成节奏的关键

前面 25 天，我们完成了从剧本、AI 生成、角色一致性、ComfyUI 工作流、MiniMax H3 平台、LTX 2.3 视频生成、配音音效的全流程训练。真正让 AI 短剧看起来「像样」的最后一公里，就是字幕与剪辑。再炫的画面，没有节奏、没有字幕、没有转场，观众都看不下去；再普通的镜头，配上正确的字幕节奏和 BGM 卡点，也能让人一口气看完。

今天我们从两类工具切入：剪映类消费级软件（剪映专业版、CapCut、iMovie）和开源命令行剪辑栈（FFmpeg、MoviePy、FFsubsync、Whisper）。前者适合单集精剪、后者适合批量生产流水线。理解这两条路径的边界，才能选对工具。

核心概念：一集 AI 短剧的剪辑时间线

1. 时间线三层结构

一个成熟短剧的时间线通常分成三层：

画面层：由 ComfyUI、LTX 2.3 或 MiniMax H3 输出的 5s 视频片段拼接而成，每段镜头包含入场、动作、结束三个微节奏
音频层：包含三条音轨——对白（TTS 合成）、BGM（背景音乐）、SFX（音效/环境音），三层需要独立控制音量与淡入淡出
字幕层：ASS 或 SRT 格式，需要与对白时间戳严格对齐，同时预留「安全区」避免遮挡关键人物

2. 关键帧与转场

短剧节奏靠转场驱动。常见的转场类型：

硬切：镜头直接跳，最快最干脆，短剧默认首选
淡入淡出：黑场过渡，适合情绪转场或幕间切换
推拉溶解：两段画面重叠 0.5s，制造时空连续感
遮罩转场：用一个几何形状（圆、方形、条纹）扫过，动感强
匹配剪辑：前后镜头构图相似（比如镜头 A 中人物抬头，镜头 B 中另一角色低头），制造逻辑连接

3. 字幕格式家族

SRT：纯文本，四行一段（序号、时间戳、文本、空行），跨平台兼容最好
ASS/SSA：SubStation Alpha，支持字体、颜色、动画、位置、描边、阴影，做花字首选
VTT：WebVTT，网页端视频（HTML5）专用
XML（FCPXML）：Final Cut Pro 项目格式，用于剪辑软件之间互导

实战步骤：从原始镜头到成片

步骤 1：整理镜头清单

先建立 shotlist，标注每个镜头的来源、时长、对白文本、时间点。

# shotlist.yml
episode: "第 01 集"
duration_target: 60s
shots:
  - id: S01
    source: "comfyui_output/scene01_clip01.mp4"
    duration: 5.2
    dialogue: "你回来了。"
    sfx: ["door_open", "footstep_soft"]
    music_cue: "theme_soft"
  - id: S02
    source: "ltx23_output/scene02_clip01.mp4"
    duration: 4.8
    dialogue: "我以为你已经不在了。"
    sfx: ["silence"]
    music_cue: "tension_low"
  - id: S03
    source: "minimax_h3_output/scene03_clip01.mp4"
    duration: 6.0
    dialogue: "我怎么会走。"
    sfx: ["door_close"]
    music_cue: "theme_soft"

步骤 2：用 FFmpeg 统一镜头参数

不同工具生成的视频，分辨率、帧率、编码、色彩空间可能不一致。用 FFmpeg 统一为 1080p、30fps、H.264、YUV420、16:9。

# normalize.sh
# 用法: bash normalize.sh input.mp4 output.mp4

INPUT="$1"
OUTPUT="$2"

ffmpeg -y 
  -i "$INPUT" 
  -vf "scale=1920:1080:force_original_aspect_ratio=decrease,pad=1920:1080:(ow-iw)/2:(oh-ih)/2:color=black,fps=30,setsar=1" 
  -c:v libx264 -preset medium -crf 20 -pix_fmt yuv420p 
  -c:a aac -b:a 192k -ar 48000 
  -movflags +faststart 
  "$OUTPUT"

步骤 3：批量拼接镜头

如果只是顺序硬切，用 FFmpeg 的 concat 协议最简单：

# concat.sh
# 创建 filelist.txt
cat > filelist.txt <<'EOF'
file 'shots/S01_normalized.mp4'
file 'shots/S02_normalized.mp4'
file 'shots/S03_normalized.mp4'
EOF

ffmpeg -y -f concat -safe 0 -i filelist.txt 
  -c:v libx264 -preset medium -crf 20 
  -c:a aac -b:a 192k 
  rough_cut.mp4

步骤 4：语音对齐与字幕生成

对白音轨准备好后，用 Whisper 生成初始字幕，再用 FFsubsync 精修时间戳：

# 1) 使用 Whisper 生成 SRT
whisper audio_full.wav 
  --model medium 
  --language zh 
  --output_format srt 
  --output_dir ./subs/

# 2) 用 ffsubsync 对齐画面与字幕
ffsubsync --reference audio_full.wav 
  --subs subs/audio_full.srt 
  --output-aligned subs/aligned.srt

# 3) 若需 ASS 花字，可用 subconvert 转换
pip install subconvert
subconvert subs/aligned.srt subs/aligned.ass 
  --font "SourceHanSansCN-Regular" 
  --outline 2 
  --fontsize 48 
  --marginv 60

步骤 5：用 MoviePy 做高级拼接（含转场）

如果需要转场、画中画、字幕烧录，MoviePy 比 FFmpeg 更 Pythonic：

# stitch.py
from moviepy.editor import (
    VideoFileClip, AudioFileClip, CompositeAudioClip,
    TextClip, concatenate_videoclips, CompositeVideoClip
)

# 1) 加载镜头
clips = [VideoFileClip(f"shots/S0{i}_normalized.mp4") for i in range(1, 4)]

# 2) 拼接（method="compose" 支持交叉淡化）
video = concatenate_videoclips(clips, method="compose", padding=-0.5)

# 3) 加载三条音频
music = AudioFileClip("audio/bgm_theme_soft.mp3").subclip(0, video.duration)
dialogue = AudioFileClip("audio/dialogue_full.wav").subclip(0, video.duration)
sfx = AudioFileClip("audio/sfx_track.wav").subclip(0, video.duration)

# 4) 混合音轨（关键：控制音量比例）
final_audio = CompositeAudioClip([
    music.volumex(0.25),
    dialogue.volumex(1.0),
    sfx.volumex(0.7),
])

# 5) 加载字幕并烧录（MoviePy 1.x 支持 .srt/.ass）
subtitle = TextClip("subs/aligned.srt", fontsize=48, color="white")
final = CompositeVideoClip([video, subtitle])

# 6) 导出
final.set_audio(final_audio).write_videofile(
    "final/ep01_final.mp4",
    fps=30, codec="libx264", audio_codec="aac",
    preset="medium", bitrate="4000k",
    temp_audiofile="final/_tmp_audio.m4a",
    remove_temp=True
)

步骤 6：剪映专业版工作流

如果追求视觉细节、花字、特效，剪映专业版仍是当前国内首选：

导入 rough_cut.mp4 与所有音频
用「智能字幕」自动识别对白，生成初始字幕轨道
校对错字、断句、标点，标注每句起止时间
应用「字幕样式」模板，选中花字包（例如「情绪短剧」包）
添加「自动卡点」，让转场对齐 BGM 节拍
加入「蒙版转场」「模糊转场」等高级转场
导出时选择 1080p、30fps、码率 8Mbps、H.264，勾选「智能 HDR」
导出后立即用 QC 工具验证：ffprobe final.mp4

常见问题

问 1：FFmpeg 和剪映到底该选哪个？

看产量：日更 3 集以下，剪映手工效率高；日更 5 集以上，FFmpeg + MoviePy 流水线是刚需。开源栈最大优势是可复现和可批处理，剪映最大优势是所见即所得与特效库。

问 2：字幕总是对不齐？

三个常见原因：(1) TTS 输出采样率与视频不同步，检查 whisper --sampling_rate 16000；(2) 镜头实际时长与预设时长不一致，用 ffprobe 逐个校验；(3) 使用了未对齐的 SRT，必须跑一次 ffsubsync 精修。

问 3：多语言字幕怎么办？

用 Whisper 生成中文、英文、日文三套字幕，再用 Excel 或 Pandas 合并为一个 Excel 表，最后统一导入剪映。剪映支持同一字幕轨切换多语言。

问 4：批量做 30 集会不会爆炸？

用一个 orchestrator.py 主控脚本，读取 shotlist 与字幕清单，逐集调用 normalize → concat → stitch → burn_subtitle 四步，配合 xargs -P 4 并行 4 个 CPU。参考结构：

# orchestrator.py
import json, subprocess, pathlib

def build_episode(episode_dir):
    subprocess.run(["bash", "scripts/normalize.sh",
                    f"{episode_dir}/rough.mp4",
                    f"{episode_dir}/rough_norm.mp4"], check=True)
    subprocess.run(["python", "scripts/stitch.py", episode_dir], check=True)
    subprocess.run(["bash", "scripts/burn_subs.sh", episode_dir], check=True)

if __name__ == "__main__":
    for d in pathlib.Path("episodes/").iterdir():
        if d.is_dir():
            build_episode(d)