AI短剧系列 | 第 21 天：LTX 2.3 图生视频——静态图转动态短剧场景

在前几篇里，我们已经用 LTX 2.3 完成了文生视频和提示词运动控制。但对于短剧创作者来说，真正高频的场景往往不是「凭空生成」，而是「把一张已经定稿的静态画面动起来」——比如主角站在雨中的一张海报图，你要让它变成镜头缓缓推进、雨丝飘落、发梢微动的几秒动态场景。这就是图生视频（Image-to-Video）的价值所在。

今天我们就围绕 LTX 2.3 的图生视频能力，讲清楚它和文生视频的区别、输入图的门槛、关键参数，以及如何把一张静态图稳定地转成短剧可用的动态镜头。

一、为什么短剧要用图生视频

短剧制作里，「画面可控」远比「生成速度快」更重要。文生视频虽然方便，但纯文字提示很难精确还原某个已经设计好的角色、构图和色调；而图生视频允许你先用 ComfyUI 或者 Midjourney 把关键帧「定死」，再由 LTX 2.3 负责补足时间维度上的运动，从而：

保持角色外貌、服装、场景一致，减少「换脸」「漂移」问题；
让导演对构图有绝对控制权，首帧就是你要的画面；
配合前几篇提到的多镜头衔接，可以逐帧「喂图」拼出完整段落。

二、核心概念：图生视频的工作方式

LTX 2.3 的图生视频，本质上是把输入图编码成潜在表示，再以此为条件引导扩散模型生成后续帧。理解下面三个概念，参数就不会乱调。

首帧条件（first-frame conditioning）：输入图只约束第一帧，后续帧由模型按运动提示自由演化。适合「镜头推进」「人物转身」这类有主动作的变化。
运动强度（motion strength）：控制画面整体运动的幅度，过大会抖动、人物变形，过小则看起来像静态图加了一点噪点。
负向提示（negative prompt）：用来压制不希望出现的伪影，例如「模糊、重影、多余肢体、文字乱码」。

三、实战步骤：一张静态图到动态镜头

下面以一个「雨夜街头女主回眸」的短剧片段为例，走一遍完整流程。

3.1 准备首帧图

先用 ComfyUI 或任意文生图工具生成一张 1024×576（16:9）的首帧，人物居中、留出运动空间，避免主体贴边（否则运动时会被裁掉或拉变形）。

# 检查图片尺寸，确保是 16:9 的横向构图
identify first_frame.png
# 预期输出：first_frame.png PNG 1024x576 1024x576+0+0 8-bit sRGB

3.2 编写图生视频提示词

提示词要同时描述「画面内容」和「运动方式」。运动词是灵魂，尽量用具体的镜头语言。

prompt: "雨夜街头，女主缓缓回眸，发丝被风吹起，雨丝斜落，霓虹灯在背景闪烁，电影感，浅景深，4k"
negative_prompt: "模糊，重影，变形，多余手指，多余肢体，文字，水印，低质量"
image_path: "first_frame.png"
motion_strength: 0.65
duration: 5
fps: 24

3.3 用 LTX 2.3 生成视频

LTX 2.3 提供了命令行和 API 两种方式。命令行示例：

ltx-video generate 
  --image first_frame.png 
  --prompt "雨夜街头，女主缓缓回眸，发丝被风吹起，雨丝斜落，霓虹灯背景闪烁，电影感" 
  --negative-prompt "模糊，重影，变形，多余肢体，文字，水印" 
  --motion-strength 0.65 
  --duration 5 
  --fps 24 
  --output scene_21.mp4

如果走 API，请求体长这样：

{
  "model": "ltx-2.3-image-to-video",
  "input_image": "https://your-cdn.com/first_frame.png",
  "prompt": "雨夜街头，女主缓缓回眸，发丝被风吹起，电影感",
  "negative_prompt": "模糊，重影，变形",
  "motion_strength": 0.65,
  "duration_seconds": 5,
  "fps": 24
}

3.4 批量处理多张首帧

短剧往往需要连续多个镜头，把首帧图和提示词做成清单，写个循环批量跑：

import subprocess
import json

shots = [
    {"image": "f01.png", "prompt": "女主抬头望向镜头", "motion": 0.6},
    {"image": "f02.png", "prompt": "镜头缓慢推进，雨滴落在肩膀", "motion": 0.5},
    {"image": "f03.png", "prompt": "女主转身走向街角", "motion": 0.7},
]

for i, s in enumerate(shots, start=1):
    subprocess.run([
        "ltx-video", "generate",
        "--image", s["image"],
        "--prompt", s["prompt"],
        "--motion-strength", str(s["motion"]),
        "--duration", "5",
        "--fps", "24",
        "--output", f"scene_{i:02d}.mp4",
    ])
print("batch done")

四、常见问题

人物变形 / 多手多脚怎么办：优先降低 motion_strength，并把「多余肢体、变形」写进 negative_prompt；主体离画面边缘远一些也有帮助。
画面几乎不动：运动强度过低或提示词缺少运动词。把 motion_strength 提到 0.6 以上，提示词加入「缓缓推进」「回眸」「转身」等动作。
首帧和后续帧风格不一致：确保首帧图分辨率、色调统一；不要在一批镜头里混用不同风格的底图。
视频闪烁（flicker）：减少剧烈运动词，必要时用去闪烁后处理，或在剪辑软件里叠加轻微稳定。