muapi Logomuapi Logo
muapi Logomuapi Logo

Volcengine 视频唇形同步: AI 视频编辑器

使用 Volcengine Lip Sync 将任意视频的唇形与新的音轨同步。支持场景检测和人声分离。免费试用，按次生成付费。

📝

概览

关于此模型

Volcengine 视频唇形同步会重新调整现有视频中的嘴部动作，使其匹配新的目标音轨，从而生成自然的配音或重新配声结果。它支持快速的 lite 模式，针对单人正面镜头进行了优化；还支持 basic 模式，为更复杂的多镜头场景增加场景分割和说话人识别。输出以 25fps 的 MP4 返回，时长跟随音轨：如果视频比音频长则裁剪视频，如果更短则循环视频。可选的人声分离功能会在应用驱动音频前去除其中的背景噪声。

1本地化：在保留原始画面的同时，将现有素材重新配成其他语言。
2内容再利用：无需重新拍摄，就能为现有口播视频替换新的旁白或脚本。
3营销：批量使用新的音频信息更新广告或产品视频。
4播客转视频：为搭配单独录制音轨的视频片段添加同步唇形动作。
5无障碍：为多语言受众制作与音频匹配的视频版本。
💰

价格与价值

成本分析

muapiapp$0.06/秒 of 音频 (1.3× margin applied)

按次生成, 无需订阅 required.

Fal.ai暂不可用

Fal.ai 不提供 this specific model.

Replicate暂不可用

Replicate 不提供 this specific model.

** 竞品价格根据相似模型架构和使用层级估算。

⚙️

技术详情

配置参数

模式枚举（2 个选项）

服务模式。'lite' 用于单人正面视频，处理速度更快；'basic' 用于单人复杂场景，并支持场景分割和说话人识别。

默认值lite
视频 URLstring

视频 URL。支持的分辨率：360p-1080p。高于 1080p 的视频会压缩为 1080p；不支持低于 360p 的视频。支持的格式：MOV、MP4、HDR。文件最大为 500MB。

默认值https://d3adwkbyhxyrtq.cloudfront.net/muapi/data/volcengine-lipsync-video.mp4
音频 URLstring

用于驱动视频口型动作的纯人声音频 URL。文件最大为 10MB。

默认值https://d3adwkbyhxyrtq.cloudfront.net/muapi/data/volcengine-lipsync-audio.mp3
分离人声boolean

启用人声分离以抑制背景噪声。

默认值false
场景检测boolean

启用场景分割和说话人识别。仅支持 Basic 模式。

默认值false
对齐音频（循环视频）boolean

支持 Lite 模式。当音频长于视频时是否循环视频。

默认值true
反向对齐音频boolean

支持 Lite 模式。是否反向循环视频。要求 align_audio 为 true。

默认值false
模板开始秒数int

Supported in Lite mode. Start time of the template video, （秒）.

默认值0
📖

实施指南

开发者文档

如何使用 Volcengine 视频唇形同步

  1. 准备输入：上传源视频（360p–1080p、MOV/MP4/HDR，最大 500MB）和用于驱动唇形动作的干净人声音轨（MP3、WAV、AAC 或 OGG，最大 10MB）。

  2. 选择模式：单人正面视频使用 mode: "lite" 以获得更快处理速度；多镜头或多说话人的复杂场景使用 mode: "basic"（会启用 open_scenedet）。

  3. 调整对齐（lite 模式）：如果音频长于视频，align_audio（默认值为 true）会循环视频以匹配时长；align_audio_reverse 则改为反向循环。templ_start_seconds 用于设置模板在视频中的起始位置。

  4. 提交并轮询：调用下面的端点，然后轮询任务详情端点（或使用 callBackUrl），直到任务完成。

curl -X POST https://api.muapi.ai/api/v1/volcengine-video-to-video-lip-sync \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "mode": "lite",
    "video_url": "https://your-domain.com/video/example.mp4",
    "audio_url": "https://your-domain.com/audio/speech.mp3",
    "separate_vocal": false
  }'
❓

常见问题

常见问答

Volcengine 视频唇形同步可以做什么？

它接收现有视频和目标音轨，然后重新生成说话人的嘴部动作，使其匹配新音频，适合在无需重新拍摄的情况下为素材配音或重新配声。

`lite` 和 `basic` 模式有什么区别？

`lite` 模式针对单人、正面镜头的视频进行了优化，处理速度更快。`basic` 模式支持更复杂的场景，包括通过 `open_scenedet` 进行场景分割和说话人识别。

支持哪些视频和音频格式？

视频：MOV、MP4 或 HDR，360p–1080p 分辨率（高于 1080p 会压缩到更低分辨率），最大 500MB，24–60fps，1–30 Mbps 比特率。音频：MP3、WAV、AAC、MP4-audio 或 OGG，最大 10MB。

如果音频比视频长或短，会发生什么？

输出时长始终跟随音频。如果视频短于音频，视频会循环（`align_audio`），也可以选择反向循环（`align_audio_reverse`）来填补差额。如果视频更长，则会裁剪到音频时长。

`separate_vocal` 有什么作用？

启用后，它会对输入音频执行人声分离，在用音频驱动唇形动作前抑制背景音乐或噪声，从而提高嘈杂音轨上的同步准确度。

输出视频的分辨率和帧率是多少？

生成的视频以 25fps 的 MP4 返回，分辨率与输入视频一致，最高为 1080p。