Gemini Omni Текст в Видео: AI Video Generator

使用 Gemini Omni 从一个文本提示生成带同步音频、对白和音乐的视频。免费试用——按次付费,无需订阅。

📝

Overview

About this model

Gemini Omni 是 Google 首个原生多模态 any-to-any 基础模型,于 I/O 2026 发布。不同于串联多个专用系统的流程,Gemini Omni 在一次前向传递中同时理解文本、图像、音频和视频,可直接根据单个提示生成带同步音频的高保真视频。

该系列的首个模型 Gemini Omni Flash 专注于电影级视频生成,提供连贯的运动、逼真的物理效果,以及原生生成的对白和环境声,从而消除多阶段生成技术栈中常见的衔接痕迹。

1电影与广告:通过单个脚本式提示生成带同步对白和环境音频的广播级视频。
2社交内容:为 TikTok、Reels 和 Shorts 制作竖屏、方形或宽屏视频片段,并配备原生声音设计。
3分镜预演:在投入真人拍摄前,预先可视化包含画面、对白和声音的完整场景。
4本地化:在保留唇部动作和环境音频的同时,用新语言重新生成对白。
5教育与讲解:根据自然语言简报制作带旁白的视频课程。
💰

Pricing & Value

Cost analysis

muapi$0.039–$0.39 per second of output (by resolution)

Billed per second of output video: $0.039/s at 360p, $0.13/s at 720p, $0.195/s at 1080p, $0.39/s at 4K. Synchronized audio included at no extra charge.

Fal.aiСопоставимая посекундная тарификация

相同的底层模型(google/gemini-omni-flash/v1.1/text-to-video)。

ReplicateНедоступно

Gemini Omni is not currently available on Replicate.

** Competitor pricing is estimated based on similar model architectures and usage tiers.

⚙️

Technical Details

Configuration schema

Промптstring

所需Видео内容的文本描述。Gemini Omni Поддерживается丰富的多模态Промпт,包括场景构图、镜头指令、对话和环境Аудио提示。

Default ValueA clock begins ticking louder and rapidly grows larger, breaking through the table and floor. Its gears spin violently as the hands rotate uncontrollably. Walls crack apart as the giant clock expands until it fills the entire apartment.
Длительность (секунды)(秒)Enum (4 options)

生成Видео的Длительность(秒)。

Default Value8
РазрешениеEnum (4 options)

Выходные данныеВидеоРазрешение。按Выходные данные秒数计费:360p 为 $0.039/秒,720p 为 $0.13/秒,1080p 为 $0.195/秒,4K 为 $0.39/秒。

Default Value1080p
Соотношение сторонEnum (2 options)

Выходные данныеВидео的Соотношение сторон。

Default Value16:9
Аудио IDarray

Up to 3 voice profile IDs returned by the Gemini Omni Audio endpoint.

Default Value-
种子int

Случайный сид(0–2147483647)。固定后可复现结果,但由于模型随机性,结果仍可能有所不同。

Default Value0
角色 IDarray

Up to 3 character IDs from Gemini Omni Character to feature in the video.

Default Value-
📖

Implementation Guide

Developer documentation

Как использовать Gemini Omni Текст в Видео

  1. 编写丰富的多模态Промпт Gemini Omni 更适合同时描述画面和音频的Промпт。请包含主体、动作、场景、光照、镜头方向、对白和环境声音提示。例如:'A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones, a slow melancholic melody, distant café chatter.'

  2. 选择时长 选择 4、6、8 或 10 秒。较长的时长适合叙事场景;较短的片段适合循环、转场和社交媒体帖子。

  3. 选择分辨率

    • 360p — 快速、低成本的草稿模式
    • 720p / 1080p — 标准质量
    • 4K — 更高分辨率和更高成本
  4. 选择宽高比

    • 16:9 — 宽屏、电影感
    • 9:16 — 竖屏、移动端优先
  5. 提交并轮询 POST 到 /api/v1/gemini-omni-text-to-video,并轮询 GET /api/v1/predictions/{request_id}/result,直到 statuscompleted

  6. Промпт技巧

    • 明确描述声音:'soft piano underscore'、'wind through trees'、'whispered narration'
    • 对于对白,将说出的句子放在引号中并描述说话者。
    • 指定镜头运动——'slow dolly in'、'handheld tracking shot'、'crane reveal'——以获得电影般的结果。
  7. 请求示例

    curl -X POST https://api.muapi.ai/api/v1/gemini-omni-text-to-video \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d '{
        "prompt": "A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones.",
        "duration": 8,
        "resolution": "1080p",
        "aspect_ratio": "16:9"
      }'
    

    然后继续轮询 GET /api/v1/predictions/{request_id}/result,直到 statuscompleted

Common Questions

Frequently asked

Gemini Omni 与 Veo 或 Sora 等Текст в Видео模型有何不同?

Gemini Omni 是一个在一次前向传递中同时理解文本、图像、音频和视频的基础模型,而不是通过专用模型链转发Выходные данные。这样可以获得更干净的编辑、原生音频生成,以及更少的跨模态伪影。

Gemini Omni 会随视频生成音频吗?

会——同步对白、环境声和音乐会与画面在同一次处理中原生生成。如果想自行添加配乐,也可以禁用音频生成。

支持哪些视频时长?

Gemini Omni 每次生成支持 4、6、8 或 10 秒。

有哪些分辨率可用?

共有四档:360p 用于快速、低成本草稿,720p 和 1080p 用于标准Выходные данные,4K 用于最终交付——每档都按Выходные данные秒数计费。

Gemini Omni 何时会在 muapi 上线?

Google 于 2026 年 5 月 19 日的 I/O 2026 上宣布了 Gemini Omni,API 访问将在接下来几周陆续开放。API 上线后,muapi 将立即启用此端点——请关注更新页面的发布公告。