Gemini Omni テキストから動画生成: AI動画生成

使用 Gemini Omni 从一个文本提示生成带同步音频、对白和音乐的视频。免费试用——従量課金制,サブスクリプション不要。

📝

概要

このモデルについて

Gemini Omni 是 Google 首个原生多模态 any-to-any 基础模型,于 I/O 2026 发布。不同于串联多个专用系统的流程,Gemini Omni 在一次前向传递中同时理解文本、图像、音频和视频,可直接根据单个提示生成带同步音频的高保真视频。

该系列的首个模型 Gemini Omni Flash 专注于电影级视频生成,提供连贯的运动、逼真的物理效果,以及原生生成的对白和环境声,从而消除多阶段生成技术栈中常见的衔接痕迹。

1电影与广告:通过单个脚本式提示生成带同步对白和环境音频的广播级视频。
2社交内容:为 TikTok、Reels 和 Shorts 制作竖屏、方形或宽屏视频片段,并配备原生声音设计。
3分镜预演:在投入真人拍摄前,预先可视化包含画面、对白和声音的完整场景。
4本地化:在保留唇部动作和环境音频的同时,用新语言重新生成对白。
5教育与讲解:根据自然语言简报制作带旁白的视频课程。
💰

料金と価値

コスト分析

muapi$0.039–$0.39 per second of output (by resolution)

Billed per second of output video: $0.039/s at 360p, $0.13/s at 720p, $0.195/s at 1080p, $0.39/s at 4K. Synchronized audio included at no extra charge.

Fal.ai秒単位の同等料金

相同的底层模型(google/gemini-omni-flash/v1.1/text-to-video)。

Replicate提供なし

Gemini Omni is not currently available on Replicate.

** 競合サービスの料金は類似のモデル構成および利用ティアに基づいて算出された推定値です。

⚙️

技術詳細

設定スキーマ

プロンプトstring

所需動画内容的文本描述。Gemini Omni 対応丰富的多模态プロンプト,包括场景构图、镜头指令、对话和环境音声提示。

デフォルト値A clock begins ticking louder and rapidly grows larger, breaking through the table and floor. Its gears spin violently as the hands rotate uncontrollably. Walls crack apart as the giant clock expands until it fills the entire apartment.
長さ(秒)(秒)Enum(4個の選択肢)

生成動画的生成時間(秒)。

デフォルト値8
解像度Enum(4個の選択肢)

出力動画解像度。按出力秒数计费:360p 为 $0.039/秒,720p 为 $0.13/秒,1080p 为 $0.195/秒,4K 为 $0.39/秒。

デフォルト値1080p
アスペクト比Enum(2個の選択肢)

出力動画的アスペクト比。

デフォルト値16:9
音声 IDarray

Up to 3 voice profile IDs returned by the Gemini Omni Audio endpoint.

デフォルト値-
种子int

ランダムシード値(0–2147483647)。固定后可复现结果,但由于模型随机性,结果仍可能有所不同。

デフォルト値0
角色 IDarray

Up to 3 character IDs from Gemini Omni Character to feature in the video.

デフォルト値-
📖

実装ガイド

開発者ドキュメント

使用方法 Gemini Omni テキストから動画生成

  1. 编写丰富的多模态プロンプト Gemini Omni 更适合同时描述画面和音频的プロンプト。请包含主体、动作、场景、光照、镜头方向、对白和环境声音提示。例如:'A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones, a slow melancholic melody, distant café chatter.'

  2. 选择时长 选择 4、6、8 或 10 秒。较长的时长适合叙事场景;较短的片段适合循环、转场和社交媒体帖子。

  3. 选择分辨率

    • 360p — 快速、低成本的草稿模式
    • 720p / 1080p — 标准质量
    • 4K — 更高分辨率和更高成本
  4. 选择宽高比

    • 16:9 — 宽屏、シネマティック
    • 9:16 — 竖屏、移动端优先
  5. 提交并轮询 POST 到 /api/v1/gemini-omni-text-to-video,并轮询 GET /api/v1/predictions/{request_id}/result,直到 statuscompleted

  6. プロンプト技巧

    • 明确描述声音:'soft piano underscore'、'wind through trees'、'whispered narration'
    • 对于对白,将说出的句子放在引号中并描述说话者。
    • 指定镜头运动——'slow dolly in'、'handheld tracking shot'、'crane reveal'——以获得电影般的结果。
  7. 请求示例

    curl -X POST https://api.muapi.ai/api/v1/gemini-omni-text-to-video \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d '{
        "prompt": "A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones.",
        "duration": 8,
        "resolution": "1080p",
        "aspect_ratio": "16:9"
      }'
    

    然后继续轮询 GET /api/v1/predictions/{request_id}/result,直到 statuscompleted

よくある質問

FAQ

Gemini Omni 与 Veo 或 Sora 等テキストから動画生成模型有何不同?

Gemini Omni 是一个在一次前向传递中同时理解文本、图像、音频和视频的基础模型,而不是通过专用模型链转发出力。这样可以获得更干净的编辑、原生音频生成,以及更少的跨模态伪影。

Gemini Omni 会随视频生成音频吗?

会——同步对白、环境声和音乐会与画面在同一次处理中原生生成。如果想自行添加配乐,也可以禁用音频生成。

支持哪些视频时长?

Gemini Omni 每次生成支持 4、6、8 或 10 秒。

有哪些分辨率可用?

共有四档:360p 用于快速、低成本草稿,720p 和 1080p 用于标准出力,4K 用于最终交付——每档都按出力秒数计费。

Gemini Omni 何时会在 muapi 上线?

Google 于 2026 年 5 月 19 日的 I/O 2026 上宣布了 Gemini Omni,API 访问将在接下来几周陆续开放。API 上线后,muapi 将立即启用此端点——请关注更新页面的发布公告。