关于此模型
Gemini Omni 是 Google 首个原生多模态 any-to-any 基础模型,于 I/O 2026 发布。不同于串联多个专用系统的流程,Gemini Omni 在一次前向传递中同时理解文本、图像、音频和视频,可直接根据单个提示生成带同步音频的高保真视频。
该系列的首个模型 Gemini Omni Flash 专注于电影级视频生成,提供连贯的运动、逼真的物理效果,以及原生生成的对白和环境声,从而消除多阶段生成技术栈中常见的衔接痕迹。
成本分析
| 提供商 | 费用 | 备注 |
|---|---|---|
| muapi | $0.039–$0.39 按输出秒数计费 (by 分辨率) | Billed 每秒 of output video: $0.039/s at 360p, $0.13/s at 720p, $0.195/s at 1080p, $0.39/s at 4K. Synchronized audio included at no extra charge. |
| Fal.ai | 可比的按秒定价 | 相同的底层模型(google/gemini-omni-flash/v1.1/text-to-video)。 |
| Replicate | 暂不可用 | Gemini Omni is 目前不可用 on Replicate. |
Billed 每秒 of output video: $0.039/s at 360p, $0.13/s at 720p, $0.195/s at 1080p, $0.39/s at 4K. Synchronized audio included at no extra charge.
相同的底层模型(google/gemini-omni-flash/v1.1/text-to-video)。
Gemini Omni is 目前不可用 on Replicate.
** 竞品价格根据相似模型架构和使用层级估算。
配置参数
| 参数 | 类型 | 描述 | 默认值 |
|---|---|---|---|
| 提示词 | string | 所需视频内容的文本描述。Gemini Omni 支持丰富的多模态提示词,包括场景构图、镜头指令、对话和环境音频提示。 | A clock begins ticking louder and rapidly grows larger, breaking through the table and floor. Its gears spin violently as the hands rotate uncontrollably. Walls crack apart as the giant clock expands until it fills the entire apartment. |
| 时长(秒) | 枚举(4 个选项) | 生成视频的时长(秒)。 | 8 |
| 分辨率 | 枚举(4 个选项) | 输出视频分辨率。按输出秒数计费:360p 为 $0.039/秒,720p 为 $0.13/秒,1080p 为 $0.195/秒,4K 为 $0.39/秒。 | 1080p |
| 画面比例 | 枚举(2 个选项) | 输出视频的画面比例。 | 16:9 |
| 音频 ID | array | 最多 3 voice profile IDs returned by the Gemini Omni Audio endpoint. | - |
| 种子 | int | 随机种子(0–2147483647)。固定后可复现结果,但由于模型随机性,结果仍可能有所不同。 | 0 |
| 角色 ID | array | 最多 3 character IDs from Gemini Omni Character to feature in the video. | - |
所需视频内容的文本描述。Gemini Omni 支持丰富的多模态提示词,包括场景构图、镜头指令、对话和环境音频提示。
A clock begins ticking louder and rapidly grows larger, breaking through the table and floor. Its gears spin violently as the hands rotate uncontrollably. Walls crack apart as the giant clock expands until it fills the entire apartment.生成视频的时长(秒)。
8输出视频分辨率。按输出秒数计费:360p 为 $0.039/秒,720p 为 $0.13/秒,1080p 为 $0.195/秒,4K 为 $0.39/秒。
1080p输出视频的画面比例。
16:9最多 3 voice profile IDs returned by the Gemini Omni Audio endpoint.
-随机种子(0–2147483647)。固定后可复现结果,但由于模型随机性,结果仍可能有所不同。
0最多 3 character IDs from Gemini Omni Character to feature in the video.
-开发者文档
编写丰富的多模态提示词 Gemini Omni 更适合同时描述画面和音频的提示词。请包含主体、动作、场景、光照、镜头方向、对白和环境声音提示。例如:'A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones, a slow melancholic melody, distant café chatter.'
选择时长 选择 4、6、8 或 10 秒。较长的时长适合叙事场景;较短的片段适合循环、转场和社交媒体帖子。
选择分辨率
360p — 快速、低成本的草稿模式720p / 1080p — 标准质量4K — 更高分辨率和更高成本选择宽高比
16:9 — 宽屏、电影感9:16 — 竖屏、移动端优先提交并轮询
POST 到 /api/v1/gemini-omni-text-to-video,并轮询 GET /api/v1/predictions/{request_id}/result,直到 status 为 completed。
提示词技巧
请求示例
curl -X POST https://api.muapi.ai/api/v1/gemini-omni-text-to-video \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"prompt": "A street musician plays a violin on a rainy Paris evening, raindrops tap the cobblestones.",
"duration": 8,
"resolution": "1080p",
"aspect_ratio": "16:9"
}'
然后继续轮询 GET /api/v1/predictions/{request_id}/result,直到 status 为 completed。
常见问答
Gemini Omni 是一个在一次前向传递中同时理解文本、图像、音频和视频的基础模型,而不是通过专用模型链转发输出。这样可以获得更干净的编辑、原生音频生成,以及更少的跨模态伪影。
会——同步对白、环境声和音乐会与画面在同一次处理中原生生成。如果想自行添加配乐,也可以禁用音频生成。
Gemini Omni 每次生成支持 4、6、8 或 10 秒。
共有四档:360p 用于快速、低成本草稿,720p 和 1080p 用于标准输出,4K 用于最终交付——每档都按输出秒数计费。
Google 于 2026 年 5 月 19 日的 I/O 2026 上宣布了 Gemini Omni,API 访问将在接下来几周陆续开放。API 上线后,muapi 将立即启用此端点——请关注更新页面的发布公告。