Gemini Omni 1.1 Flash 参考इमेज टू वीडियो: Image-to-Video

使用 Gemini Omni 1.1 Flash 生成视频,并在प्रॉम्प्ट中通过标签引用多张图像和短视频片段。免费试用——按次生成付费。

📝

Overview

About this model

Gemini Omni 1.1 Flash 参考इमेज टू वीडियो会根据प्रॉम्प्ट生成新视频,प्रॉम्प्ट可直接通过标签引用参考媒体——最多 7 张参考图像和最多 3 个短参考视频片段(每个最长 3 秒),并按照 URL 列出的顺序在प्रॉम्प्ट中使用 <IMAGE_REF_0><VIDEO_REF_0> 等标签。这样,单条प्रॉम्प्ट就能组合多个不同的视觉和运动参考,而无需僵化的配额系统。若要使用单视频编辑流程,请参阅 Gemini Omni 1.1 Flash 视频编辑。若要使用参考图像、语音和 character IDs 进行टेक्स्ट टू वीडियो,请参阅 Gemini Omni 1.1 Flash。若要进行关键帧驱动的इमेज टू वीडियो,请参阅 Gemini Omni 1.1 Flash इमेज टू वीडियो

1多参考合成:将多张参考图像和片段组合到一个新场景中,并在प्रॉम्प्ट中逐一引用。
2风格与运动迁移:在参考静态图像的主体或风格的同时,借鉴短片段的运动。
3重复元素一致性:在多次生成中重复使用同一组参考图像和片段,保持视觉连续性。
4快速概念探索:测试不同参考组合如何影响生成场景。
54K 最终交付:确定参考组合后,以更高分辨率渲染已批准的概念。
💰

Pricing & Value

Cost analysis

muapi$0.048–$0.48 per second of output (by resolution)

Pay-per-generation, no subscription. Combine up to 7 reference images and 3 short reference video clips in one call.

Fal.aiतुलनीय प्रति-सेकंड दरें

相同的底层模型(google/gemini-omni-flash/v1.1/reference-to-video)。

Replicateउपलब्ध नहीं

Gemini Omni 1.1 Flash Reference to Video is not listed on Replicate.

** Competitor pricing is estimated based on similar model architectures and usage tiers.

⚙️

Technical Details

Configuration schema

प्रॉम्प्टstring

描述वीडियो的文本प्रॉम्प्ट。参考媒体按列表顺序在प्रॉम्प्ट中引用,例如 <IMAGE_REF_0>、<VIDEO_REF_0>。

Default ValueA cat inspired by <IMAGE_REF_0> walks through the setting in <VIDEO_REF_0>.
参考इमेजarray

URLs of reference images to incorporate into the video, referenced in the prompt as <IMAGE_REF_0>, <IMAGE_REF_1>, etc.

Default Value-
参考वीडियोarray

Up to 3 reference video clips, each at most 3 seconds long, referenced in the prompt as <VIDEO_REF_0>, <VIDEO_REF_1>, etc.

Default Value-
पहलू अनुपातEnum (2 options)

आउटपुटवीडियो的पहलू अनुपात。

Default Value16:9
रिज़ॉल्यूशनEnum (4 options)

Output resolution. Billed per second of generated video: $0.048/s at 360p, $0.16/s at 720p, $0.24/s at 1080p, $0.48/s at 4K.

Default Value720p
अवधि (सेकंड)(秒)int

Duration of the generated video, in seconds.

Default Value8
📖

Implementation Guide

Developer documentation

उपयोग कैसे करें Gemini Omni 1.1 Flash 参考इमेज टू वीडियो

  1. 收集参考媒体 最多提供 7 张参考图像(image_urls)和最多 3 个参考视频片段(reference_video_urls,每个最长 3 秒)。

  2. 编写通过标签引用每个参考的प्रॉम्प्ट 参考媒体在प्रॉम्प्ट中的引用顺序与列表顺序一致:第一张图像是 <IMAGE_REF_0>,第二张是 <IMAGE_REF_1>,依此类推;第一个视频是 <VIDEO_REF_0>,以此类推。示例:'A cat inspired by <IMAGE_REF_0> walks through the setting in <VIDEO_REF_0>.'

  3. 选择时长、分辨率和宽高比 时长为 3–10 秒(默认为 8)。分辨率按秒计费:360p 为 $0.048/s,720p 为 $0.16/s,1080p 为 $0.24/s,4K 为 $0.48/s。

  4. 提交并轮询

    curl -X POST https://api.muapi.ai/api/v1/gemini-omni-flash-1-1-reference-to-video \
      -H "Authorization: Bearer YOUR_API_KEY" \
      -H "Content-Type: application/json" \
      -d '{
        "prompt": "A cat inspired by <IMAGE_REF_0> walks through the setting in <VIDEO_REF_0>.",
        "image_urls": ["https://example.com/cat.jpg"],
        "reference_video_urls": ["https://example.com/setting.mp4"],
        "resolution": "1080p"
      }'
    

    然后轮询 GET /api/v1/predictions/{request_id}/result,直到 statuscompleted

  5. प्रॉम्प्ट技巧

    • 确保标签顺序与 URL 列表顺序一致——<IMAGE_REF_0> 始终对应 image_urls 中的第一项。
    • 描述每个参考应उपयोग कैसे करें(主体、场景或运动),而不只是写出标签名称。
    • 提交前应将超过 3 秒的参考视频裁剪到更短。

Common Questions

Frequently asked

Gemini Omni 1.1 Flash 参考इमेज टू वीडियो是什么?

它会根据प्रॉम्प्ट生成新视频;प्रॉम्प्ट通过标签——`<IMAGE_REF_0>`、`<VIDEO_REF_0>` 等——引用参考图像和短参考视频片段,并在一次请求中组合最多 7 张图像和 3 个视频片段。

参考标签如何工作?

参考媒体按 URL 列出的顺序进行引用:第一个 `image_urls` 项是 `<IMAGE_REF_0>`,第二个是 `<IMAGE_REF_1>`,依此类推;第一个 `reference_video_urls` 项是 `<VIDEO_REF_0>`,以此类推。请直接在 `prompt` 文本中使用这些标签。

参考视频可以有多长?

每个参考视频片段最长为 3 秒,每次请求最多可提供 3 个参考视频。

如何计费?

根据生成视频的分辨率按秒计费:360p 为 $0.048/s,720p 为 $0.16/s,1080p 为 $0.24/s,4K 为 $0.48/s。10 秒的 1080p 片段费用为 $2.40。

它与 Gemini Omni 1.1 Flash 视频编辑有何不同?

视频编辑使用一个源视频和一条编辑指令,返回同一片段的重新设计版本。参考इमेज टू वीडियो则根据प्रॉम्प्ट生成新视频,并利用按标签引用的多张参考图像和片段。