Gemini Omni 1.1 Flash 参考图生视频: 图像转视频

如何使用 Gemini Omni 1.1 Flash 参考图生视频

1. 收集参考媒体 最多提供 7 张参考图像（image_urls）和最多 3 个参考视频片段（reference_video_urls，每个最长 3 秒）。

2. 编写通过标签引用每个参考的提示词 参考媒体在提示词中的引用顺序与列表顺序一致：第一张图像是 <IMAGE_REF_0>，第二张是 <IMAGE_REF_1>，依此类推；第一个视频是 <VIDEO_REF_0>，以此类推。示例：'A cat inspired by <IMAGE_REF_0> walks through the setting in <VIDEO_REF_0>.'

3. 选择时长、分辨率和宽高比 时长为 3–10 秒（默认为 8）。分辨率按秒计费：360p 为 $0.048/s，720p 为 $0.16/s，1080p 为 $0.24/s，4K 为 $0.48/s。

4. 提交并轮询

   curl -X POST https://api.muapi.ai/api/v1/gemini-omni-flash-1-1-reference-to-video \
     -H "Authorization: Bearer YOUR_API_KEY" \
     -H "Content-Type: application/json" \
     -d '{
       "prompt": "A cat inspired by <IMAGE_REF_0> walks through the setting in <VIDEO_REF_0>.",
       "image_urls": ["https://example.com/cat.jpg"],
       "reference_video_urls": ["https://example.com/setting.mp4"],
       "resolution": "1080p"
     }'
   

   然后轮询 GET /api/v1/predictions/{request_id}/result，直到 status 为 completed。

5. 提示词技巧

   • 确保标签顺序与 URL 列表顺序一致——<IMAGE_REF_0> 始终对应 image_urls 中的第一项。
   • 描述每个参考应如何使用（主体、场景或运动），而不只是写出标签名称。
   • 提交前应将超过 3 秒的参考视频裁剪到更短。