Gemini Omni 1.1 Flash: AI Video Generator

Como Usar Gemini Omni 1.1 Flash

1. 编写多模态Prompt 将视觉内容、镜头指示、对白和环境声一起描述。示例：'巴黎雨夜，一位街头音乐家拉着小提琴，雨滴敲打着鹅卵石，缓慢而忧郁的旋律，远处传来咖啡馆的交谈声。'

2. 叠加可选条件Entrada

   • 参考图像（image_urls，最多 7 张），作为辅助视觉条件Entrada。
   • 参考视频（video_url + trim_start/trim_end，最长 10 秒窗口），用于以连续性为导向的延展。
   • 语音配置（audio_ids）和/或角色参考（character_ids）。

3. 遵守共享配额 每张图像计 1 个单位，参考视频计 2 个单位，每个角色 ID 计 1 个单位——总数不得超过 7。

4. 选择时长、分辨率和宽高比 提供参考视频时，时长（4/6/8/10s）会被忽略——模型决定Saída长度。分辨率按Saída每秒计费：720p 为 $0.10/s，1080p 为 $0.15/s，4K 为 $0.30/s。

5. 提交并轮询

   curl -X POST https://api.muapi.ai/api/v1/gemini-omni-flash-1-1-text-to-video \
     -H "Authorization: Bearer YOUR_API_KEY" \
     -H "Content-Type: application/json" \
     -d '{
       "prompt": "A street musician plays a violin on a rainy Paris evening",
       "image_urls": ["https://example.com/scene.jpg"],
       "duration": 8,
       "resolution": "1080p",
       "aspect_ratio": "16:9"
     }'
   

   然后调用 GET /api/v1/predictions/{request_id}/result 轮询，直到 status 为 completed。

6. Prompt技巧

   • 明确描述声音：'soft piano underscore'、'wind through trees'。
   • 对于对白，引用说出的台词并描述说话者。
   • 指定镜头运动——'slow dolly in'、'handheld tracking shot'——以获得电影感效果。