Gemini Audio Vision 音频理解: AI Large Language Models

Как использовать Gemini Audio Vision

1. 提供音频 URL：将音频托管在公开可访问的 URL（例如 S3 或 CDN 链接）上，并将其作为 audio_url 传入。

2. 编写Промпт：描述希望分析的内容——转录、结构化 JSON 拆解，或关于音频内容（语气、说话人、背景声音）的具体问题。

3. 可选地设置系统Промпт：使用 system_prompt 控制Выходные данные格式，例如“仅返回结构化 JSON，不要 prose”。

4. 选择模型：当前支持的选项是 gemini-2.5-flash，适合大多数转录、质量检查和摘要任务，速度快且准确。

5. 提交并轮询：与所有 Muapi 端点一样，提交请求并轮询 /predictions/{request_id}/result，直到 status 为 completed。

Python：

import requests, time

API_KEY = "your_api_key_here"
headers = {"x-api-key": API_KEY, "Content-Type": "application/json"}

r = requests.post("https://api.muapi.ai/api/v1/gemini-audio-vision", headers=headers,
    json={
        "prompt": "Transcribe this audio and describe the speaker's tone and any background sounds.",
        "audio_url": "https://example.com/my-audio.mp3"
    })
request_id = r.json()["request_id"]

while True:
    result = requests.get(f"https://api.muapi.ai/api/v1/predictions/{request_id}/result", headers=headers).json()
    if result["status"] == "completed":
        print(result["output"]["text"])
        break
    time.sleep(3)

cURL：

curl -X POST https://api.muapi.ai/api/v1/gemini-audio-vision \
  -H "x-api-key: YOUR_API_KEY" -H "Content-Type: application/json" \
  -d '{"prompt": "Transcribe and describe this audio in detail.", "audio_url": "https://example.com/my-audio.mp3"}'

较长的音频文件处理时间更长，因为 Gemini 需要上传并摄取完整文件——根据音频时长，预计响应时间从几秒到大约一分钟不等。