在 OpenLIT 中监控 Muapi

OpenLIT 可以为通过 OpenAI Python SDK 调用 Muapi 的应用添加监控。应用的 SDK 客户端需要使用 Muapi 兼容的聊天补全端点。

安装并初始化

安装 OpenLIT 和 OpenAI SDK：

pip install openlit openai

在发送请求前初始化 OpenLIT，并为 OpenTelemetry 收集器或 OpenLIT 部署设置 OTLP 端点：

import openlit

openlit.init(otlp_endpoint="http://127.0.0.1:4318")

发送可追踪的 Muapi 请求

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["MUAPI_API_KEY"],
    base_url="https://api.muapi.ai/v1",
)

response = client.chat.completions.create(
    model="YOUR_MUAPI_TEXT_MODEL_ID",
    messages=[{"role": "user", "content": "你好！"}],
)
print(response.choices[0].message.content)

请将模型 ID 替换为 Muapi GET /v1/models?type=text 返回的 ID。根据收集器的配置和隐私政策处理追踪数据，其中可能包含提示词和回复。