OpenLIT + Muapi

OpenLIT có thể theo dõi các yêu cầu Muapi mà ứng dụng gửi bằng OpenAI Python SDK.

Cài đặt và khởi tạo

pip install openlit openai

Khởi tạo OpenLIT trước khi gửi yêu cầu và đặt endpoint của bộ thu thập OpenTelemetry.

import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["MUAPI_API_KEY"],
    base_url="https://api.muapi.ai/v1",
)
response = client.chat.completions.create(
    model="YOUR_MUAPI_TEXT_MODEL_ID",
    messages=[{"role": "user", "content": "Hello!"}],
)
print(response.choices[0].message.content)

Gửi yêu cầu tới Muapi

Thay ID mẫu bằng ID mô hình văn bản trong danh sách Muapi. Dữ liệu trace có thể chứa prompt và câu trả lời. Hãy kiểm tra cài đặt quyền riêng tư và lưu trữ của bộ thu thập.