API
API de inferencia
Utiliza el mismo formato compatible con OpenAI para despliegues, modelos públicos y endpoints de LLM Model Routing.
Un único formato de petición
Envía chat completions, embeddings y parámetros compatibles a https://api.qdiv0.com/v1. El campo model selecciona un despliegue, un modelo público o un endpoint de routing.
inference.py
1from openai import OpenAI
2
3client = OpenAI(
4 base_url="https://api.qdiv0.com/v1",
5 api_key="qdiv0_sk_...",
6)
7
8response = client.chat.completions.create(
9 model="your-serving-name",
10 messages=[{"role": "user", "content": "Hello"}],
11)
12
13print(response.choices[0].message.content)Elige el backend
Usa el nombre público de un despliegue para cargas con precio por capacidad, un identificador del catálogo para modelos por uso o un nombre de LLM Model Routing para que QDivZero elija el destino.
Controles operativos
Streaming, herramientas y LLM Firewall se activan en cada petición. No necesitas introducir otro gateway ni cambiar de SDK.