Grupos de destino
Agrupa varios modelos en un mismo balanceador y mantén estable el endpoint mientras ajustas la lógica de enrutamiento.
El modelo ideal para cada petición.
Distribuye las peticiones según la disponibilidad o su intención y envíalas al modelo más adecuado para cada tarea. Smart Balancers se adapta sin que tengas que modificar tu aplicación.
Ver cómo se elige cada rutaCONOCESMARTBALANCERS.
Mucho más que un balanceo de carga.
Smart Balancers reúne varios modelos de IA tras un único endpoint. Antes de la inferencia, evalúa cada petición y la dirige según la estrategia que definas: disponibilidad, intención o reglas personalizadas. Así, varios modelos especializados funcionan como un único servicio inteligente.
RUTASQUE SEADAPTAN.
Define la lógica de cada ruta.
Con Smart Balancers puedes elegir cómo se distribuyen las peticiones. Envíalas al modelo más adecuado según su intención o establece un orden fijo para pasar al siguiente modelo disponible cuando sea necesario.
support-balancer
petición recibida
Destino principal
Prioridad 1
Disponible
Ruta principal seleccionada
Destino de respaldo
Prioridad 2
En reserva
El destino principal está atendiendo las peticiones
SIEMPREENMARCHA.
La resiliencia está integrada en el enrutamiento.
Smart Balancers mantiene en funcionamiento los sistemas con varios modelos cuando una ruta deja de estar disponible. Los fallos se resuelven dentro del flujo normal, sin trasladarlos a la aplicación ni interrumpir el servicio.
UN MODELOPARA CADATAREA.
Aprovecha lo mejor de cada modelo especializado.
Smart Balancers identifica la intención de cada petición y la dirige al modelo más adecuado. Así puedes combinar varios modelos especializados en un único sistema sin trasladar esa decisión a tu aplicación.
Qué incluye Smart Balancers
Rutas de respaldo
Combina un grupo principal con otro de respaldo y cambia de forma ordenada entre destinos disponibles.
Enrutamiento por intención
El enrutamiento por intención consulta un modelo adicional, lo que puede aumentar la latencia y el coste al elegir el destino.
Prioridades de ruta
El modo ordenado prueba los destinos disponibles según la prioridad que hayas definido.
Endpoint compatible con OpenAI
Mantén los flujos actuales del SDK y dirígelos a un único endpoint de Smart Balancers.
Herencia del precio de capacidad
Las rutas de Compute mantienen el precio por capacidad; las de Modelos Públicos se cobran según el uso y las tarifas publicadas.
Python
from openai import OpenAI
client = OpenAI(
base_url="https://api.qdiv0.com/v1",
api_key="your-api-key",
)
response = client.chat.completions.create(
model="support-balancer",
messages=[{"role": "user", "content": prompt}],
)Integra una vez.Enruta siempre.
Añade enrutamiento sin tocar el código de tu cliente.
Llama a un único endpoint de Smart Balancers como lo harías con cualquier modelo. Configura las rutas, la detección de intención y los destinos de respaldo sin cambiar el código de tu aplicación.
