LLM Model Routing
Crea un endpoint de routing
Configura el nombre público, la estrategia de routing y los destinos que utilizarán los clientes.
Construye el conjunto de rutas
Elige el modo, añade destinos saludables y define su prioridad. El modo por intención también necesita un clasificador y una ruta por defecto.
Prueba antes de habilitar
Llama al endpoint con prompts representativos y comprueba la ruta elegida, la latencia y el failover antes de enviar tráfico de producción.