API de inferencia
Transmite respuestas
Recibe la salida del modelo de forma incremental mediante el formato Server-Sent Events de OpenAI.
Activa el streaming
Define stream como true. Los SDK compatibles con OpenAI devuelven un iterador y gestionan automáticamente el cierre del stream.
stream.py
1stream = client.chat.completions.create(
2 model="your-serving-name",
3 messages=[{"role":"user","content":"Hola"}],
4 stream=True,
5)Herramientas y protección
LLM Firewall se ejecuta antes de iniciar el stream. Las herramientas compatibles se ejecutan o se reenvían con las mismas reglas que en una petición no transmitida.