Protecciones de producción con un identificador.
Firewall se coloca antes del modelo. Agrupa reglas, elige modo de aviso, bloqueo o auditoría y referencia el identificador en peticiones de chat compatibles.
OpenAI-compatible
response = client.chat.completions.create(
model="your-model",
messages=[{"role": "user", "content": prompt}],
extra_body={"firewall": "production-guardrails"},
)
Mira el recorrido de la petición antes de que el modelo vea nada.
En las peticiones de chat completions compatibles, pasa extra_body={"firewall": "your-slug"}. Firewall evalúa la petición antes de que empiece la inferencia. La entrada insegura se detiene en el límite. La entrada segura continúa.
Usuario
Cliente
Mensaje
Ayúdame a escribir instrucciones para hacer daño.
Firewall
Comprobación de política
bloqueada
Devuelve un error antes de invocar el modelo objetivo
Asistente
Modelo
Respuesta
No se envía ninguna respuesta
Usuario
Cliente
Mensaje
¡Hola!
Firewall
Comprobación de política
permitida
La petición llega al modelo
Asistente
Modelo
Respuesta
Estoy bien, ¿en qué puedo ayudarte?
Dos formas de aplicar la política.
Avisa al modelo y deja que explique.
Firewall evalúa la petición. Si detecta algo, indica al modelo que no es segura y le pide que explique el motivo al usuario. El modelo sigue respondiendo, pero con contexto de protección.
Detén peticiones inseguras antes de la inferencia.
Firewall evalúa la petición. Si detecta algo, devuelve un error antes de invocar el modelo objetivo. Las peticiones bloqueadas no consumen capacidad del modelo objetivo.
Reglas de producción, mantenidas por ti.
A continuación se muestran siete reglas integradas de seguridad, privacidad, abuso y protección del modelo.
Inteligencia de reglas
1/7abuso
altaMalware, fraude y abuso
public:malware-fraud-abuse
Detecta peticiones sobre malware, estafas, fraude o uso abusivo.
Tus reglas, tus instrucciones.
Crea reglas con tus propias instrucciones para filtrar lo que necesita tu aplicación. Las reglas personalizadas usan los mismos modos, API y ruta de aplicación que las reglas integradas.
“No dejes que el modelo hable de fútbol.”
Las reglas personalizadas usan los mismos modos de bloqueo, permiso o auditoría que las reglas integradas. Describe qué quieres detectar y Firewall se encarga del resto.
Qué incluye Firewall.
Reglas integradas
A continuación se muestran siete reglas integradas.
Reglas personalizadas
Define tus propias políticas con prompts.
Modo permitir
Continúa la petición con una anotación cuando coincide una regla.
Modo bloqueo
Devuelve un error antes de invocar el modelo objetivo.
Compatible con OpenAI
Pasa Firewall como campo de la petición en chat completions compatibles.
Modelo evaluador
Configura el modelo que ejecuta la evaluación.
Añade un slug de firewall a peticiones de chat completions compatibles.
Las peticiones compatibles pueden incluir un campo firewall con el slug. El evaluador se ejecuta antes del modelo y el modo decide qué ocurre después.
Ver documentaciónfrom openai import OpenAI
client = OpenAI(
base_url="https://api.qdiv0.com/v1",
api_key="your-api-key",
)
response = client.chat.completions.create(
model="your-model",
messages=[
{"role": "user", "content": prompt},
],
extra_body={"firewall": "production-guardrails"},
)Añade protecciones a la inferencia de producción.
Empieza con Compute, configura un firewall y mantén las peticiones no deseadas lejos de tus modelos.