Monitorización de modelos de IA, pensada para APIs de LLM.

Un simple 200 OK no significa nada para un LLM. El canario mide el tiempo real hasta el primer token y valida el contenido y el formato de la respuesta, no solo el estado HTTP.

Max+5 modelos de IA en Max · 20 en Enterprise
Comprobaciones canario · modelos de IA EN DIRECTO
api.anthropic.com/v1/messagesclaude-haiku-4-5 UP 412 ms
api.openai.com/v1/chat/completionsgpt-4o-mini UP 380 ms
bedrock-runtime.eu-west-1claude-3-haiku DEGRADED 2.1 s
api.mistral.ai/v1mistral-small 429 rate limit
Cuatro estados

Un estado binario no basta para un LLM.

La mayoría de los incidentes de LLM siguen devolviendo 200: un token que nunca llega, un contenido incorrecto o un JSON mal formado. Es el estado que la monitorización clásica no ve.

UP 200 · 412 ms
HTTP 200, tiempo hasta el primer token bajo el umbral, contenido y formato válidos.
DEGRADED 200 · 2.1 s
200, pero TTFT superado, contenido incorrecto o formato no válido. El caso más habitual en la práctica.
DOWN 503
Distinto de 200, timeout, conexión rechazada o stream interrumpido.
RATE LIMIT 429
Un 429 aislado: cuota y backoff que corregir por tu parte, no un incidente del proveedor.
Cómo funciona

Un canario, no una suposición.

Tres comprobaciones, coste casi nulo.

01 Canario determinista Temperatura 0 y una respuesta esperada trivial ("PONG"): coste casi nulo incluso con una comprobación por minuto.
02 Medir el primer token real El TTFT se mide en el primer fragmento de texto, no en el primer byte HTTP. Si no, la ralentización pasa desapercibida.
03 Aserciones de contenido + formato Un canario "PONG" y un canario de esquema JSON detectan también las regresiones silenciosas de salida estructurada.
Por qué importa el momento

Mide el primer token, no el primer byte.

Dónde detienen el reloj la mayoría de las comprobaciones, y dónde está realmente el problema.

petición enviadaTLS establecidocabeceras 200 → esperandoprimer token → stream

Las cabeceras HTTP llegan mucho antes que el primer token. Una comprobación que detiene el reloj en las cabeceras oculta justo la ralentización que debe detectar.

Qué incluye

Tres canarios por modelo.

Calibrados por modelo, nunca con un umbral global.

TTFT real
Tiempo hasta el primer token en streaming, con un umbral calibrado por modelo.
Canario de contenido
La respuesta esperada se valida palabra por palabra: detecta una respuesta que se desvía en silencio.
Canario de formato
Una segunda comprobación valida un esquema JSON: detecta regresiones de salida estructurada tras una actualización del modelo.
Proveedores

15 proveedores, tres formatos de stream.

Por dentro, tres parsers de stream cubren todo el mercado, modelos autoalojados incluidos.

Fragmentos SSE OpenAI-compatible
✓OpenAI✓Azure OpenAI✓Mistral✓Groq✓Together AI✓Fireworks✓OpenRouter✓DeepSeek✓xAI (Grok)✓Google Gemini✓Cohere✓Ollama✓vLLM / TGI
El formato más habitual. Gemini y Cohere pasan por sus propios endpoints compatibles con OpenAI.
Eventos SSE tipados Anthropic
✓Anthropic
Modelos Claude a través de la Messages API.
Event stream binario AWS Bedrock
✓AWS Bedrock
Todos los modelos alojados en Bedrock, en tu región de AWS.

¿Tu proveedor no aparece? Si habla uno de estos tres formatos, ya funciona.

FAQ

Preguntas sobre la monitorización de modelos de IA.

Todas las preguntas →

A partir de Max: 5 modelos de IA en Max, 20 en Enterprise. Free y Pro cubren los demás tipos de monitor.

Tu primer monitor en menos de un minuto.

Plan gratuito, sin tarjeta. Alojado y operado en Europa.