Monitorização de modelos de IA, pensada para APIs de LLM.

Um simples 200 OK não significa nada para um LLM. O canário mede o tempo real até ao primeiro token e valida o conteúdo e o formato da resposta, não só o estado HTTP.

Max+5 modelos de IA no Max · 20 no Enterprise
Verificações canário · modelos de IA EM DIRETO
api.anthropic.com/v1/messagesclaude-haiku-4-5 UP 412 ms
api.openai.com/v1/chat/completionsgpt-4o-mini UP 380 ms
bedrock-runtime.eu-west-1claude-3-haiku DEGRADED 2.1 s
api.mistral.ai/v1mistral-small 429 rate limit
Quatro estados

Um estado binário não chega para um LLM.

A maioria dos incidentes de LLM continua a devolver 200: um token que nunca chega, conteúdo incorreto ou JSON malformado. É o estado que a monitorização clássica não vê.

UP 200 · 412 ms
HTTP 200, tempo até ao primeiro token abaixo do limiar, conteúdo e formato válidos.
DEGRADED 200 · 2.1 s
200, mas TTFT excedido, conteúdo incorreto ou formato inválido. O caso mais comum na prática.
DOWN 503
Diferente de 200, timeout, ligação recusada ou stream interrompido.
RATE LIMIT 429
Um 429 isolado: quota e backoff a corrigir do seu lado, não um incidente do fornecedor.
Como funciona

Um canário, não um palpite.

Três verificações, custo quase nulo.

01 Canário determinístico Temperatura 0 e uma resposta esperada trivial ("PONG"): custo quase nulo mesmo com uma verificação por minuto.
02 Medir o verdadeiro primeiro token O TTFT é medido no primeiro fragmento de texto, não no primeiro byte HTTP. Caso contrário, o abrandamento passa despercebido.
03 Asserções de conteúdo + formato Um canário "PONG" e um canário de esquema JSON detetam também regressões silenciosas de saída estruturada.
Porque o momento importa

Meça o primeiro token, não o primeiro byte.

Onde a maioria das verificações para o relógio, e onde está realmente o problema.

pedido enviadoTLS estabelecidocabeçalhos 200 → à esperaprimeiro token → stream

Os cabeçalhos HTTP chegam muito antes do primeiro token. Uma verificação que para o relógio nos cabeçalhos esconde precisamente o abrandamento que devia detetar.

O que está incluído

Três canários por modelo.

Calibrados por modelo, nunca um limiar global.

TTFT real
Tempo até ao primeiro token em streaming, com um limiar calibrado por modelo.
Canário de conteúdo
A resposta esperada é validada palavra a palavra: deteta uma resposta que se desvia silenciosamente.
Canário de formato
Uma segunda verificação valida um esquema JSON: deteta regressões de saída estruturada após uma atualização do modelo.
Fornecedores

15 fornecedores, três formatos de stream.

Nos bastidores, três parsers de stream cobrem todo o mercado, incluindo modelos de alojamento próprio.

Fragmentos SSE OpenAI-compatible
✓OpenAI✓Azure OpenAI✓Mistral✓Groq✓Together AI✓Fireworks✓OpenRouter✓DeepSeek✓xAI (Grok)✓Google Gemini✓Cohere✓Ollama✓vLLM / TGI
O formato mais comum. Gemini e Cohere passam pelos seus próprios endpoints compatíveis com OpenAI.
Eventos SSE tipados Anthropic
✓Anthropic
Modelos Claude através da Messages API.
Event stream binário AWS Bedrock
✓AWS Bedrock
Todos os modelos alojados no Bedrock, na sua região AWS.

O seu fornecedor não aparece? Se fala um destes três formatos, já funciona.

FAQ

Perguntas sobre a monitorização de modelos de IA.

Todas as perguntas →

A partir do Max: 5 modelos de IA no Max, 20 no Enterprise. Free e Pro cobrem os restantes tipos de monitor.

O seu primeiro monitor em menos de um minuto.

Plano gratuito, sem cartão. Alojado e operado na Europa.