La surveillance de modèles d'IA, conçue pour les API de LLM.

Un simple 200 OK ne dit rien d'un LLM. Le canari mesure le vrai temps jusqu'au premier token et valide le contenu et le format de la réponse, pas seulement le statut HTTP.

Max+5 modèles d'IA en Max · 20 en Enterprise
Canaris · modèles d'IA EN DIRECT
api.anthropic.com/v1/messagesclaude-haiku-4-5 UP 412 ms
api.openai.com/v1/chat/completionsgpt-4o-mini UP 380 ms
bedrock-runtime.eu-west-1claude-3-haiku DEGRADED 2.1 s
api.mistral.ai/v1mistral-small 429 rate limit
Quatre états

Un état binaire ne suffit pas pour un LLM.

La plupart des incidents LLM renvoient quand même 200 : un token qui n'arrive jamais, un contenu faux ou un JSON mal formé. C'est l'état que la surveillance uptime classique ne voit pas.

UP 200 · 412 ms
HTTP 200, temps jusqu'au premier token sous le seuil, contenu et format valides.
DEGRADED 200 · 2.1 s
200, mais TTFT dépassé, contenu faux ou format invalide. Le cas le plus fréquent en pratique.
DOWN 503
Hors 200, délai dépassé, connexion refusée ou flux interrompu.
RATE LIMIT 429
Un 429 isolé : quota et backoff à régler de votre côté, pas un incident du fournisseur.
Comment ça marche

Un canari, pas une supposition.

Trois vérifications, un coût quasi nul.

01 Canari déterministe Température 0 et une réponse attendue triviale (« PONG ») : un coût quasi nul, même à une vérification par minute.
02 Le vrai premier token Le TTFT est mesuré au premier fragment de texte, pas au premier octet HTTP. Sinon le ralentissement passe inaperçu.
03 Assertions de contenu et de format Un canari « PONG » et un canari de schéma JSON repèrent aussi les régressions silencieuses de sortie structurée.
Pourquoi le chronométrage compte

Chronométrez le premier token, pas le premier octet.

Là où la plupart des vérifications arrêtent le chrono, et là où se trouve vraiment le problème.

requête envoyéeTLS établien-têtes 200 → attentepremier token → flux

Les en-têtes HTTP arrivent bien avant le premier token. Une vérification qui arrête le chrono aux en-têtes masque exactement le ralentissement qu'elle devait repérer.

Ce qui est inclus

Trois canaris par modèle.

Calibrés par modèle, jamais un seuil global.

TTFT réel
Temps jusqu'au premier token en streaming, avec un seuil calibré par modèle.
Canari de contenu
La réponse attendue est validée mot pour mot : repère une réponse qui dérive en silence.
Canari de format
Une seconde vérification valide un schéma JSON : repère les régressions de sortie structurée après une mise à jour du modèle.
Fournisseurs

15 fournisseurs, trois formats de flux.

Sous le capot, trois analyseurs de flux couvrent tout le marché, modèles auto-hébergés compris.

Fragments SSE OpenAI-compatible
✓OpenAI✓Azure OpenAI✓Mistral✓Groq✓Together AI✓Fireworks✓OpenRouter✓DeepSeek✓xAI (Grok)✓Google Gemini✓Cohere✓Ollama✓vLLM / TGI
Le format le plus répandu. Gemini et Cohere passent par leurs propres endpoints compatibles OpenAI.
Événements SSE typés Anthropic
✓Anthropic
Les modèles Claude via l'API Messages.
Flux d'événements binaire AWS Bedrock
✓AWS Bedrock
Tous les modèles hébergés sur Bedrock, dans votre région AWS.

Votre fournisseur n'est pas listé ? S'il parle l'un de ces trois formats, il fonctionne déjà.

FAQ

Questions sur la surveillance de modèles d'IA.

Toutes les questions →

À partir de Max : 5 modèles d'IA en Max, 20 en Enterprise. Free et Pro couvrent les autres types de monitors.

Votre premier monitor en moins d'une minute.

Plan gratuit, sans carte. Hébergé et opéré en Europe.