Monitoraggio dei modelli di IA, pensato per le API LLM.
Un semplice 200 OK non significa nulla per un LLM. Il canary misura il tempo reale al primo token e convalida contenuto e formato della risposta, non solo lo stato HTTP.
Uno stato binario non basta per un LLM.
La maggior parte degli incidenti LLM restituisce comunque 200: un token che non arriva mai, un contenuto errato o un JSON malformato. È lo stato che il monitoraggio classico non vede.
Un canary, non un'ipotesi.
Tre controlli, costo quasi nullo.
Misura il primo token, non il primo byte.
Dove la maggior parte dei controlli ferma il cronometro, e dove sta davvero il problema.
Gli header HTTP arrivano molto prima del primo token. Un controllo che ferma il cronometro agli header nasconde proprio il rallentamento che dovrebbe rilevare.
Tre canary per modello.
Calibrati per modello, mai una soglia globale.
15 provider, tre formati di stream.
Dietro le quinte, tre parser di stream coprono tutto il mercato, modelli self-hosted inclusi.
Il tuo provider non è elencato? Se usa uno di questi tre formati, funziona già.
Da Max in su: 5 modelli di IA con Max, 20 con Enterprise. Free e Pro coprono gli altri tipi di monitor.
Il tuo primo monitor in meno di un minuto.
Piano gratuito, senza carta. Ospitato e gestito in Europa.