Monitoring modeli AI stworzony dla API LLM.

Samo 200 OK nic nie znaczy dla LLM. Kanarek mierzy rzeczywisty czas do pierwszego tokena i weryfikuje treść oraz format odpowiedzi, nie tylko status HTTP.

Zacznij za darmo → Zobacz cennik

Max+5 modeli AI w Max · 20 w Enterprise

Sprawdzenia kanarkowe · modele AI NA ŻYWO

api.anthropic.com/v1/messagesclaude-haiku-4-5 UP 412 ms

api.openai.com/v1/chat/completionsgpt-4o-mini UP 380 ms

bedrock-runtime.eu-west-1claude-3-haiku DEGRADED 2.1 s

api.mistral.ai/v1mistral-small 429 rate limit

Cztery stany

Stan binarny nie wystarcza dla LLM.

Większość incydentów LLM nadal zwraca 200: token, który nie nadchodzi, błędna treść lub źle sformatowany JSON. Tego klasyczny monitoring nie widzi.

UP 200 · 412 ms

HTTP 200, czas do pierwszego tokena poniżej progu, poprawna treść i format.

DEGRADED 200 · 2.1 s

200, ale przekroczony TTFT, błędna treść lub niepoprawny format. W praktyce najczęstszy przypadek.

DOWN 503

Kod inny niż 200, timeout, odmowa połączenia lub przerwany strumień.

RATE LIMIT 429

Pojedynczy 429: limit i backoff do poprawienia po Twojej stronie, a nie incydent dostawcy.

Jak to działa

Kanarek, a nie zgadywanie.

Trzy sprawdzenia, koszt bliski zeru.

01 Deterministyczny kanarek Temperatura 0 i trywialna oczekiwana odpowiedź („PONG”) — koszt bliski zeru nawet przy sprawdzeniu co minutę.

02 Pomiar prawdziwego pierwszego tokena TTFT mierzy się przy pierwszym fragmencie tekstu, nie przy pierwszym bajcie HTTP. Inaczej spowolnienie przechodzi niezauważone.

03 Asercje treści i formatu Kanarek „PONG” i kanarek schematu JSON wychwytują też ciche regresje ustrukturyzowanych odpowiedzi.

Dlaczego liczy się moment pomiaru

Mierz pierwszy token, nie pierwszy bajt.

Gdzie większość sprawdzeń zatrzymuje zegar, a gdzie naprawdę leży problem.

wysłano żądanienawiązano TLSnagłówki 200 → oczekiwaniepierwszy token → strumień

Nagłówki HTTP przychodzą dużo wcześniej niż pierwszy token. Sprawdzenie, które zatrzymuje zegar na nagłówkach, ukrywa właśnie to spowolnienie, które ma wykryć.

Co zawiera

Trzy kanarki na model.

Kalibrowane per model, nigdy globalny próg.

Prawdziwy TTFT

Czas do pierwszego tokena w strumieniu, z progiem kalibrowanym per model.

Kanarek treści

Oczekiwana odpowiedź jest sprawdzana słowo w słowo — wychwytuje odpowiedź, która po cichu się zmienia.

Kanarek formatu

Drugie sprawdzenie weryfikuje schemat JSON — wychwytuje regresje ustrukturyzowanych odpowiedzi po aktualizacji modelu.

Dostawcy

15 dostawców, trzy formaty strumieni.

Pod spodem trzy parsery strumieni obsługują cały rynek, łącznie z modelami na własnym hostingu.

Fragmenty SSE OpenAI-compatible

✓OpenAI✓Azure OpenAI✓Mistral✓Groq✓Together AI✓Fireworks✓OpenRouter✓DeepSeek✓xAI (Grok)✓Google Gemini✓Cohere✓Ollama✓vLLM / TGI

Najczęstszy format. Gemini i Cohere działają przez własne endpointy zgodne z OpenAI.

Typowane zdarzenia SSE Anthropic

✓Anthropic

Modele Claude przez Messages API.

Binarny event stream AWS Bedrock

✓AWS Bedrock

Każdy model hostowany w Bedrock, w Twoim regionie AWS.

Nie ma Twojego dostawcy? Jeśli używa jednego z tych trzech formatów, już działa.

FAQ

Pytania o monitoring modeli AI.

Wszystkie pytania →

Które plany obejmują monitoring modeli AI?

Od Max wzwyż: 5 modeli AI w Max, 20 w Enterprise. Free i Pro obejmują pozostałe typy monitorów.

Ile kosztuje kanarek w tokenach?

Czy mogę monitorować model na własnym hostingu?

Pierwszy monitor w mniej niż minutę.

Plan darmowy, bez karty. Hostowane i prowadzone w Europie.

Zacznij za darmo → Porozmawiajmy