Uptime monitoring va alerting: sayt yiqilganini mijozdan oldin bilish
Qisqacha: Ilova o'zi haqida metrika beradi, lekin butunlay yiqilsa — jim qoladi. Uptime monitoring saytga tashqaridan, foydalanuvchi kabi so'rov yuboradi: javob keldimi, kodi to'g'rimi, sertifikat qachon tugaydi. Alert — "shart 30 soniya davomida rost bo'lsa, navbatchiga xabar" qoidasi. Prometheus qoidani tekshiradi, Alertmanager xabarni guruhlab, kerakli odamga yetkazadi. Kanon uzilish mashqida ikkala API nusxasi to'xtatildi va xat 67 soniyada keldi. Asosiy san'at — kam, lekin to'g'ri alert: aks holda jamoa xabarlarni o'qimay qo'yadi.
Bu darsda
- Ichkaridan (metrika) va tashqaridan (probe) kuzatish farqini tushuntirasiz.
- blackbox_exporter bilan sayt va TLS sertifikatini tekshirishni sozlaysiz.
- Alert qoidasidagi
forvapending→firingyo'lini modellaysiz. - Alertmanager guruhlash va takrorlash sozlamalarini o'qiysiz.
- Kanon uzilish mashqining vaqt chizig'ini tahlil qilasiz.
- Alert charchog'idan qochish qoidalarini sanaysiz.
Oldin bilishingiz kerak: Metrikalar: Prometheus va Grafana, Health check endpoint'lari, HTTPS sertifikatlari: Let's Encrypt va certbot, Sentry chuqur.
1. Nega bu kerak?
Metrikalar darsida Prometheus vazifalar-api ning /metrics manzilidan har 15 soniyada raqam oldi: so'rovlar, xatolar, kechikish. Sentry chuqur darsida esa har kutilmagan xato GlitchTip'ga tushdi.
Ikkalasi ham bitta shartga tayanadi: ilova ishlab turibdi. Ilova butunlay yiqilsa nima bo'ladi? /metrics javob bermaydi, xato yuboradigan jarayon yo'q. Grafana grafiklari shunchaki uziladi. Kimdir panelga qaramaguncha hech narsa bo'lmaydi.
Bundan ham yomoni bor: ilova ishlab turibdi-yu, foydalanuvchi baribir saytga kira olmaydi. Masalan, sertifikat muddati tugagan, DNS yozuvi buzilgan yoki host nginx yiqilgan. Bu holatda ichki metrikalar "hammasi yaxshi" deydi.
Natijada mijoz Telegram'da "sayt ochilmayapti" deb yozadi va siz muammoni undan bilasiz. Bu darsning maqsadi — buni teskari qilish: muammoni siz birinchi bilasiz, ideal holda mijoz sezmasidan oldin tuzatasiz.
Hayotiy o'xshatish: dorixona. Kassa apparati har savdoni yozadi — bu metrika. Lekin eshik qulflanib qolsa, kassa "bugun savdo yo'q" deydi, xolos — sababini aytmaydi. Uptime monitoring — har 15 soniyada eshikni tortib ko'radigan qo'riqchi. Alert — qo'riqchi eshik ochilmasa mudirga qo'ng'iroq qilishi.
2. Tashqaridan tekshiruv
2.1 Ikki nigoh: ichkaridan va tashqaridan
| Ichkaridan (white-box) | Tashqaridan (black-box) | |
|---|---|---|
| Kim so'raydi | ilova o'zi haqida aytadi | tashqi tekshiruvchi |
| Nimani ko'radi | xatolar, kechikish, navbat | javob bormi, kod, TLS |
| Ilova yiqilsa | jim | darhol "yo'q" |
| Kanonda | /metrics → Prometheus |
blackbox_exporter |
Ikkalasi ham kerak. Ichki metrika nega sekinlashganini ko'rsatadi. Tashqi tekshiruv esa foydalanuvchi aynan nimani ko'rayotganini aytadi. Deploy II darsidagi qoidani eslang: server ichidagi 200 DNS'ni, sertifikatni va nginx'ni tekshirmaydi.
Tashqi tekshiruvni probe (sinov so'rovi) deyiladi. U bitta savolga javob beradi: "hozir shu manzil ishlayaptimi?"
2.2 Vositalar: Uptime Kuma va blackbox_exporter
Kichik loyihalarda eng mashhur vosita — Uptime Kuma: o'z serverga qo'yiladigan, chiroyli veb-interfeysli monitor. Unda manzil qo'shasiz, tekshiruv oralig'ini tanlaysiz, Telegram yoki email kanalini ulaysiz va tayyor status sahifasini olasiz. README'siga ko'ra u HTTP, TCP port, DNS, ping va boshqa turdagi tekshiruvlarni qiladi (tekshirildi, 2026-11; kanonda sinalmagan).
Kanon uni tanlamadi. Sabab — konfiguratsiya qayerda yashashi. Uptime Kuma sozlamalari veb-interfeys orqali kiritiladi va uning ichki bazasida saqlanadi. Kursda esa hamma narsa faylda va repo'da bo'lishi kerak: kim, qachon, nimani o'zgartirgani git'da ko'rinsin, yangi serverda bir buyruq bilan tiklansin. Shuning uchun kanon blackbox_exporter v0.29.1 ni oldi — Prometheus loyihasining rasmiy probe vositasi. U fayl bilan sozlanadi va natijani oddiy Prometheus metrikasi sifatida beradi. Uptime Kuma kanonda sinalmadi.
Tanlov jadvali:
| Uptime Kuma | blackbox_exporter | |
|---|---|---|
| Sozlash | veb-interfeys | YAML fayl, git'da |
| Alert | o'zida, ko'p kanal | Prometheus + Alertmanager orqali |
| Status sahifa | bor | yo'q (Grafana panel) |
| Qachon mos | bitta odam, tez boshlash | metrikalar Prometheus'da bo'lsa |
2.3 blackbox_exporter: modul
blackbox_exporter "qanday tekshirish"ni modul sifatida yozadi. Kanondagi deploy/kuzatuv/blackbox.yml:
# blackbox.yml — HTTP probe. 401 ham "tirik" (API sessiyasiz) — aks
# holda /v1 doim "yiqilgan" ko'rinardi
modules:
http_2xx_401:
prober: http
timeout: 5s
http:
valid_status_codes: [200, 401]
follow_redirects: false
preferred_ip_protocol: ip4Eng qiziq qator — valid_status_codes: [200, 401]. Biz /v1/vazifalar ni tekshiramiz, probe esa sessiyasiz keladi. Tirik API unga 401 qaytaradi — bu to'g'ri javob. Faqat 200 ni kutganimizda, monitor doim "yiqilgan" deb turardi. 502 yoki javobsizlik esa — haqiqiy muammo.
Qolgan sozlamalar: 5 soniyada javob bo'lmasa — yiqilgan; yo'naltirishga ergashmaslik (301 ni ko'rish uchun); IPv4 bilan ulanish. Oxirgi ikkisi ataylab yozilgan: blackbox hujjatiga ko'ra sukut bo'yicha u yo'naltirishga ergashadi va avval IPv6 ni sinaydi, sukut kodlar esa faqat 2xx (tekshirildi, 2026-11).
Tekshirib ko'ring: Kimdir
valid_status_codesga404ni ham qo'shdi: "ba'zi sahifalar 404 beradi, alert kelmasin". Qanday xavf bor?
Javob
Nginx noto'g'ri sozlansa yoki deploy'dan keyin web image'da index.html yo'qolsa, bosh sahifa 404 qaytaradi — foydalanuvchi uchun sayt ishlamaydi, monitor esa "tirik" deydi. Probe faqat aniq bir manzilni va uning to'g'ri javobini tekshirsin. 404 kutiladigan sahifani umuman tekshirmang.
2.4 Prometheus: nimani tekshirish
Modul — "qanday", maqsadlar ro'yxati — "nimani". Kanon ularni Prometheus sozlamasida birlashtiradi. To'liq prometheus.yml ni Metrikalar darsida ko'rgansiz. Bu darsga oid ikki qismi bor. Birinchisi — alert qoidalari fayli va ularni kimga yuborish (mazmuni kanon bilan aynan):
rule_files: ["/etc/prometheus/qoidalar.yml"]
alerting:
alertmanagers:
- static_configs: [{ targets: ["alertmanager:9093"] }]Ikkinchisi — scrape_configs ro'yxatidagi uchinchi job, uptime (prometheus.yml dan bir bo'lak, qatorlar bo'lindi):
- job_name: uptime
metrics_path: /probe
params: { module: [http_2xx_401] }
# maqsadlar — muhitga xos fayl (domen kodda emas)
file_sd_configs:
- files: ["/etc/prometheus/uptime-maqsadlar.yml"]
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: "blackbox:9115"uptime job'i g'alati ko'rinadi: maqsad — sayt, lekin so'rov blackbox'ga ketadi. Buni relabel_configs qiladi. Uch qadam:
- Ro'yxatdagi manzil (
https://…/) —targetparametriga ko'chiriladi. - Shu manzil
instanceyorlig'i ham bo'ladi — grafikda va alertda sayt nomi ko'rinsin. - Haqiqiy so'rov manzili
blackbox:9115ga almashadi.
Natijada Prometheus http://blackbox:9115/probe?module=http_2xx_401&target=https://…/ ni so'raydi. Blackbox saytni tekshiradi va natijani metrika qilib qaytaradi.
Maqsadlar ro'yxati alohida faylda — uptime-maqsadlar.example.yml. Domen muhitga xos, shuning uchun u kodga yozilmaydi: namunadan nusxa olasiz va o'z domeningizni qo'yasiz.
# uptime-maqsadlar.yml (namuna) — muhitga xos: nusxa oling va domenni
# o'zingiznikiga almashtiring
- targets:
- http://web:8080/
- http://web:8080/v1/vazifalar
- https://vazifalar.example/Uch probe uch xil narsani tekshiradi: ichki web (statik sahifa), web orqali API (nginx → api zanjiri) va tashqi domen (DNS, sertifikat, host nginx — butun yo'l).
2.5 Kanon natijasi
Kanon stack'ni ko'tarib, yuk paytida Prometheus'dan so'radi. Maqsadlar holati (domen almashtirildi):
uptime http://web:8080/ up
uptime http://web:8080/v1/vazifalar up
uptime https://sinov.example.uz/ up Probe natijalari va sertifikatgacha qolgan kunlar:
{"__name__":"probe_success","instance":"http://web:8080/v1/vazifalar","job":"uptime"} = 1.000
{"__name__":"probe_success","instance":"https://sinov.example.uz/","job":"uptime"} = 1.000
{"__name__":"probe_success","instance":"http://web:8080/","job":"uptime"} = 1.000
{"instance":"https://sinov.example.uz/","job":"uptime"} = 89.43probe_success — 1 (muvaffaqiyatli) yoki 0. Oxirgi qator — probe_ssl_earliest_cert_expiry dan hisoblangan qiymat: sertifikat tugashiga 89.43 kun qolgan. Let's Encrypt sertifikati 90 kunlik — u kanon tajribasidan bir kun oldin olingan edi (VPS'ga avtomatik deploy).
3. Alert qoidalari
3.1 Qoida qanday yoziladi
Metrika o'zi hech kimni uyg'otmaydi. Alert qoidasi — PromQL ifodasi va shart. Prometheus uni har evaluation_interval da (kanonda 15 soniya) tekshiradi. Kanondagi deploy/kuzatuv/qoidalar.yml to'liq:
# qoidalar.yml — alert qoidalari. `for` — qisqa uzilishda bezovta
# qilmaslik (alert fatigue).
groups:
- name: vazifalar
rules:
- alert: ApiNusxasiYoq
expr: up{job="vazifalar-api"} == 0
for: 30s
labels: { daraja: ogohlantirish }
annotations:
xulosa: "{{ $labels.instance }} javob bermayapti (30 s)"
- alert: SaytYoq
expr: probe_success{job="uptime"} == 0
for: 30s
labels: { daraja: jiddiy }
annotations:
xulosa: >-
{{ $labels.instance }} — probe muvaffaqiyatsiz (30 s)
- alert: Xatolar5xxKop
# SLO: 5xx ulushi 5 daqiqada 1 % dan oshmasin
expr: >-
sum(rate(http_sorovlar_jami{status=~"5.."}[5m]))
/ clamp_min(sum(rate(http_sorovlar_jami[5m])), 1e-9) > 0.01
for: 1m
labels: { daraja: jiddiy }
annotations:
xulosa: >-
5xx ulushi {{ $value | humanizePercentage }} (> 1 %)
- alert: SekinJavob
expr: >-
histogram_quantile(0.99, sum by (le)
(rate(http_sorov_davomiyligi_soniya_bucket[5m]))) > 1
for: 2m
labels: { daraja: ogohlantirish }
annotations:
xulosa: "p99 {{ $value | humanizeDuration }} (> 1 s)"
- alert: SertifikatTugayapti
expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
labels: { daraja: ogohlantirish }
annotations:
xulosa: >-
{{ $labels.instance }} sertifikati {{ $value | humanize }}
kunda tugaydiUzun ifodalar >- bilan bir necha qatorga bo'lindi: YAML ularni bitta qatorga birlashtiradi, mazmuni kanon bilan aynan. Bu darsda uchta qoida bizniki:
ApiNusxasiYoq— Prometheus API nusxasining/metricsiga ulana olmadi (up == 0). Bu ichki nigoh. Ikki nusxa bor (blue-green, Zero-downtime deploy), shuning uchun bittasi yiqilsa sayt hali ishlaydi — darajaogohlantirish.SaytYoq— tashqi probe yiqildi. Foydalanuvchi buni his qiladi — darajajiddiy.SertifikatTugayapti— 14 kundan kam qolsa. certbot 90 kunlik sertifikatni odatda tugashiga taxminan 30 kun qolganda yangilaydi. 14 kun qolganida alert kelsa — avtomatik yangilanish ikki haftadan beri ishlamayapti (HTTPS sertifikatlari).
Qolgan ikkitasi — Xatolar5xxKop va SekinJavob — xizmat sifati maqsadlariga bog'langan. Ularni SLI/SLO, incident va postmortem darsida ochamiz.
annotations.xulosa — xat ichiga tushadigan inson tilidagi matn. {{ $labels.instance }} — qaysi nusxa yoki sayt, {{ $value }} — hisoblangan qiymat.
3.2 for: pending va firing
for: 30s — shart 30 soniya uzluksiz rost bo'lishi kerak. Qoida uch holatda bo'ladi:
| Holat | Ma'nosi |
|---|---|
| inactive | shart yolg'on |
| pending | shart rost, lekin hali for vaqti o'tmagan |
| firing | shart for vaqtidan beri rost — Alertmanager'ga yuboriladi |
Nega darhol emas? Bitta probe tarmoqdagi tasodifiy uzilish tufayli yiqilishi mumkin. Deploy paytida bitta nusxa bir necha soniya javob bermaydi. Har shunday holatda xabar kelsa, birinchi haftadayoq hamma xabarlarni o'chirib qo'yadi.
Buni modellaymiz. Har 15 soniyada bitta baholash: 1 — tirik, 0 — yiqilgan.
function alertHolati(natijalar, forSoniya, qadam = 15) {
let boshlandi = null;
const tarix = [];
natijalar.forEach((tirik, i) => {
const t = i * qadam;
let holat = "inactive";
if (!tirik) {
boshlandi ??= t;
holat = t - boshlandi >= forSoniya ? "firing" : "pending";
} else {
boshlandi = null;
}
tarix.push(`${t}:${holat}`);
});
return tarix.join(" ");
}
console.log(alertHolati([1, 0, 0, 0, 0, 1], 30));
console.log(alertHolati([1, 0, 1, 0, 1, 0], 30));
console.log(alertHolati([1, 0, 1, 0, 1, 0], 0));Konsolda:
0:inactive 15:pending 30:pending 45:firing 60:firing 75:inactive
0:inactive 15:pending 30:inactive 45:pending 60:inactive 75:pending
0:inactive 15:firing 30:inactive 45:firing 60:inactive 75:firingBirinchi qator — haqiqiy uzilish: 15-soniyada pending, 30 soniya o'tib (45-soniyada) firing. Ikkinchisi — "lipillab turgan" probe: tirik va o'lik almashib keladi. for: 30s bilan qoida hech qachon firing ga yetmaydi. Uchinchisi — o'sha probe, lekin for siz: uch marta firing, ya'ni uchta xabar. ??= — o'zgaruvchi null yoki undefined bo'lsagina qiymat beradi (??, ?. va mantiqiy tayinlash).
Narxi ham bor: for haqiqiy uzilishni ham shuncha kechiktiradi. Qanchalik uzun bo'lsa, shovqin shuncha kam, lekin xabar shuncha kech keladi.
Maslahat:
forSoniyani 45 qilib, birinchi qatorni qayta ishga tushiring. Endifiringqachon boshlanadi? Uzilish 75-soniyada tugaganini hisobga olsak, xabar umuman kelardimi?
3.3 Alertmanager: kimga va qanday
Prometheus faqat "qaysi alert yonib turibdi"ni biladi. Xabarni Alertmanager v0.34.2 yuboradi. U alertlarni guruhlaydi, takrorini to'xtatadi va qabul qiluvchiga yo'naltiradi. Kanondagi alertmanager.yml:
# alertmanager.yml — guruhlash, takrorlash oralig'i, email
# (lokal — Mailpit; haqiqiy SMTP/Telegram — sinalmagan)
route:
receiver: pochta
group_by: [alertname]
group_wait: 10s
group_interval: 1m
repeat_interval: 4h
receivers:
- name: pochta
email_configs:
- to: navbatchi@vazifalar.example
from: alert@vazifalar.example
smarthost: alertpochta:1025
require_tls: false
send_resolved: trueHar sozlama bitta savolga javob:
| Sozlama | Savol | Kanonda |
|---|---|---|
group_by |
qaysi alertlar bitta xatga birlashadi | bir xil nomlilar |
group_wait |
birinchi xatdan oldin qancha kutish | 10 s (sukut 30 s) — sheriklari ham kelsin |
group_interval |
guruhga yangi alert qo'shilsa | 1 daqiqa (sukut 5 daqiqa) |
repeat_interval |
hal bo'lmasa qayta eslatish | 4 soat (sukut ham 4 soat) |
Sukut qiymatlar — Alertmanager hujjatidan (tekshirildi, 2026-11). Kanon ikkalasini qisqartirdi: o'quv mashqida xat tezroq kelsin.
send_resolved: true — muammo hal bo'lganda ham xat keladi. Usiz navbatchi "hali yonib turibdimi?" deb panelni qayta-qayta ochadi. Email uchun uning sukuti — false, shuning uchun aniq yozildi.
Xatlar haqiqiy pochtaga emas, lokal Mailpit'ga ketdi (Email yuborish: SMTP va Nodemailer darsidagi sinov pochtasi). Haqiqiy SMTP va Telegram kanallari kanonda sinalmadi — ular hisob va token talab qiladi.
4. Kanon tajribasi: uzilish mashqi
4.1 Nima qilindi
Kuzatuv stack'i ishlab turganida ikkala API nusxasi (api va api-yashil) to'xtatildi — haqiqiy uzilish. Skript har 2 soniyada Prometheus'dan alertlar holatini va Mailpit'dan xatlarni so'radi. Keyin nusxalar qayta ko'tarildi. Kanon chiqishi (vaqt — UTC). Qatorlar boshidagi +37s, +67s ga va har bosqichda nechta xat borligiga qarang:
05:25:17 api va api-yashil TO'XTATILDI
+37s pending: ApiNusxasiYoq(api-yashil:3000)=pending, ApiNusxasiYoq(api:3000)=pending, SaytYoq(http://web:8080/v1/vazifalar)=pending
+67s firing: ApiNusxasiYoq(api-yashil:3000)=firing, ApiNusxasiYoq(api:3000)=firing, SaytYoq(http://web:8080/v1/vazifalar)=firing
+67s email: 2 xat: [FIRING:2] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)
05:26:25 tiklanmoqda
+59s firing yo'q: yo`q
+59s: 4 xat: [RESOLVED] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime) | [RESOLVED] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:2] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)Vaqt chizig'i:
sequenceDiagram
participant A as API nusxalari
participant P as Prometheus
participant M as Alertmanager
participant N as Navbatchi
A->>A: 0 s - ikkala nusxa to'xtadi
P->>P: +37 s - uchta alert pending
P->>M: +67 s gacha - firing
M->>N: 2 xat, alertname bo'yicha
A->>A: 05:26:25 - tiklash
M->>N: +59 s - 2 ta RESOLVED xat4.2 Natijani o'qiymiz
Uchta alert — ikkita xat. Ikkala ApiNusxasiYoq (har nusxa uchun bittadan) group_by: [alertname] tufayli bitta xatga birlashdi: [FIRING:2]. Guruhlash bo'lmaganida uchta xat kelardi. Haqiqiy uzilishda o'nlab alert bir vaqtda yonadi — ular bitta xabarga yig'ilishi kerak.
Tashqi web ham SaytYoq berdi, lekin faqat /v1 uchun. http://web:8080/ (statik sahifa) tirik qoldi — nginx ishlayapti, faqat API yo'q. Ikki probe bir-birini to'ldiradi: qaysi qatlam yiqilganini darhol aytadi.
37 va 67 soniya — qayerdan? Hisoblaymiz. Nusxa to'xtagandan keyin Prometheus buni keyingi scrape'da (0–15 soniya ichida) biladi. Qoida keyingi baholashda (yana 0–15 soniya) pending bo'ladi. Keyin for: 30s kutiladi va keyingi baholashda firing. Va nihoyat Alertmanager group_wait: 10s kutadi. Eng tezi — taxminan 0 + 0 + 30 + 10 = 40 soniya. Eng sekini — 15 + 15 + 30 + 15 + 10 = 85 soniya. Kanondagi 67 soniya shu oraliq ichida. Bu taxminiy model: Prometheus va Alertmanager ichidagi qo'shimcha kechikishlarni hisobga olmaydi.
Tiklash — 59 soniya. API ko'tarilishi bir necha soniya oladi, keyin scrape, keyin Alertmanager'ning group_interval i. "4 xat" — Mailpit'dagi jami: oldingi 2 ta FIRING va yangi 2 ta RESOLVED.
- pendingto'xtatilgandan keyin37 s
- firing va xatto'xtatilgandan keyin67 s
- RESOLVED xattiklashdan keyin59 s
Manba: IlmHamroh kanon o'lchovi, 2026-11-08: Prometheus v3.15.1, Alertmanager v0.34.2, scrape va baholash 15 s, for 30 s, group_wait 10 s; lokal Docker, bitta yugurish
Grafikka qarang: xatni olish uchun bir daqiqadan sal ko'proq vaqt ketdi. Ko'pmi yoki ozmi? Shu vaqt ichida foydalanuvchilar /v1 da xato oldi. Tezroq kerak bo'lsa, scrape va baholash oralig'ini qisqartirish yoki for ni kamaytirish mumkin. Ikkalasi ham shovqin va yuk bilan to'lanadi.
4.3 Biz shunday topdik: xatdagi havola ishlamaydi
Oxirgi xatning boshi:
[FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)
1 alert for alertname=SaytYoq
View in Alertmanager ( http://10708befb948:9093/#/alerts?receiver=pochta ) *[1] Firing* *Labels*
alertname = SaytYoq
daraja = jiddiy
instance = http://web:8080/v1/vazifalar
job = uptime
*Annotations*
xulosa = http://web:8080/v1/vazifalar — probe muvaffaqiyatsiz (30 s)Uchinchi qatorga qarang: "View in Alertmanager" havolasi http://10708befb948:9093 ga ishora qiladi. 10708befb948 — Docker konteynerining ichki ID'si. Navbatchi bu havolani telefonida bosadi va hech narsa ochilmaydi.
Sabab: Alertmanager o'zining tashqi manzilini bilmaydi va konteyner nomini (hostname) qo'yadi. Hujjatga ko'ra, xatdagi bu havola — ExternalURL, ya'ni xabarni yuborgan Alertmanager'ga qaytish havolasi (tekshirildi, 2026-11). Uni --web.external-url bayrog'i belgilaydi: unga Alertmanager'ning tashqaridan ochiladigan manzili beriladi (bayroq ro'yxati — alertmanager --help; kanonda sinalmagan). Kanon bu tuzatishni kiritmadi. Kanondagi Alertmanager faqat 127.0.0.1 da ochiladi, shuning uchun to'g'ri manzil baribir faqat shu kompyuterdan ishlardi. Production'da esa bu havola — navbatchining birinchi bosadigan joyi, shuning uchun uni sozlang.
5. Alert charchog'i
Alert charchog'i (alert fatigue) — xabarlar shunchalik ko'pki, odamlar ularni o'qimay qo'yadi. Eng xavflisi — haqiqiy uzilish o'nta yolg'on signal orasida ko'rinmay qoladi.
Kanonda unga qarshi beshta chora bor:
for— qisqa, o'z-o'zidan o'tadigan muammolar uchun xabar yo'q.- Guruhlash — bitta voqea uchun bitta xat (uch alert → ikki xat).
repeat_interval: 4h— hal bo'lmagan muammo har daqiqada emas, 4 soatda bir eslatiladi.- Daraja —
jiddiy(foydalanuvchi his qiladi) vaogohlantirish(ish vaqtida qarash mumkin). Haqiqiy tizimda ular turli kanalga ketadi: birinchisi navbatchining telefoniga, ikkinchisi jamoa chatiga. - Simptomga alert — "sayt javob bermayapti", "5xx ko'p", lekin "CPU 90 %" emas (Observability darsidagi qoida).
Yana bir qoida: har alertga "nima qilish kerak" yozilsin. Navbatchi tunda xat olsa, birinchi savoli — "endi nima qilaman?". Ko'p jamoalar har alertga runbook (harakatlar yo'riqnomasi) havolasini qo'shadi. Kanonda runbook yo'q — buni SLI/SLO, incident va postmortem darsida shablon sifatida ko'ramiz.
Tekshirib ko'ring: Jamoa "server CPU 80 % dan oshsa — jiddiy alert" qoidasini qo'shdi. Bir oyda 40 marta yondi, ulardan 38 tasida foydalanuvchilar hech narsa sezmagan. Nima qilasiz?
Javob
Bu sabab-alert: CPU yuqori, lekin xizmat yaxshi ishlayapti. 38 ta yolg'on signal jamoani alertlarni e'tiborsiz qoldirishga o'rgatadi. Uni o'chiring yoki ogohlantirish darajasiga tushirib, dashboard'da qoldiring. "Jiddiy" — faqat foydalanuvchi his qiladigan simptomga: SekinJavob, Xatolar5xxKop, SaytYoq.
6. Boshqa tekshiruvlar
6.1 Cron monitoringi: "jim qolgan" ish
Ba'zi muammo xatoni emas, sukutni beradi. Backup'ni avtomatlashtirish darsidagi zaxira skripti har kecha 03:00 da ishlaydi. Agar systemd timer o'chib qolsa, skript umuman ishga tushmaydi — xato logi ham, alert ham yo'q. Bir oydan keyin tiklash kerak bo'lganda, eng yangi zaxira bir oylik chiqadi.
Bunga qarshi o'lik odam tugmasi (dead man's switch) usuli bor. Skript har muvaffaqiyatli ishdan keyin tashqi xizmatga "men tirikman" signalini yuboradi. Signal kutilgan vaqtda kelmasa — xizmat alert beradi. Mashhur xizmat — healthchecks.io. Uning hujjatiga ko'ra, signal — https://hc-ping.com/<uuid> manziliga oddiy HTTP so'rov (tekshirildi, 2026-11). Masalan, curl bilan (bayroqlar — bizning tanlov, kanonda sinalmagan):
curl -fsS -m 10 --retry 3 https://hc-ping.com/<tekshiruv-uuid>-fsS — xato kodida jim qolmaslik, -m 10 — 10 soniyadan ortiq kutmaslik, --retry 3 — tarmoq xatosida qayta urinish. Xato bo'lganda /fail qo'shimchasi bilan ham signal yuborish mumkin. Bu buyruq zaxira skriptining oxiriga, faqat muvaffaqiyatli yo'lga qo'yiladi. Kanonda bu sinalmadi — hisob kerak. Hujjatda healthchecks'ni o'z serverga (Docker bilan) qo'yish bo'limi ham bor.
6.2 Status sahifa
Status sahifa — foydalanuvchilarga "hozir hamma narsa ishlayaptimi" degan savolga javob beradigan alohida sahifa. Uptime Kuma'da u tayyor. Muhim qoida: status sahifa asosiy sayt bilan boshqa serverda yoki xizmatda tursin. Aks holda sayt yiqilganda u ham yiqiladi. Kanonda status sahifa yo'q.
6.3 Domen muddati
Sertifikat muddatini blackbox o'lchaydi, lekin domen muddatini o'lchamaydi. Domen to'lovi o'z vaqtida qilinmasa, sayt butunlay yo'qoladi. Bunga registrarning email eslatmalari va kalendardagi yozuv yordam beradi (Domen: sotib olish va .uz domenlar).
6.4 Kuzatuvchini kim kuzatadi
Monitoring stack'i sayt bilan bitta serverda tursa, server yiqilganda u ham yiqiladi va hech kim xabar yubormaydi. Kanonda kuzatuv stack'i asosiy serverga umuman qo'yilmadi — u lokal kompyuterda ishladi va tashqi domenni tarmoq orqali tekshirdi. Bu tasodifan to'g'ri tuzilma bo'ldi: tekshiruvchi tekshirilayotgandan tashqarida.
Production'da ikki odatiy yechim bor (ikkalasi ham sinalmagan): tashqi uptime xizmati (sayt va monitoringni boshqa joydan tekshiradi) va "Watchdog" alert — doim yonib turadigan alert. U tashqi xizmatga kelib turishi kerak, kelmay qolsa — demak Prometheus yoki Alertmanager o'lgan.
7. Narxi
| Nima | Kanon o'lchovi |
|---|---|
| xotira | blackbox 12.6 MiB, Alertmanager 16.32 MiB, alert pochtasi 6.9 MiB |
| kechikish | uzilishdan xatgacha 67 s |
| vaqt | qoidalar va ularning for, darajasi — doimiy sozlash ishi |
Resurs arzon. Asl narx — e'tibor: har yangi alert jamoaning tungi uyqusiga da'vo. Qoida qo'shishdan oldin so'rang: "bu yonsa, kimdir tunda turib, biror narsa qiladimi?" Javob "yo'q" bo'lsa, u alert emas, dashboard paneli.
8. Loyiha qadami
vazifalar-api ga deploy/kuzatuv/ papkasida (stack'ni Metrikalar darsida ko'targansiz) quyidagilar qo'shiladi:
blackbox.yml—http_2xx_401moduli;prometheus.yml—uptimejob'i vaalertingbo'limi;uptime-maqsadlar.example.yml— namuna; o'zingizning nusxangizniUPTIME_MAQSADLARo'zgaruvchisi bilan ulang, domenni yozing;qoidalar.yml— beshta qoida;alertmanager.yml— guruhlash va email.
Stack'ni qayta ko'taring va mashq qiling: bitta API nusxasini to'xtating, http://127.0.0.1:4981/alerts da qoida qanday pending va firing bo'lishini kuzating, alert pochtasini (127.0.0.1:4983) oching. Keyin nusxani qaytaring va RESOLVED xatini kuting.
Hali commit qilmang — kuzatuv qatlamining commit'i Production xatolarini tekshirish darsida.
9. Ko'p uchraydigan xatolar
9.1 for siz alert
Har tasodifiy probe xatosi xabar beradi. Bir hafta ichida jamoa xabarlarni o'chirib qo'yadi.
9.2 Faqat ichki monitoring
Ilova "hammasi yaxshi" deydi, sertifikat esa tugagan. Har doim kamida bitta tashqi probe — haqiqiy domen orqali.
9.3 Monitor saytning o'zida
Server bilan birga monitor ham o'ladi. Tekshiruvchi boshqa joyda tursin.
9.4 401 ni xato deb hisoblash
Himoyalangan manzilni tekshirsangiz, kutilgan kodni aniq yozing (valid_status_codes). Aks holda monitor doim qizil bo'ladi va hech kim unga ishonmaydi.
9.5 Xatda "nima qilish kerak" yo'q
annotations ga qaysi nusxa, qaysi qiymat va (bo'lsa) runbook havolasini yozing.
10. Mashqlar
Mashqlar kurs/mashqlar/34/16-alert/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).
1-mashq (oson): bo'shliqlarni to'ldiring
- Shart rost, lekin
forvaqti hali o'tmagan alert holati — - Bir xil nomli alertlarni bitta xatga birlashtiradigan Alertmanager sozlamasi —
- Tashqaridan tekshiruv qilgan probe muvaffaqiyatli bo'lsa,
probe_successqiymati — - Kanonda sessiyasiz
/v1probe'i "tirik" deb qabul qiladigan kod — - Juda ko'p xabar tufayli jamoa ularni o'qimay qo'yishi — alert
Yechim
- pending — keyin
firing. - group_by — kanonda
[alertname]. - 1 — muvaffaqiyatsiz bo'lsa 0.
- 401 —
valid_status_codes: [200, 401]. - charchog'i — alert fatigue.
2-mashq (o'rta): xat sarlavhalari
Alertmanager group_by: [alertname] bilan xat sarlavhasini qanday tuzishini modellang. xatlar(alertlar) funksiyasi { nom, joy, holat } obyektlari massivini olsin. Faqat holat === "firing" bo'lganlarini nom bo'yicha guruhlasin va har guruh uchun [FIRING:N] Nom (joy1, joy2) satrini qaytarsin. Guruhlar birinchi ko'rinish tartibida.
Ishora: Map kiritish tartibini saqlaydi (Map).
Yechim
function xatlar(alertlar) {
const guruhlar = new Map();
for (const a of alertlar) {
if (a.holat !== "firing") continue;
const ro = guruhlar.get(a.nom) ?? [];
ro.push(a.joy);
guruhlar.set(a.nom, ro);
}
return [...guruhlar].map(([nom, joylar]) => {
const soni = joylar.length;
return `[FIRING:${soni}] ${nom} (${joylar.join(", ")})`;
});
}
const alertlar = [
{ nom: "ApiNusxasiYoq", joy: "api-yashil:3000", holat: "firing" },
{ nom: "ApiNusxasiYoq", joy: "api:3000", holat: "firing" },
{ nom: "SaytYoq", joy: "web:8080/v1/vazifalar", holat: "firing" },
{ nom: "SekinJavob", joy: "api:3000", holat: "pending" },
];
for (const x of xatlar(alertlar)) console.log(x);
console.log(xatlar([]).length);Konsolda:
[FIRING:2] ApiNusxasiYoq (api-yashil:3000, api:3000)
[FIRING:1] SaytYoq (web:8080/v1/vazifalar)
0Natija kanon xatlari bilan bir xil tuzilishda: ikkita ApiNusxasiYoq bitta xatga tushdi. SekinJavob hali pending — xat yo'q. Bo'sh ro'yxat — bo'sh natija: alert yo'q bo'lsa, xat ham yo'q. [...guruhlar] — Map ni [kalit, qiymat] juftlari massiviga aylantiradi.
3-mashq (qiyin): mavjudlikni hisoblash
Har 15 soniyada bitta probe natijasi: vaqt va 1 yoki 0. Bash skript yozing. U avval probe.txt ni yaratsin (12 qator), keyin awk bilan har uzilishni (birinchi 0 dan keyingi birinchi 1 gacha) uzilish: bosh - oxir (N s) ko'rinishida chiqarsin. Oxirida — tekshiruvlar soni, tirik tekshiruvlar soni, mavjudlik foizi (bitta kasr bilan) va jami uzilish soniyalari.
Ishora: uzilish boshini o'zgaruvchida saqlang (bosh), u bo'sh bo'lsa — uzilish yo'q. Vaqtni soniyaga aylantirish — CI/CD tushunchasi darsidagi sek funksiyasi. printf da %% — foiz belgisining o'zi.
Yechim
cat > probe.txt <<'TXT'
05:24:45 1
05:25:00 1
05:25:15 0
05:25:30 0
05:25:45 0
05:26:00 0
05:26:15 0
05:26:30 1
05:26:45 1
05:27:00 0
05:27:15 1
05:27:30 1
TXT
awk '
function sek(t, s) {
split(t, s, ":"); return s[1]*3600 + s[2]*60 + s[3]
}
{
if ($2 == 0 && bosh == "") bosh = $1
if ($2 == 1 && bosh != "") {
d = sek($1) - sek(bosh)
print "uzilish: " bosh " - " $1 " (" d " s)"
jami += d; bosh = ""
}
if ($2 == 1) ok++
}
END {
p = 100 * ok / NR
printf "tekshiruv: %d, tirik: %d, mavjudlik: %.1f %%\n", NR, ok, p
print "jami uzilish: " jami " s"
}
' probe.txtBiz ishga tushirdik:
uzilish: 05:25:15 - 05:26:30 (75 s)
uzilish: 05:27:00 - 05:27:15 (15 s)
tekshiruv: 12, tirik: 6, mavjudlik: 50.0 %
jami uzilish: 90 sIkki uzilish. Birinchisi 75 soniya — for: 30s bilan alert berardi. Ikkinchisi 15 soniya — bitta yiqilgan probe, for uni yutib yuboradi. Ikkinchisi xabar bermaydi, lekin mavjudlik foiziga baribir kiradi. Shuning uchun alert va xizmat sifati o'lchovi — ikki xil narsa. Ikkinchisini SLI/SLO darsida o'lchaymiz. Probe usuli o'zi ham taxminiy: ikki tekshiruv orasidagi 15 soniyada nima bo'lganini u bilmaydi.
11. Real ishda
- Uptime monitoring — hatto eng kichik loyihada ham birinchi qo'yiladigan kuzatuv. Ko'pincha tashqi xizmat (UptimeRobot, Better Stack va boshqalar) yoki o'z serverdagi Uptime Kuma.
- Navbatchilik (on-call) — jamoa a'zolari haftama-hafta navbat bilan "jiddiy" alertlarni oladi. Alertlar sifati to'g'ridan-to'g'ri navbatchining uyqusiga ta'sir qiladi. Shuning uchun yaxshi jamoalar har yolg'on alertni tuzatiladigan xato deb biladi.
- Prometheus + Alertmanager — Kubernetes dunyosida standart juftlik. Bu yerda o'rgangan qoidalar u yerda ham aynan ishlaydi (Kubernetes).
- Intervyu savollari: "Black-box va white-box monitoring farqi?", "Alert charchog'iga qarshi nima qilasiz?", "Sizning monitoringingizni kim kuzatadi?"
Xulosa
- Ichki metrika ilova yiqilganda jim qoladi — tashqi probe kerak.
- blackbox_exporter fayl bilan sozlanadi: modul — qanday, maqsadlar fayli — nimani;
valid_status_codesaniq bo'lsin. - Alert: PromQL sharti +
for; holatlarinactive→pending→firing. - Alertmanager guruhlaydi (uch alert → ikki xat), takrorni cheklaydi, hal bo'lganda xabar beradi.
- Kanon uzilish mashqi: pending 37 s, xat 67 s, RESOLVED 59 s.
- Xatdagi havola konteyner ID'si bilan chiqdi —
--web.external-urlni sozlang. - Alert charchog'iga qarshi:
for, guruhlash,repeat_interval, daraja, simptomga alert. - Cron uchun "o'lik odam tugmasi", tashqi status sahifa, kuzatuvchini tashqaridan kuzatish.
Keyingi dars: Distributed tracing va OpenTelemetry — bitta so'rov API, middleware va bazada vaqtini qayerga sarflaganini ko'ramiz.
Manbalar
- Prometheus — Alerting rules: https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/ (tekshirildi, 2026-11)
- Prometheus — Alertmanager configuration (sukut qiymatlar,
send_resolved): https://prometheus.io/docs/alerting/latest/configuration/ (tekshirildi, 2026-11) - Prometheus — Notification template reference (
ExternalURL): https://prometheus.io/docs/alerting/latest/notifications/ (tekshirildi, 2026-11) - blackbox_exporter — CONFIGURATION: https://github.com/prometheus/blackbox_exporter/blob/master/CONFIGURATION.md (tekshirildi, 2026-11)
- Uptime Kuma: https://github.com/louislam/uptime-kuma (tekshirildi, 2026-11 — README)
- Healthchecks.io — Docs: https://healthchecks.io/docs/ (tekshirildi, 2026-11)
- Google SRE Book — Monitoring Distributed Systems: https://sre.google/sre-book/monitoring-distributed-systems/ (tekshirildi, 2026-11)
- Kurs tajribasi (IlmHamroh, 2026-11): kuzatuv stack (Prometheus v3.15.1, Alertmanager v0.34.2, blackbox_exporter v0.29.1, Mailpit v1.33.0) — lokal Docker; uzilish mashqi. Mashq yechimlari — biz ishga tushirdik (2026-11-08).
Izohlar · 0
Izoh yozish uchun kiring.