JavaScript Full-stackUptime monitoring va alerting: sayt yiqilganini mijozdan oldin bilish
JavaScript Full-stack · 34-qism. CI/CD, monitoring, bulut

Uptime monitoring va alerting: sayt yiqilganini mijozdan oldin bilish

22 daqiqa16/30-dars

Qisqacha: Ilova o'zi haqida metrika beradi, lekin butunlay yiqilsa — jim qoladi. Uptime monitoring saytga tashqaridan, foydalanuvchi kabi so'rov yuboradi: javob keldimi, kodi to'g'rimi, sertifikat qachon tugaydi. Alert — "shart 30 soniya davomida rost bo'lsa, navbatchiga xabar" qoidasi. Prometheus qoidani tekshiradi, Alertmanager xabarni guruhlab, kerakli odamga yetkazadi. Kanon uzilish mashqida ikkala API nusxasi to'xtatildi va xat 67 soniyada keldi. Asosiy san'at — kam, lekin to'g'ri alert: aks holda jamoa xabarlarni o'qimay qo'yadi.

Bu darsda

  • Ichkaridan (metrika) va tashqaridan (probe) kuzatish farqini tushuntirasiz.
  • blackbox_exporter bilan sayt va TLS sertifikatini tekshirishni sozlaysiz.
  • Alert qoidasidagi for va pending → firing yo'lini modellaysiz.
  • Alertmanager guruhlash va takrorlash sozlamalarini o'qiysiz.
  • Kanon uzilish mashqining vaqt chizig'ini tahlil qilasiz.
  • Alert charchog'idan qochish qoidalarini sanaysiz.

Oldin bilishingiz kerak: Metrikalar: Prometheus va Grafana, Health check endpoint'lari, HTTPS sertifikatlari: Let's Encrypt va certbot, Sentry chuqur.

1. Nega bu kerak?

Metrikalar darsida Prometheus vazifalar-api ning /metrics manzilidan har 15 soniyada raqam oldi: so'rovlar, xatolar, kechikish. Sentry chuqur darsida esa har kutilmagan xato GlitchTip'ga tushdi.

Ikkalasi ham bitta shartga tayanadi: ilova ishlab turibdi. Ilova butunlay yiqilsa nima bo'ladi? /metrics javob bermaydi, xato yuboradigan jarayon yo'q. Grafana grafiklari shunchaki uziladi. Kimdir panelga qaramaguncha hech narsa bo'lmaydi.

Bundan ham yomoni bor: ilova ishlab turibdi-yu, foydalanuvchi baribir saytga kira olmaydi. Masalan, sertifikat muddati tugagan, DNS yozuvi buzilgan yoki host nginx yiqilgan. Bu holatda ichki metrikalar "hammasi yaxshi" deydi.

Natijada mijoz Telegram'da "sayt ochilmayapti" deb yozadi va siz muammoni undan bilasiz. Bu darsning maqsadi — buni teskari qilish: muammoni siz birinchi bilasiz, ideal holda mijoz sezmasidan oldin tuzatasiz.

Hayotiy o'xshatish: dorixona. Kassa apparati har savdoni yozadi — bu metrika. Lekin eshik qulflanib qolsa, kassa "bugun savdo yo'q" deydi, xolos — sababini aytmaydi. Uptime monitoring — har 15 soniyada eshikni tortib ko'radigan qo'riqchi. Alert — qo'riqchi eshik ochilmasa mudirga qo'ng'iroq qilishi.

2. Tashqaridan tekshiruv

2.1 Ikki nigoh: ichkaridan va tashqaridan

Ichkaridan (white-box) Tashqaridan (black-box)
Kim so'raydi ilova o'zi haqida aytadi tashqi tekshiruvchi
Nimani ko'radi xatolar, kechikish, navbat javob bormi, kod, TLS
Ilova yiqilsa jim darhol "yo'q"
Kanonda /metrics → Prometheus blackbox_exporter

Ikkalasi ham kerak. Ichki metrika nega sekinlashganini ko'rsatadi. Tashqi tekshiruv esa foydalanuvchi aynan nimani ko'rayotganini aytadi. Deploy II darsidagi qoidani eslang: server ichidagi 200 DNS'ni, sertifikatni va nginx'ni tekshirmaydi.

Tashqi tekshiruvni probe (sinov so'rovi) deyiladi. U bitta savolga javob beradi: "hozir shu manzil ishlayaptimi?"

2.2 Vositalar: Uptime Kuma va blackbox_exporter

Kichik loyihalarda eng mashhur vosita — Uptime Kuma: o'z serverga qo'yiladigan, chiroyli veb-interfeysli monitor. Unda manzil qo'shasiz, tekshiruv oralig'ini tanlaysiz, Telegram yoki email kanalini ulaysiz va tayyor status sahifasini olasiz. README'siga ko'ra u HTTP, TCP port, DNS, ping va boshqa turdagi tekshiruvlarni qiladi (tekshirildi, 2026-11; kanonda sinalmagan).

Kanon uni tanlamadi. Sabab — konfiguratsiya qayerda yashashi. Uptime Kuma sozlamalari veb-interfeys orqali kiritiladi va uning ichki bazasida saqlanadi. Kursda esa hamma narsa faylda va repo'da bo'lishi kerak: kim, qachon, nimani o'zgartirgani git'da ko'rinsin, yangi serverda bir buyruq bilan tiklansin. Shuning uchun kanon blackbox_exporter v0.29.1 ni oldi — Prometheus loyihasining rasmiy probe vositasi. U fayl bilan sozlanadi va natijani oddiy Prometheus metrikasi sifatida beradi. Uptime Kuma kanonda sinalmadi.

Tanlov jadvali:

Uptime Kuma blackbox_exporter
Sozlash veb-interfeys YAML fayl, git'da
Alert o'zida, ko'p kanal Prometheus + Alertmanager orqali
Status sahifa bor yo'q (Grafana panel)
Qachon mos bitta odam, tez boshlash metrikalar Prometheus'da bo'lsa

2.3 blackbox_exporter: modul

blackbox_exporter "qanday tekshirish"ni modul sifatida yozadi. Kanondagi deploy/kuzatuv/blackbox.yml:

yaml
# blackbox.yml — HTTP probe. 401 ham "tirik" (API sessiyasiz) — aks
# holda /v1 doim "yiqilgan" ko'rinardi
modules:
  http_2xx_401:
    prober: http
    timeout: 5s
    http:
      valid_status_codes: [200, 401]
      follow_redirects: false
      preferred_ip_protocol: ip4

Eng qiziq qator — valid_status_codes: [200, 401]. Biz /v1/vazifalar ni tekshiramiz, probe esa sessiyasiz keladi. Tirik API unga 401 qaytaradi — bu to'g'ri javob. Faqat 200 ni kutganimizda, monitor doim "yiqilgan" deb turardi. 502 yoki javobsizlik esa — haqiqiy muammo.

Qolgan sozlamalar: 5 soniyada javob bo'lmasa — yiqilgan; yo'naltirishga ergashmaslik (301 ni ko'rish uchun); IPv4 bilan ulanish. Oxirgi ikkisi ataylab yozilgan: blackbox hujjatiga ko'ra sukut bo'yicha u yo'naltirishga ergashadi va avval IPv6 ni sinaydi, sukut kodlar esa faqat 2xx (tekshirildi, 2026-11).

Tekshirib ko'ring: Kimdir valid_status_codes ga 404 ni ham qo'shdi: "ba'zi sahifalar 404 beradi, alert kelmasin". Qanday xavf bor?

Javob

Nginx noto'g'ri sozlansa yoki deploy'dan keyin web image'da index.html yo'qolsa, bosh sahifa 404 qaytaradi — foydalanuvchi uchun sayt ishlamaydi, monitor esa "tirik" deydi. Probe faqat aniq bir manzilni va uning to'g'ri javobini tekshirsin. 404 kutiladigan sahifani umuman tekshirmang.

2.4 Prometheus: nimani tekshirish

Modul — "qanday", maqsadlar ro'yxati — "nimani". Kanon ularni Prometheus sozlamasida birlashtiradi. To'liq prometheus.yml ni Metrikalar darsida ko'rgansiz. Bu darsga oid ikki qismi bor. Birinchisi — alert qoidalari fayli va ularni kimga yuborish (mazmuni kanon bilan aynan):

yaml
rule_files: ["/etc/prometheus/qoidalar.yml"]
alerting:
  alertmanagers:
    - static_configs: [{ targets: ["alertmanager:9093"] }]

Ikkinchisi — scrape_configs ro'yxatidagi uchinchi job, uptime (prometheus.yml dan bir bo'lak, qatorlar bo'lindi):

text
  - job_name: uptime
    metrics_path: /probe
    params: { module: [http_2xx_401] }
    # maqsadlar — muhitga xos fayl (domen kodda emas)
    file_sd_configs:
      - files: ["/etc/prometheus/uptime-maqsadlar.yml"]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: "blackbox:9115"

uptime job'i g'alati ko'rinadi: maqsad — sayt, lekin so'rov blackbox'ga ketadi. Buni relabel_configs qiladi. Uch qadam:

  1. Ro'yxatdagi manzil (https://…/) — target parametriga ko'chiriladi.
  2. Shu manzil instance yorlig'i ham bo'ladi — grafikda va alertda sayt nomi ko'rinsin.
  3. Haqiqiy so'rov manzili blackbox:9115 ga almashadi.

Natijada Prometheus http://blackbox:9115/probe?module=http_2xx_401&target=https://…/ ni so'raydi. Blackbox saytni tekshiradi va natijani metrika qilib qaytaradi.

Maqsadlar ro'yxati alohida faylda — uptime-maqsadlar.example.yml. Domen muhitga xos, shuning uchun u kodga yozilmaydi: namunadan nusxa olasiz va o'z domeningizni qo'yasiz.

yaml
# uptime-maqsadlar.yml (namuna) — muhitga xos: nusxa oling va domenni
# o'zingiznikiga almashtiring
- targets:
    - http://web:8080/
    - http://web:8080/v1/vazifalar
    - https://vazifalar.example/

Uch probe uch xil narsani tekshiradi: ichki web (statik sahifa), web orqali API (nginx → api zanjiri) va tashqi domen (DNS, sertifikat, host nginx — butun yo'l).

2.5 Kanon natijasi

Kanon stack'ni ko'tarib, yuk paytida Prometheus'dan so'radi. Maqsadlar holati (domen almashtirildi):

text
uptime         http://web:8080/                 up 
uptime         http://web:8080/v1/vazifalar     up 
uptime         https://sinov.example.uz/          up 

Probe natijalari va sertifikatgacha qolgan kunlar:

text
{"__name__":"probe_success","instance":"http://web:8080/v1/vazifalar","job":"uptime"} = 1.000
{"__name__":"probe_success","instance":"https://sinov.example.uz/","job":"uptime"} = 1.000
{"__name__":"probe_success","instance":"http://web:8080/","job":"uptime"} = 1.000
{"instance":"https://sinov.example.uz/","job":"uptime"} = 89.43

probe_success — 1 (muvaffaqiyatli) yoki 0. Oxirgi qator — probe_ssl_earliest_cert_expiry dan hisoblangan qiymat: sertifikat tugashiga 89.43 kun qolgan. Let's Encrypt sertifikati 90 kunlik — u kanon tajribasidan bir kun oldin olingan edi (VPS'ga avtomatik deploy).

3. Alert qoidalari

3.1 Qoida qanday yoziladi

Metrika o'zi hech kimni uyg'otmaydi. Alert qoidasi — PromQL ifodasi va shart. Prometheus uni har evaluation_interval da (kanonda 15 soniya) tekshiradi. Kanondagi deploy/kuzatuv/qoidalar.yml to'liq:

yaml
# qoidalar.yml — alert qoidalari. `for` — qisqa uzilishda bezovta
# qilmaslik (alert fatigue).
groups:
  - name: vazifalar
    rules:
      - alert: ApiNusxasiYoq
        expr: up{job="vazifalar-api"} == 0
        for: 30s
        labels: { daraja: ogohlantirish }
        annotations:
          xulosa: "{{ $labels.instance }} javob bermayapti (30 s)"
      - alert: SaytYoq
        expr: probe_success{job="uptime"} == 0
        for: 30s
        labels: { daraja: jiddiy }
        annotations:
          xulosa: >-
            {{ $labels.instance }} — probe muvaffaqiyatsiz (30 s)
      - alert: Xatolar5xxKop
        # SLO: 5xx ulushi 5 daqiqada 1 % dan oshmasin
        expr: >-
          sum(rate(http_sorovlar_jami{status=~"5.."}[5m]))
          / clamp_min(sum(rate(http_sorovlar_jami[5m])), 1e-9) > 0.01
        for: 1m
        labels: { daraja: jiddiy }
        annotations:
          xulosa: >-
            5xx ulushi {{ $value | humanizePercentage }} (> 1 %)
      - alert: SekinJavob
        expr: >-
          histogram_quantile(0.99, sum by (le)
          (rate(http_sorov_davomiyligi_soniya_bucket[5m]))) > 1
        for: 2m
        labels: { daraja: ogohlantirish }
        annotations:
          xulosa: "p99 {{ $value | humanizeDuration }} (> 1 s)"
      - alert: SertifikatTugayapti
        expr: (probe_ssl_earliest_cert_expiry - time()) / 86400 < 14
        labels: { daraja: ogohlantirish }
        annotations:
          xulosa: >-
            {{ $labels.instance }} sertifikati {{ $value | humanize }}
            kunda tugaydi

Uzun ifodalar >- bilan bir necha qatorga bo'lindi: YAML ularni bitta qatorga birlashtiradi, mazmuni kanon bilan aynan. Bu darsda uchta qoida bizniki:

  • ApiNusxasiYoq — Prometheus API nusxasining /metrics iga ulana olmadi (up == 0). Bu ichki nigoh. Ikki nusxa bor (blue-green, Zero-downtime deploy), shuning uchun bittasi yiqilsa sayt hali ishlaydi — daraja ogohlantirish.
  • SaytYoq — tashqi probe yiqildi. Foydalanuvchi buni his qiladi — daraja jiddiy.
  • SertifikatTugayapti — 14 kundan kam qolsa. certbot 90 kunlik sertifikatni odatda tugashiga taxminan 30 kun qolganda yangilaydi. 14 kun qolganida alert kelsa — avtomatik yangilanish ikki haftadan beri ishlamayapti (HTTPS sertifikatlari).

Qolgan ikkitasi — Xatolar5xxKop va SekinJavob — xizmat sifati maqsadlariga bog'langan. Ularni SLI/SLO, incident va postmortem darsida ochamiz.

annotations.xulosa — xat ichiga tushadigan inson tilidagi matn. {{ $labels.instance }} — qaysi nusxa yoki sayt, {{ $value }} — hisoblangan qiymat.

3.2 for: pending va firing

for: 30s — shart 30 soniya uzluksiz rost bo'lishi kerak. Qoida uch holatda bo'ladi:

Holat Ma'nosi
inactive shart yolg'on
pending shart rost, lekin hali for vaqti o'tmagan
firing shart for vaqtidan beri rost — Alertmanager'ga yuboriladi

Nega darhol emas? Bitta probe tarmoqdagi tasodifiy uzilish tufayli yiqilishi mumkin. Deploy paytida bitta nusxa bir necha soniya javob bermaydi. Har shunday holatda xabar kelsa, birinchi haftadayoq hamma xabarlarni o'chirib qo'yadi.

Buni modellaymiz. Har 15 soniyada bitta baholash: 1 — tirik, 0 — yiqilgan.

js
function alertHolati(natijalar, forSoniya, qadam = 15) {
  let boshlandi = null;
  const tarix = [];
  natijalar.forEach((tirik, i) => {
    const t = i * qadam;
    let holat = "inactive";
    if (!tirik) {
      boshlandi ??= t;
      holat = t - boshlandi >= forSoniya ? "firing" : "pending";
    } else {
      boshlandi = null;
    }
    tarix.push(`${t}:${holat}`);
  });
  return tarix.join(" ");
}

console.log(alertHolati([1, 0, 0, 0, 0, 1], 30));
console.log(alertHolati([1, 0, 1, 0, 1, 0], 30));
console.log(alertHolati([1, 0, 1, 0, 1, 0], 0));

Konsolda:

text
0:inactive 15:pending 30:pending 45:firing 60:firing 75:inactive
0:inactive 15:pending 30:inactive 45:pending 60:inactive 75:pending
0:inactive 15:firing 30:inactive 45:firing 60:inactive 75:firing

Birinchi qator — haqiqiy uzilish: 15-soniyada pending, 30 soniya o'tib (45-soniyada) firing. Ikkinchisi — "lipillab turgan" probe: tirik va o'lik almashib keladi. for: 30s bilan qoida hech qachon firing ga yetmaydi. Uchinchisi — o'sha probe, lekin for siz: uch marta firing, ya'ni uchta xabar. ??= — o'zgaruvchi null yoki undefined bo'lsagina qiymat beradi (??, ?. va mantiqiy tayinlash).

Narxi ham bor: for haqiqiy uzilishni ham shuncha kechiktiradi. Qanchalik uzun bo'lsa, shovqin shuncha kam, lekin xabar shuncha kech keladi.

Maslahat: forSoniya ni 45 qilib, birinchi qatorni qayta ishga tushiring. Endi firing qachon boshlanadi? Uzilish 75-soniyada tugaganini hisobga olsak, xabar umuman kelardimi?

3.3 Alertmanager: kimga va qanday

Prometheus faqat "qaysi alert yonib turibdi"ni biladi. Xabarni Alertmanager v0.34.2 yuboradi. U alertlarni guruhlaydi, takrorini to'xtatadi va qabul qiluvchiga yo'naltiradi. Kanondagi alertmanager.yml:

yaml
# alertmanager.yml — guruhlash, takrorlash oralig'i, email
# (lokal — Mailpit; haqiqiy SMTP/Telegram — sinalmagan)
route:
  receiver: pochta
  group_by: [alertname]
  group_wait: 10s
  group_interval: 1m
  repeat_interval: 4h
receivers:
  - name: pochta
    email_configs:
      - to: navbatchi@vazifalar.example
        from: alert@vazifalar.example
        smarthost: alertpochta:1025
        require_tls: false
        send_resolved: true

Har sozlama bitta savolga javob:

Sozlama Savol Kanonda
group_by qaysi alertlar bitta xatga birlashadi bir xil nomlilar
group_wait birinchi xatdan oldin qancha kutish 10 s (sukut 30 s) — sheriklari ham kelsin
group_interval guruhga yangi alert qo'shilsa 1 daqiqa (sukut 5 daqiqa)
repeat_interval hal bo'lmasa qayta eslatish 4 soat (sukut ham 4 soat)

Sukut qiymatlar — Alertmanager hujjatidan (tekshirildi, 2026-11). Kanon ikkalasini qisqartirdi: o'quv mashqida xat tezroq kelsin.

send_resolved: true — muammo hal bo'lganda ham xat keladi. Usiz navbatchi "hali yonib turibdimi?" deb panelni qayta-qayta ochadi. Email uchun uning sukuti — false, shuning uchun aniq yozildi.

Xatlar haqiqiy pochtaga emas, lokal Mailpit'ga ketdi (Email yuborish: SMTP va Nodemailer darsidagi sinov pochtasi). Haqiqiy SMTP va Telegram kanallari kanonda sinalmadi — ular hisob va token talab qiladi.

4. Kanon tajribasi: uzilish mashqi

4.1 Nima qilindi

Kuzatuv stack'i ishlab turganida ikkala API nusxasi (api va api-yashil) to'xtatildi — haqiqiy uzilish. Skript har 2 soniyada Prometheus'dan alertlar holatini va Mailpit'dan xatlarni so'radi. Keyin nusxalar qayta ko'tarildi. Kanon chiqishi (vaqt — UTC). Qatorlar boshidagi +37s, +67s ga va har bosqichda nechta xat borligiga qarang:

text
05:25:17 api va api-yashil TO'XTATILDI
+37s pending: ApiNusxasiYoq(api-yashil:3000)=pending, ApiNusxasiYoq(api:3000)=pending, SaytYoq(http://web:8080/v1/vazifalar)=pending
+67s firing: ApiNusxasiYoq(api-yashil:3000)=firing, ApiNusxasiYoq(api:3000)=firing, SaytYoq(http://web:8080/v1/vazifalar)=firing
+67s email: 2 xat: [FIRING:2] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)
05:26:25 tiklanmoqda
+59s firing yo'q: yo`q
+59s: 4 xat: [RESOLVED] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime) | [RESOLVED] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:2] ApiNusxasiYoq (ogohlantirish vazifalar-api) | [FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)

Vaqt chizig'i:

sequenceDiagram
  participant A as API nusxalari
  participant P as Prometheus
  participant M as Alertmanager
  participant N as Navbatchi
  A->>A: 0 s - ikkala nusxa to'xtadi
  P->>P: +37 s - uchta alert pending
  P->>M: +67 s gacha - firing
  M->>N: 2 xat, alertname bo'yicha
  A->>A: 05:26:25 - tiklash
  M->>N: +59 s - 2 ta RESOLVED xat

4.2 Natijani o'qiymiz

Uchta alert — ikkita xat. Ikkala ApiNusxasiYoq (har nusxa uchun bittadan) group_by: [alertname] tufayli bitta xatga birlashdi: [FIRING:2]. Guruhlash bo'lmaganida uchta xat kelardi. Haqiqiy uzilishda o'nlab alert bir vaqtda yonadi — ular bitta xabarga yig'ilishi kerak.

Tashqi web ham SaytYoq berdi, lekin faqat /v1 uchun. http://web:8080/ (statik sahifa) tirik qoldi — nginx ishlayapti, faqat API yo'q. Ikki probe bir-birini to'ldiradi: qaysi qatlam yiqilganini darhol aytadi.

37 va 67 soniya — qayerdan? Hisoblaymiz. Nusxa to'xtagandan keyin Prometheus buni keyingi scrape'da (0–15 soniya ichida) biladi. Qoida keyingi baholashda (yana 0–15 soniya) pending bo'ladi. Keyin for: 30s kutiladi va keyingi baholashda firing. Va nihoyat Alertmanager group_wait: 10s kutadi. Eng tezi — taxminan 0 + 0 + 30 + 10 = 40 soniya. Eng sekini — 15 + 15 + 30 + 15 + 10 = 85 soniya. Kanondagi 67 soniya shu oraliq ichida. Bu taxminiy model: Prometheus va Alertmanager ichidagi qo'shimcha kechikishlarni hisobga olmaydi.

Tiklash — 59 soniya. API ko'tarilishi bir necha soniya oladi, keyin scrape, keyin Alertmanager'ning group_interval i. "4 xat" — Mailpit'dagi jami: oldingi 2 ta FIRING va yangi 2 ta RESOLVED.

Uzilish mashqi: alert vaqtlari
  • pendingto'xtatilgandan keyin37 s
  • firing va xatto'xtatilgandan keyin67 s
  • RESOLVED xattiklashdan keyin59 s

Manba: IlmHamroh kanon o'lchovi, 2026-11-08: Prometheus v3.15.1, Alertmanager v0.34.2, scrape va baholash 15 s, for 30 s, group_wait 10 s; lokal Docker, bitta yugurish

Grafikka qarang: xatni olish uchun bir daqiqadan sal ko'proq vaqt ketdi. Ko'pmi yoki ozmi? Shu vaqt ichida foydalanuvchilar /v1 da xato oldi. Tezroq kerak bo'lsa, scrape va baholash oralig'ini qisqartirish yoki for ni kamaytirish mumkin. Ikkalasi ham shovqin va yuk bilan to'lanadi.

4.3 Biz shunday topdik: xatdagi havola ishlamaydi

Oxirgi xatning boshi:

text
[FIRING:1] SaytYoq (jiddiy http://web:8080/v1/vazifalar uptime)
1 alert for alertname=SaytYoq
View in Alertmanager ( http://10708befb948:9093/#/alerts?receiver=pochta ) *[1] Firing* *Labels*
alertname = SaytYoq
daraja = jiddiy
instance = http://web:8080/v1/vazifalar
job = uptime
*Annotations*
xulosa = http://web:8080/v1/vazifalar — probe muvaffaqiyatsiz (30 s)

Uchinchi qatorga qarang: "View in Alertmanager" havolasi http://10708befb948:9093 ga ishora qiladi. 10708befb948 — Docker konteynerining ichki ID'si. Navbatchi bu havolani telefonida bosadi va hech narsa ochilmaydi.

Sabab: Alertmanager o'zining tashqi manzilini bilmaydi va konteyner nomini (hostname) qo'yadi. Hujjatga ko'ra, xatdagi bu havola — ExternalURL, ya'ni xabarni yuborgan Alertmanager'ga qaytish havolasi (tekshirildi, 2026-11). Uni --web.external-url bayrog'i belgilaydi: unga Alertmanager'ning tashqaridan ochiladigan manzili beriladi (bayroq ro'yxati — alertmanager --help; kanonda sinalmagan). Kanon bu tuzatishni kiritmadi. Kanondagi Alertmanager faqat 127.0.0.1 da ochiladi, shuning uchun to'g'ri manzil baribir faqat shu kompyuterdan ishlardi. Production'da esa bu havola — navbatchining birinchi bosadigan joyi, shuning uchun uni sozlang.

5. Alert charchog'i

Alert charchog'i (alert fatigue) — xabarlar shunchalik ko'pki, odamlar ularni o'qimay qo'yadi. Eng xavflisi — haqiqiy uzilish o'nta yolg'on signal orasida ko'rinmay qoladi.

Kanonda unga qarshi beshta chora bor:

  1. for — qisqa, o'z-o'zidan o'tadigan muammolar uchun xabar yo'q.
  2. Guruhlash — bitta voqea uchun bitta xat (uch alert → ikki xat).
  3. repeat_interval: 4h — hal bo'lmagan muammo har daqiqada emas, 4 soatda bir eslatiladi.
  4. Daraja — jiddiy (foydalanuvchi his qiladi) va ogohlantirish (ish vaqtida qarash mumkin). Haqiqiy tizimda ular turli kanalga ketadi: birinchisi navbatchining telefoniga, ikkinchisi jamoa chatiga.
  5. Simptomga alert — "sayt javob bermayapti", "5xx ko'p", lekin "CPU 90 %" emas (Observability darsidagi qoida).

Yana bir qoida: har alertga "nima qilish kerak" yozilsin. Navbatchi tunda xat olsa, birinchi savoli — "endi nima qilaman?". Ko'p jamoalar har alertga runbook (harakatlar yo'riqnomasi) havolasini qo'shadi. Kanonda runbook yo'q — buni SLI/SLO, incident va postmortem darsida shablon sifatida ko'ramiz.

Tekshirib ko'ring: Jamoa "server CPU 80 % dan oshsa — jiddiy alert" qoidasini qo'shdi. Bir oyda 40 marta yondi, ulardan 38 tasida foydalanuvchilar hech narsa sezmagan. Nima qilasiz?

Javob

Bu sabab-alert: CPU yuqori, lekin xizmat yaxshi ishlayapti. 38 ta yolg'on signal jamoani alertlarni e'tiborsiz qoldirishga o'rgatadi. Uni o'chiring yoki ogohlantirish darajasiga tushirib, dashboard'da qoldiring. "Jiddiy" — faqat foydalanuvchi his qiladigan simptomga: SekinJavob, Xatolar5xxKop, SaytYoq.

6. Boshqa tekshiruvlar

6.1 Cron monitoringi: "jim qolgan" ish

Ba'zi muammo xatoni emas, sukutni beradi. Backup'ni avtomatlashtirish darsidagi zaxira skripti har kecha 03:00 da ishlaydi. Agar systemd timer o'chib qolsa, skript umuman ishga tushmaydi — xato logi ham, alert ham yo'q. Bir oydan keyin tiklash kerak bo'lganda, eng yangi zaxira bir oylik chiqadi.

Bunga qarshi o'lik odam tugmasi (dead man's switch) usuli bor. Skript har muvaffaqiyatli ishdan keyin tashqi xizmatga "men tirikman" signalini yuboradi. Signal kutilgan vaqtda kelmasa — xizmat alert beradi. Mashhur xizmat — healthchecks.io. Uning hujjatiga ko'ra, signal — https://hc-ping.com/<uuid> manziliga oddiy HTTP so'rov (tekshirildi, 2026-11). Masalan, curl bilan (bayroqlar — bizning tanlov, kanonda sinalmagan):

bash
curl -fsS -m 10 --retry 3 https://hc-ping.com/<tekshiruv-uuid>

-fsS — xato kodida jim qolmaslik, -m 10 — 10 soniyadan ortiq kutmaslik, --retry 3 — tarmoq xatosida qayta urinish. Xato bo'lganda /fail qo'shimchasi bilan ham signal yuborish mumkin. Bu buyruq zaxira skriptining oxiriga, faqat muvaffaqiyatli yo'lga qo'yiladi. Kanonda bu sinalmadi — hisob kerak. Hujjatda healthchecks'ni o'z serverga (Docker bilan) qo'yish bo'limi ham bor.

6.2 Status sahifa

Status sahifa — foydalanuvchilarga "hozir hamma narsa ishlayaptimi" degan savolga javob beradigan alohida sahifa. Uptime Kuma'da u tayyor. Muhim qoida: status sahifa asosiy sayt bilan boshqa serverda yoki xizmatda tursin. Aks holda sayt yiqilganda u ham yiqiladi. Kanonda status sahifa yo'q.

6.3 Domen muddati

Sertifikat muddatini blackbox o'lchaydi, lekin domen muddatini o'lchamaydi. Domen to'lovi o'z vaqtida qilinmasa, sayt butunlay yo'qoladi. Bunga registrarning email eslatmalari va kalendardagi yozuv yordam beradi (Domen: sotib olish va .uz domenlar).

6.4 Kuzatuvchini kim kuzatadi

Monitoring stack'i sayt bilan bitta serverda tursa, server yiqilganda u ham yiqiladi va hech kim xabar yubormaydi. Kanonda kuzatuv stack'i asosiy serverga umuman qo'yilmadi — u lokal kompyuterda ishladi va tashqi domenni tarmoq orqali tekshirdi. Bu tasodifan to'g'ri tuzilma bo'ldi: tekshiruvchi tekshirilayotgandan tashqarida.

Production'da ikki odatiy yechim bor (ikkalasi ham sinalmagan): tashqi uptime xizmati (sayt va monitoringni boshqa joydan tekshiradi) va "Watchdog" alert — doim yonib turadigan alert. U tashqi xizmatga kelib turishi kerak, kelmay qolsa — demak Prometheus yoki Alertmanager o'lgan.

7. Narxi

Nima Kanon o'lchovi
xotira blackbox 12.6 MiB, Alertmanager 16.32 MiB, alert pochtasi 6.9 MiB
kechikish uzilishdan xatgacha 67 s
vaqt qoidalar va ularning for, darajasi — doimiy sozlash ishi

Resurs arzon. Asl narx — e'tibor: har yangi alert jamoaning tungi uyqusiga da'vo. Qoida qo'shishdan oldin so'rang: "bu yonsa, kimdir tunda turib, biror narsa qiladimi?" Javob "yo'q" bo'lsa, u alert emas, dashboard paneli.

8. Loyiha qadami

vazifalar-api ga deploy/kuzatuv/ papkasida (stack'ni Metrikalar darsida ko'targansiz) quyidagilar qo'shiladi:

  • blackbox.yml — http_2xx_401 moduli;
  • prometheus.yml — uptime job'i va alerting bo'limi;
  • uptime-maqsadlar.example.yml — namuna; o'zingizning nusxangizni UPTIME_MAQSADLAR o'zgaruvchisi bilan ulang, domenni yozing;
  • qoidalar.yml — beshta qoida;
  • alertmanager.yml — guruhlash va email.

Stack'ni qayta ko'taring va mashq qiling: bitta API nusxasini to'xtating, http://127.0.0.1:4981/alerts da qoida qanday pending va firing bo'lishini kuzating, alert pochtasini (127.0.0.1:4983) oching. Keyin nusxani qaytaring va RESOLVED xatini kuting.

Hali commit qilmang — kuzatuv qatlamining commit'i Production xatolarini tekshirish darsida.

9. Ko'p uchraydigan xatolar

9.1 for siz alert

Har tasodifiy probe xatosi xabar beradi. Bir hafta ichida jamoa xabarlarni o'chirib qo'yadi.

9.2 Faqat ichki monitoring

Ilova "hammasi yaxshi" deydi, sertifikat esa tugagan. Har doim kamida bitta tashqi probe — haqiqiy domen orqali.

9.3 Monitor saytning o'zida

Server bilan birga monitor ham o'ladi. Tekshiruvchi boshqa joyda tursin.

9.4 401 ni xato deb hisoblash

Himoyalangan manzilni tekshirsangiz, kutilgan kodni aniq yozing (valid_status_codes). Aks holda monitor doim qizil bo'ladi va hech kim unga ishonmaydi.

9.5 Xatda "nima qilish kerak" yo'q

annotations ga qaysi nusxa, qaysi qiymat va (bo'lsa) runbook havolasini yozing.

10. Mashqlar

Mashqlar kurs/mashqlar/34/16-alert/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Shart rost, lekin for vaqti hali o'tmagan alert holati —
  • Bir xil nomli alertlarni bitta xatga birlashtiradigan Alertmanager sozlamasi —
  • Tashqaridan tekshiruv qilgan probe muvaffaqiyatli bo'lsa, probe_success qiymati —
  • Kanonda sessiyasiz /v1 probe'i "tirik" deb qabul qiladigan kod —
  • Juda ko'p xabar tufayli jamoa ularni o'qimay qo'yishi — alert
Yechim
  • pending — keyin firing.
  • group_by — kanonda [alertname].
  • 1 — muvaffaqiyatsiz bo'lsa 0.
  • 401 — valid_status_codes: [200, 401].
  • charchog'i — alert fatigue.

2-mashq (o'rta): xat sarlavhalari

Alertmanager group_by: [alertname] bilan xat sarlavhasini qanday tuzishini modellang. xatlar(alertlar) funksiyasi { nom, joy, holat } obyektlari massivini olsin. Faqat holat === "firing" bo'lganlarini nom bo'yicha guruhlasin va har guruh uchun [FIRING:N] Nom (joy1, joy2) satrini qaytarsin. Guruhlar birinchi ko'rinish tartibida.

Ishora: Map kiritish tartibini saqlaydi (Map).

Yechim
js
function xatlar(alertlar) {
  const guruhlar = new Map();
  for (const a of alertlar) {
    if (a.holat !== "firing") continue;
    const ro = guruhlar.get(a.nom) ?? [];
    ro.push(a.joy);
    guruhlar.set(a.nom, ro);
  }
  return [...guruhlar].map(([nom, joylar]) => {
    const soni = joylar.length;
    return `[FIRING:${soni}] ${nom} (${joylar.join(", ")})`;
  });
}

const alertlar = [
  { nom: "ApiNusxasiYoq", joy: "api-yashil:3000", holat: "firing" },
  { nom: "ApiNusxasiYoq", joy: "api:3000", holat: "firing" },
  { nom: "SaytYoq", joy: "web:8080/v1/vazifalar", holat: "firing" },
  { nom: "SekinJavob", joy: "api:3000", holat: "pending" },
];
for (const x of xatlar(alertlar)) console.log(x);
console.log(xatlar([]).length);

Konsolda:

text
[FIRING:2] ApiNusxasiYoq (api-yashil:3000, api:3000)
[FIRING:1] SaytYoq (web:8080/v1/vazifalar)
0

Natija kanon xatlari bilan bir xil tuzilishda: ikkita ApiNusxasiYoq bitta xatga tushdi. SekinJavob hali pending — xat yo'q. Bo'sh ro'yxat — bo'sh natija: alert yo'q bo'lsa, xat ham yo'q. [...guruhlar] — Map ni [kalit, qiymat] juftlari massiviga aylantiradi.

3-mashq (qiyin): mavjudlikni hisoblash

Har 15 soniyada bitta probe natijasi: vaqt va 1 yoki 0. Bash skript yozing. U avval probe.txt ni yaratsin (12 qator), keyin awk bilan har uzilishni (birinchi 0 dan keyingi birinchi 1 gacha) uzilish: bosh - oxir (N s) ko'rinishida chiqarsin. Oxirida — tekshiruvlar soni, tirik tekshiruvlar soni, mavjudlik foizi (bitta kasr bilan) va jami uzilish soniyalari.

Ishora: uzilish boshini o'zgaruvchida saqlang (bosh), u bo'sh bo'lsa — uzilish yo'q. Vaqtni soniyaga aylantirish — CI/CD tushunchasi darsidagi sek funksiyasi. printf da %% — foiz belgisining o'zi.

Yechim
bash
cat > probe.txt <<'TXT'
05:24:45 1
05:25:00 1
05:25:15 0
05:25:30 0
05:25:45 0
05:26:00 0
05:26:15 0
05:26:30 1
05:26:45 1
05:27:00 0
05:27:15 1
05:27:30 1
TXT
awk '
function sek(t,  s) {
  split(t, s, ":"); return s[1]*3600 + s[2]*60 + s[3]
}
{
  if ($2 == 0 && bosh == "") bosh = $1
  if ($2 == 1 && bosh != "") {
    d = sek($1) - sek(bosh)
    print "uzilish: " bosh " - " $1 " (" d " s)"
    jami += d; bosh = ""
  }
  if ($2 == 1) ok++
}
END {
  p = 100 * ok / NR
  printf "tekshiruv: %d, tirik: %d, mavjudlik: %.1f %%\n", NR, ok, p
  print "jami uzilish: " jami " s"
}
' probe.txt

Biz ishga tushirdik:

text
uzilish: 05:25:15 - 05:26:30 (75 s)
uzilish: 05:27:00 - 05:27:15 (15 s)
tekshiruv: 12, tirik: 6, mavjudlik: 50.0 %
jami uzilish: 90 s

Ikki uzilish. Birinchisi 75 soniya — for: 30s bilan alert berardi. Ikkinchisi 15 soniya — bitta yiqilgan probe, for uni yutib yuboradi. Ikkinchisi xabar bermaydi, lekin mavjudlik foiziga baribir kiradi. Shuning uchun alert va xizmat sifati o'lchovi — ikki xil narsa. Ikkinchisini SLI/SLO darsida o'lchaymiz. Probe usuli o'zi ham taxminiy: ikki tekshiruv orasidagi 15 soniyada nima bo'lganini u bilmaydi.

11. Real ishda

  • Uptime monitoring — hatto eng kichik loyihada ham birinchi qo'yiladigan kuzatuv. Ko'pincha tashqi xizmat (UptimeRobot, Better Stack va boshqalar) yoki o'z serverdagi Uptime Kuma.
  • Navbatchilik (on-call) — jamoa a'zolari haftama-hafta navbat bilan "jiddiy" alertlarni oladi. Alertlar sifati to'g'ridan-to'g'ri navbatchining uyqusiga ta'sir qiladi. Shuning uchun yaxshi jamoalar har yolg'on alertni tuzatiladigan xato deb biladi.
  • Prometheus + Alertmanager — Kubernetes dunyosida standart juftlik. Bu yerda o'rgangan qoidalar u yerda ham aynan ishlaydi (Kubernetes).
  • Intervyu savollari: "Black-box va white-box monitoring farqi?", "Alert charchog'iga qarshi nima qilasiz?", "Sizning monitoringingizni kim kuzatadi?"

Xulosa

  • Ichki metrika ilova yiqilganda jim qoladi — tashqi probe kerak.
  • blackbox_exporter fayl bilan sozlanadi: modul — qanday, maqsadlar fayli — nimani; valid_status_codes aniq bo'lsin.
  • Alert: PromQL sharti + for; holatlar inactive → pending → firing.
  • Alertmanager guruhlaydi (uch alert → ikki xat), takrorni cheklaydi, hal bo'lganda xabar beradi.
  • Kanon uzilish mashqi: pending 37 s, xat 67 s, RESOLVED 59 s.
  • Xatdagi havola konteyner ID'si bilan chiqdi — --web.external-url ni sozlang.
  • Alert charchog'iga qarshi: for, guruhlash, repeat_interval, daraja, simptomga alert.
  • Cron uchun "o'lik odam tugmasi", tashqi status sahifa, kuzatuvchini tashqaridan kuzatish.

Keyingi dars: Distributed tracing va OpenTelemetry — bitta so'rov API, middleware va bazada vaqtini qayerga sarflaganini ko'ramiz.

Manbalar

34-qism. CI/CD, monitoring, bulut · 16-dars yakunlandi

Uptime monitoring va alerting: sayt yiqilganini mijozdan oldin bilish

22 daqvaqt
0belgi
Keyingi dars: Distributed tracing va OpenTelemetry: so'rov vaqti qayerga ketdi
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0