JavaScript Full-stackMetrikalar: Prometheus va Grafana — scrape, PromQL va dashboard fayldan
JavaScript Full-stack · 34-qism. CI/CD, monitoring, bulut

Metrikalar: Prometheus va Grafana — scrape, PromQL va dashboard fayldan

18 daqiqa14/30-dars

Qisqacha: Prometheus har 15 soniyada ilovaning /metrics sahifasini o'qiydi (scrape) va har qiymatni vaqt belgisi bilan saqlaydi. Ana shu tarix ustida PromQL so'rovlari ishlaydi: rate() — counter'ning soniyadagi o'sishi, sum by (status) — guruhlash, histogram_quantile() — p99. Grafana bu so'rovlarni grafikka aylantiradi. Kanonda dashboard ham, ma'lumot manbalari ham fayldan yuklanadi. Kanon yukida: 401 — soniyasiga 11.6, p99 — 97 ms, ikki nusxa 520 va 617 so'rovni bo'lishdi, Prometheus'da jami 1 136 seriya.

Bu darsda

  • Prometheus qanday qilib /metrics dan vaqt qatorlarini yasashini tushuntirasiz.
  • Kanonning prometheus.yml faylini o'qiysiz va maqsadlar holatini (up) tekshirasiz.
  • PromQL'ning asosiy funksiyalarini kanon natijalari bilan o'qiysiz.
  • Counter qayta ishga tushganda rate() nima qilishini kod bilan modellaysiz.
  • Grafana manbalari va dashboard'ini fayldan yuklashni sozlaysiz.

Oldin bilishingiz kerak: Observability: metrikalar, trace va xatolarni kuzatish, Observability asoslari, Log agregatsiya: Loki, Grafana va Alloy, Compose production'da.

O'tgan darsda loglarni yig'dik — "aynan shu so'rov bilan nima bo'ldi?". Endi umumiy manzaraga qaytamiz: "tizim hozir qanday va bir soat oldin qanday edi?". Bunga loglar emas, metrikalar javob beradi.

1. Nega bu kerak?

Observability darsida vazifalar-api ga /metrics qo'shdik. Brauzerda ochsangiz, shunday qatorlarni ko'rasiz: http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970. Bu — counter'ning shu lahzadagi qiymati.

Undan uchta savolga javob olib bo'lmaydi:

  • Tezlik. 970 — ilova ishga tushgandan beri. Hozir soniyasiga nechta? Ikki o'lchov kerak.
  • Tarix. Kecha 20:00 da qancha edi? Hech kim yozib olmagan.
  • Bir nechta nusxa. api va api-yashil — ikki xil /metrics. Umumiy son?

Hayotiy o'xshatish: elektr hisoblagichi. U faqat "boshidan beri 12 480 kVt·soat" deydi. Bu oyda qancha ishlatganingizni bilish uchun kimdir har oy raqamni yozib boradi va ayiradi. Prometheus — har 15 soniyada raqamni yozib boradigan "nazoratchi". PromQL esa — o'sha yozuvlar ustida hisob-kitob.

2. Prometheus qanday ishlaydi

2.1 Scrape va vaqt qatori

Prometheus ilovaga o'zi boradi va /metrics ni o'qiydi — bu scrape (Observability asoslari, «Ma'lumot qanday oqadi» bo'limi). Har qator — bitta vaqt qatori (time series): metrika nomi + yorliqlar to'plami. Har scrape'da u qatorga yangi namuna (sample) qo'shiladi: vaqt belgisi va qiymat.

sequenceDiagram
  participant P as Prometheus
  participant A as api:3000
  participant G as Grafana
  loop har 15 s
    P->>A: GET /metrics
    A-->>P: matn, counter va gistogrammalar
    P->>P: namunalarni vaqt bilan saqlash
  end
  G->>P: PromQL so'rovi, oxirgi 30 daqiqa
  P-->>G: vaqt qatorlari

Prometheus o'ziga ikkita yorliqni o'zi qo'shadi: job (sozlamadagi guruh nomi) va instance (manzil). Shuning uchun ikki api nusxasining bir xil metrikasi ikki xil qator bo'ladi: instance="api:3000" va instance="api-yashil:3000". Ilova o'zi bu yorliqlarni bilmaydi.

Saqlash — Prometheus'ning o'z vaqt qatorlari bazasida (TSDB), konteyner volume'ida. Kanonda 15 kun (--storage.tsdb.retention.time=15d), eskisi avtomatik o'chiriladi.

2.2 Kanon sozlamasi

deploy/kuzatuv/prometheus.yml (izohsiz, qatorga bo'lindi, mazmuni aynan). Oxirgi uptime guruhi — blackbox probe'lari, uni Uptime monitoring darsida ochamiz:

yaml
global:
  scrape_interval: 15s
  evaluation_interval: 15s
rule_files: ["/etc/prometheus/qoidalar.yml"]
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["alertmanager:9093"]
scrape_configs:
  - job_name: vazifalar-api
    metrics_path: /metrics
    static_configs:
      - targets: ["api:3000", "api-yashil:3000"]
  - job_name: prometheus
    static_configs:
      - targets: ["localhost:9090"]
  - job_name: uptime
    metrics_path: /probe
    params: { module: [http_2xx_401] }
    file_sd_configs:
      - files: ["/etc/prometheus/uptime-maqsadlar.yml"]
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: "blackbox:9115"

Qatorma-qator:

Qism Ma'nosi
scrape_interval: 15s har maqsadni har 15 soniyada o'qish
evaluation_interval: 15s alert qoidalarini har 15 soniyada tekshirish
rule_files, alerting alert qoidalari fayli va ularni kimga yuborish
job_name: vazifalar-api ikki nusxa — bitta guruh, job yorlig'i shu
job_name: prometheus Prometheus o'zini ham kuzatadi
job_name: uptime tashqi probe'lar, maqsadlar alohida faylda

Maqsadlar — Compose xizmat nomlari bilan: api:3000. Prometheus ilova stack'ining ichki tarmog'ida, shuning uchun nomni Docker DNS'i yechadi (Docker tarmoqlari). Ilova portini hostga ochish shart emas.

2.3 /metrics tashqariga chiqmasin

/metrics ichida marshrutlar ro'yxati, xatolar soni, xotira — hujumchi uchun foydali ma'lumot. Kanonda ikki himoya bor:

  • web nginx faqat /v1/ yo'lini api'ga uzatadi (docker/nginx.conf). Tashqaridan /metrics so'ralsa, nginx uni SPA sahifasi deb javob beradi — api'ga yetmaydi.
  • METRIKA_TOKEN berilsa, /metrics Authorization: Bearer talab qiladi (Observability, «Loyiha qadami»). Ichki tarmoqda kanon uni bo'sh qoldirdi.

2.4 Maqsadlar holati: up

Har scrape natijasida Prometheus up metrikasini yozadi: 1 — o'qildi, 0 — o'qilmadi. Bu eng birinchi signal. Kanon tajribasida (IlmHamroh, 2026-11), yukdan keyin maqsadlar ro'yxati (domen almashtirilgan):

text
prometheus     localhost:9090                   up
uptime         http://web:8080/                 up
uptime         http://web:8080/v1/vazifalar     up
uptime         https://sinov.example.uz/        up
vazifalar-api  api:3000                         up
vazifalar-api  api-yashil:3000                  up

Oltita maqsad, hammasi up. uptime guruhidagi uchtasi — blackbox probe'lari, keyingi darslarda. Ikki api nusxasi alohida-alohida tekshiriladi: bittasi o'lsa, up{instance="api-yashil:3000"} == 0 bo'ladi, sayt esa ishlayveradi.

Tekshirib ko'ring: scrape_interval ni 15 s dan 1 s ga tushirsangiz nima o'zgaradi? Nega kanon buni qilmagan?

Javob

Namunalar 15 baravar ko'payadi: disk, xotira va so'rovlar vaqti shunga yarasha o'sadi. Ilova ham soniyada bir marta /metrics ni yig'ib beradi — bu protsessor ishi. Foyda esa kichik: 15 soniyalik aniqlik deyarli hamma alert va dashboard uchun yetarli. Tezroq aniqlash kerak bo'lsa ham, odatda 5–10 s yetadi.

3. PromQL asoslari

3.1 Ikki xil natija

PromQL — Prometheus so'rov tili. Uning asosiy g'oyasi: so'rov vaqt qatorlarini qaytaradi, bitta son emas.

  • Bir lahzalik vektor (instant vector): http_sorovlar_jami — har qatorning eng oxirgi qiymati.
  • Oraliq vektori (range vector): http_sorovlar_jami[5m] — har qatorning oxirgi 5 daqiqadagi hamma namunalari.

Oraliq vektorini to'g'ridan grafik qilib bo'lmaydi — u funksiya uchun xom ashyo. Eng ko'p ishlatiladigan funksiyalar:

Funksiya Nima qaytaradi Qachon
rate(x[5m]) counter'ning o'rtacha soniyadagi o'sishi trafik, xatolar tezligi
increase(x[5m]) oraliqdagi jami o'sish "5 daqiqada nechta"
sum by (l) (…) l yorlig'i bo'yicha yig'indi nusxalarni birlashtirish
histogram_quantile(0.99, …) gistogrammadan kvantil p99

Qoida: counter'ga hech qachon to'g'ridan qaramang — uni doim rate yoki increase orqali o'qing. Counter'ning o'zi faqat o'sib boradi va ilova qayta ishga tushganda nolga qaytadi.

3.2 rate qayta ishga tushishni qanday ko'radi

Deploy'da konteyner qayta yaratiladi — counter 0 dan boshlanadi. Oddiy "oxirgi minus birinchi" hisobi manfiy tezlik beradi. rate esa qiymat kamayganini qayta ishga tushish deb tushunadi: kamaygan nuqtadan keyingi qiymatni o'sish deb qo'shadi.

Buni kod bilan modellaymiz. Namunalar — [soniya, qiymat] juftlari, har 15 soniyada:

js
function osish(namunalar) {
  let jami = 0;
  for (let i = 1; i < namunalar.length; i++) {
    const oldingi = namunalar[i - 1][1];
    const joriy = namunalar[i][1];
    jami += joriy >= oldingi ? joriy - oldingi : joriy;
  }
  return jami;
}

function tezlik(namunalar) {
  const vaqt = namunalar.at(-1)[0] - namunalar[0][0];
  return osish(namunalar) / vaqt;
}

const oddiy = [
  [0, 1000], [15, 1240], [30, 1480], [45, 1720], [60, 1960],
];
const reset = [
  [0, 1000], [15, 1240], [30, 60], [45, 300], [60, 540],
];
console.log("oddiy:", osish(oddiy), "so'rov,", tezlik(oddiy), "/s");
console.log("reset:", osish(reset), "so'rov,", tezlik(reset), "/s");
const sodda = (n) =>
  (n.at(-1)[1] - n[0][1]) / (n.at(-1)[0] - n[0][0]);
console.log("sodda ayirma:", sodda(reset).toFixed(2), "/s");

Konsolda:

text
oddiy: 960 so'rov, 16 /s
reset: 780 so'rov, 13 /s
sodda ayirma: -7.67 /s

Birinchi qator — normal holat: 60 soniyada 960 so'rov, soniyasiga 16. Ikkinchida 15- va 30-soniya orasida ilova qayta ishga tushdi: 1240 dan 60 ga tushdi. Model 60 ni yangi o'sish deb qo'shdi va 13/s berdi. Uchinchi qator — oddiy ayirma: manfiy tezlik, ma'nosiz.

13 haqiqiy 16 dan kam. Nega? Oxirgi scrape (1240) va qulash orasidagi so'rovlar counter bilan birga yo'qoldi — ularni hech kim yozib olmagan. Bu metrikalarning tabiiy chegarasi. Haqiqiy Prometheus yana bir ish qiladi: natijani oyna chegaralariga ekstrapolyatsiya qiladi — birinchi va oxirgi namunadan oyna chetlarigacha o'sishni taxminan "cho'zib" hisoblaydi. Qayta ishga tushishni ham u avtomatik hisobga oladi (ikkalasi ham hujjatga ko'ra, tekshirildi, 2026-11). Bizning model ekstrapolyatsiyani soddalashtirgan. at(-1) — massivning oxirgi elementi.

3.3 Kanon so'rovlari

Kanon 60 soniyalik yuk berdi: /v1/vazifalar ga har 50 ms (401), bosh sahifaga har 100 ms, /v1/yoq ga har 500 ms (404). Yuk tugagach 20 soniya kutib, PromQL so'rovlari HTTP API orqali yuborildi.

Status bo'yicha tezlik:

text
sum by (status) (rate(http_sorovlar_jami[1m]))
text
{"status":"200"} = 0.1778
{"status":"401"} = 11.60
{"status":"404"} = 1.378

Yuk generatori 60 soniyada 970 ta 401 yubordi — o'rtacha soniyasiga 16. PromQL esa 11.6 dedi. Xato emas: [1m] — oxirgi bir daqiqa, o'lchov esa yuk tugagandan 20 soniya keyin olindi. Oynaning uchdan bir qismi "jim" vaqtga tushdi. Tezlikni o'qiyotganda oynaga qarang. 200 larni yuk yubormagan — ehtimol, bu sog'liq tekshiruvlari. Bosh sahifa so'rovlari (har 100 ms) bu yerda umuman yo'q: ularni web nginx o'zi beradi, api'ga yetmaydi.

Nusxalar bo'yicha:

text
sum by (instance) (increase(http_sorovlar_jami[5m]))
text
{"instance":"api-yashil:3000"} = 616.8
{"instance":"api:3000"} = 519.6

Ikki nusxa yukni deyarli teng bo'lishdi — web nginx'ning upstream bloki ikkalasiga navbatma-navbat yuboradi (Zero-downtime deploy). Ikkalasi birga — 1 136.4. Yuk 1 087 ta so'rov yuborgan edi; qolgan ~50 tasi, ehtimol, sog'liq tekshiruvlari va probe'lar. Kasr qiymat 616.8-bob — increase ekstrapolyatsiyasining izi, Prometheus'da bu normal.

5 daqiqada api nusxalari qabul qilgan so'rovlar
  • api519,6 so'rov
  • api-yashil616,8 so'rov

Manba: Kurs tajribasi (IlmHamroh, 2026-11): lokal Prometheus v3.15.1, increase(http_sorovlar_jami[5m]), 60 s yukdan keyin, bitta o'lchov

Kechikish:

text
histogram_quantile(0.99, sum by (le) (rate(http_sorov_davomiyligi_soniya_bucket[2m])))

p50 uchun 0.5 bilan ham shunday so'rov yuborildi. Natija soniyalarda:

text
{} = 0.002824
{} = 0.09695

p50 — 2.8 ms, p99 — 97 ms. So'rovlarning yarmi 3 ms dan tez. Lekin har yuzinchisi 97 ms ga yaqin kutdi. Ifodadagi sum by (le) ikki nusxaning savatlarini qo'shadi. Kvantil shundan keyin hisoblanadi. Observability darsida aynan shu sababdan Summary emas, gistogramma tanlangan edi.

Yorliq le — savatning yuqori chegarasi ("less or equal" — "kichik yoki teng"): le="0.1" savatida 0.1 soniya va undan tez so'rovlar sanaladi.

To'yinganlik (USE):

text
{"__name__":"nodejs_eventloop_lag_p99_seconds","ilova":"vazifalar-api","instance":"api-yashil:3000","job":"vazifalar-api"} = 0.02672
{"__name__":"nodejs_eventloop_lag_p99_seconds","ilova":"vazifalar-api","instance":"api:3000","job":"vazifalar-api"} = 0.01189

Event loop kechikishi p99 — 12 va 27 ms. Ya'ni yuk ostida ham Node jarayoni deyarli bo'sh: navbatda kutish oz. Xotira (RSS) — 197 va 204 MB, process_resident_memory_bytes / 1e6 so'rovi bilan. Bu standart metrikalar collectDefaultMetrics() dan keladi.

Tekshirib ko'ring: Jamoadoshingiz dashboard'ga rate(http_sorovlar_jami[5m]) ni sum siz qo'ydi. Grafikda nechta chiziq ko'rinadi va bu nimaga yomon?

Javob

Har noyob yorliqlar to'plami — alohida chiziq: 2 nusxa × metod × yo'l × status. Kanonda bu o'nlab chiziq — grafik "spagetti" ga aylanadi. Avval savolni aniqlang ("status bo'yicha", "nusxa bo'yicha") va sum by (status) bilan aynan shu o'lchovni qoldiring.

4. Kardinallikni o'lchash

Observability darsida kardinallik qoidasini o'rgandik: yo'l yorlig'i — marshrut shabloni, haqiqiy URL emas. Endi uni Prometheus'ning o'zida tekshiramiz.

yol yorlig'ining nechta xil qiymati bor:

text
count(count by (yol) (http_sorovlar_jami))
text
{} = 3.000

Uchta. Yukda mingdan ortiq so'rov bo'ldi, lekin yol faqat uchta qiymat oldi. Ikkitasini yuk tarkibidan bilamiz: /v1/vazifalar va noma'lum yo'llar uchun boshqa. Uchinchisi, ehtimol, sog'liq tekshiruvi yo'li — kanon qiymatlarning o'zini chiqarmagan. Agar haqiqiy URL yozilganida, /v1/yoq ga o'xshash har yangi yo'l yangi seriya bo'lardi.

Prometheus xotirasidagi jami seriyalar soni:

text
{"__name__":"prometheus_tsdb_head_series","instance":"localhost:9090","job":"prometheus"} = 1136

1 136 seriya — kichik son. (Yuqoridagi nusxalar yig'indisi 1 136.4 ga yaqinligi — tasodif: u so'rovlar soni, bu esa seriyalar soni.) Ularning katta qismini standart Node metrikalari, gistogramma savatlari va Prometheus'ning o'zi beradi. Bu raqamni dashboard'da kuzatib boring: bir kunda ikki baravar oshsa, kimdir yangi yuqori kardinallikli yorliq qo'shgan.

Server va konteyner darajasidagi metrikalar uchun odatda ikkita tayyor eksporter qo'shiladi. node_exporter — host'ning CPU, xotira, disk va tarmoq ko'rsatkichlari. cAdvisor — har konteynerning resurs sarfi. Kanon ularni qo'shmadi: konteyner xotirasini docker stats bilan o'lchadi. Bu ikki eksporter — sinalmagan (hujjat bo'yicha, 2026-11). Ikkalasi ham Docker'da host tizimiga keng kirish huquqi bilan ishlaydi — qo'shishdan oldin buni hisobga oling.

5. Grafana: manba va dashboard fayldan

5.1 Ma'lumot manbalari

Grafana o'zi ma'lumot saqlamaydi — u manbalarga so'rov yuboradi. Kanonda uchta manba, hammasi faylda (deploy/kuzatuv/grafana/provisioning/datasources/manbalar.yml, qatorga bo'lindi, mazmuni aynan):

yaml
apiVersion: 1
datasources:
  - name: Prometheus
    uid: prom
    type: prometheus
    url: http://prometheus:9090
    isDefault: true
  - { name: Loki, uid: loki, type: loki, url: http://loki:3100 }
  - name: Jaeger
    uid: jaeger
    type: jaeger
    url: http://jaeger:16686

uid — manbaning doimiy identifikatori. Dashboard JSON'i manbaga nomi bilan emas, uid bilan murojaat qiladi. Shuning uchun dashboard faylini boshqa Grafana'ga ko'chirsangiz ham, manba bir xil uid bilan bo'lsa — ishlaydi.

5.2 Dashboard fayldan

Dashboard'lar uchun alohida provisioning fayli Grafana'ga papkani ko'rsatadi (…/dashboards/fayllar.yml, qatorga bo'lindi):

yaml
apiVersion: 1
providers:
  - name: vazifalar
    type: file
    options: { path: /var/lib/grafana/dashboards }

Compose'da shu papkaga loyihadagi grafana/dashboards/ faqat o'qish uchun ulanadi. Kanonda bitta dashboard — vazifalar-red, olti panel (Observability asoslari, «Dashboard» bo'limi). Bitta panel JSON'da quyidagicha ko'rinadi (fayldan, joylashuv maydoni gridPos olib tashlangan, qatorga bo'lindi):

json
{
  "id": 1,
  "type": "timeseries",
  "title": "So'rovlar / s (status bo'yicha)",
  "datasource": { "type": "prometheus", "uid": "prom" },
  "targets": [
    {
      "refId": "A",
      "expr": "sum by (status) (rate(http_sorovlar_jami[1m]))",
      "legendFormat": "{{status}}"
    }
  ]
}

expr — aynan «Kanon so'rovlari» bo'limidagi PromQL. Panel — shunchaki "so'rov + ko'rinish". legendFormat — chiziq nomi, {{status}} o'rniga yorliq qiymati qo'yiladi.

Kanon Grafana API orqali tekshirdi: dashboard va manbalar fayldan yuklangan.

text
vazifalar-red — vazifalar-api — RED (so'rov, xato, davomiylik)
manbalar: Jaeger, Loki, Prometheus

Ish tartibi: dashboard'ni Grafana'da sichqoncha bilan tahrirlaysiz → JSON'ni eksport qilasiz → faylga yozib, commit qilasiz. Fayldan yuklangan dashboard'ni UI'da saqlashga urinib ko'raylik. allowUiUpdates: false bo'lsa, Grafana "Cannot save provisioned dashboard" (fayldan yuklangan dashboard'ni saqlab bo'lmaydi) oynasini chiqaradi. Hujjat namunasida aynan false turibdi, kanon faylida esa bu qator yo'q (sinalmagan). allowUiUpdates: true bilan saqlash ruxsat etiladi, lekin fayl o'zgarganda Grafana bazadagi nusxani fayldagisi bilan almashtiradi (hujjatga ko'ra, tekshirildi, 2026-11). Ikkala holatda ham haqiqat manbai — git'dagi fayl.

5.3 Grafana xavfsizligi

Kanon Compose'da Grafana uchun uchta sozlama:

  • admin paroli muhitdan, majburiy: GF_SECURITY_ADMIN_PASSWORD: "${GRAFANA_PAROL:?GRAFANA_PAROL kerak}" — berilmasa, Compose ishga tushmaydi;
  • GF_USERS_ALLOW_SIGN_UP: "false" — begonalar ro'yxatdan o'ta olmaydi;
  • port faqat 127.0.0.1:4980 da — serverda ochish uchun SSH tunnel (SSH chuqur).

Grafana'ning xotira limiti 256 MiB — kanon o'lchovida u 81 foiz band edi (Observability asoslari). Ko'p foydalanuvchi bo'lsa, limitni oshiring.

6. Loyiha qadami

Loyihaga deploy/kuzatuv/ ga qo'shiladi:

Fayl Nima
prometheus.yml scrape: api nusxalari, o'zi; alert qoidalari va Alertmanager manzili
grafana/provisioning/datasources/manbalar.yml Prometheus, Loki, Jaeger
grafana/provisioning/dashboards/fayllar.yml dashboard papkasi
grafana/dashboards/vazifalar-red.json RED dashboard, olti panel

compose.kuzatuv.yaml ga prometheus va grafana xizmatlari qo'shiladi: portlar faqat 127.0.0.1, xotira limitlari (Prometheus 512 MiB, Grafana 256 MiB), ma'lumot — nomli volume'larda. Alert qoidalari (qoidalar.yml) va Alertmanager — Uptime monitoring va alerting darsida.

Lokal sinab ko'ring:

  1. Kuzatuv stack'ini ko'taring, http://127.0.0.1:4981/targets da hamma maqsad up ekanini ko'ring.
  2. Bir daqiqa yuk bering (masalan, curl sikli bilan 401 va 404).
  3. Prometheus'da sum by (status) (rate(http_sorovlar_jami[1m])) ni bajaring.
  4. Grafana'da vazifalar-red dashboard'ini oching — u hech qanday sichqoncha harakatisiz paydo bo'lishi kerak.
  5. api-yashil ni to'xtating va up qanday o'zgarishini kuzating.

Hali commit qilmang: kuzatuv stack'i Production xatolarini tekshirish darsida bitta commit bo'ladi.

7. Ko'p uchraydigan xatolar

7.1 Counter'ga to'g'ridan qarash

http_sorovlar_jami grafigi faqat o'sib boradi va deploy'da nolga tushadi. Doim rate yoki increase.

7.2 Oynani hisobga olmaslik

rate(x[1m]) — oxirgi daqiqaning o'rtachasi. Qisqa portlashni katta oyna "tekislab" yuboradi, kichik oyna esa shovqinli. Amaliyotdagi odatiy tavsiya: oyna kamida 4 ta scrape oralig'icha bo'lsin (15 s × 4 = 1 daqiqa). Bu qoida Prometheus hujjatida yozilmagan — jamoalar tajribasi (2026-11 holatiga).

7.3 rate dan keyin sum, aksincha emas

Avval sum, keyin rate (masalan, subquery bilan rate(sum(x)[5m:])) — xato. Nusxalar avval qo'shilsa, bittasining qayta ishga tushishi yig'indini kamaytiradi va rate buni sezmaydi. To'g'risi: sum(rate(x[5m])). Prometheus hujjati ham shunday deydi: avval rate, keyin yig'ish — shunda qayta ishga tushish seziladi (tekshirildi, 2026-11).

7.4 Yuqori kardinallikli yorliq

user_id, to'liq URL, sorovId — yorliqda emas. prometheus_tsdb_head_series ni kuzatib boring.

7.5 Grafana'da qo'lda yig'ilgan dashboard

Volume o'chsa yoki yangi serverga ko'chsangiz — yo'q. Dashboard — JSON fayl, git'da.

7.6 /metrics ni internetga ochish

Ichki marshrutlar, xatolar soni, xotira — hujumchiga xarita. Faqat ichki tarmoq yoki token.

8. Mashqlar

Mashqlar kurs/mashqlar/34/14-metrikalar/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Prometheus maqsadni o'qiy olsa, up qiymati —
  • Counter'ning soniyadagi o'rtacha o'sishi — ()
  • Nusxalarni birlashtirish: by (status)
  • Gistogramma savatining yuqori chegarasi yorlig'i —
  • Kanonda Prometheus xotirasidagi seriyalar soni —
Yechim
  • 1 — 0 bo'lsa, maqsad o'qilmadi: eng birinchi alert.
  • rate — qayta ishga tushishni o'zi hisobga oladi.
  • sum — avval rate, keyin sum.
  • le — "less or equal", histogram_quantile shu yorliq bo'yicha ishlaydi.
  • 1136 — yol yorlig'i atigi 3 qiymat oldi.

2-mashq (o'rta): /metrics dan yig'indi

yigindi(matn, metrika, yorliq) funksiyasini yozing. matn — Prometheus matn formati (/metrics chiqishi). Funksiya berilgan metrikaning qatorlarini topib, qiymatlarni berilgan yorliq bo'yicha qo'shsin va { yorliqQiymati: yigindi } obyektini qaytarsin. # bilan boshlanadigan izohlar va boshqa metrikalar e'tiborsiz qolsin.

Ishora: qator ko'rinishi nom{a="1",b="2"} qiymat. Regex ^\w+\{(.*)\} (\S+)$ — m[1] yorliqlar, m[2] qiymat (Guruhlar va alternation). Yorliqlarni split(","), keyin split("=") bilan ajrating, qo'shtirnoqni slice(1, -1) olib tashlaydi.

Yechim
js
function yigindi(matn, metrika, yorliq) {
  const natija = {};
  for (const q of matn.split("\n")) {
    if (q.startsWith("#") || !q.startsWith(metrika + "{")) continue;
    const m = q.match(/^\w+\{(.*)\} (\S+)$/);
    if (!m) continue;
    const yorliqlar = {};
    for (const juft of m[1].split(",")) {
      const [k, v] = juft.split("=");
      yorliqlar[k] = v.slice(1, -1);
    }
    const kalit = yorliqlar[yorliq];
    natija[kalit] = (natija[kalit] ?? 0) + Number(m[2]);
  }
  return natija;
}

const metrics = `# HELP http_sorovlar_jami HTTP so'rovlar soni
# TYPE http_sorovlar_jami counter
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970
http_sorovlar_jami{metod="GET",yol="boshqa",status="404"} 117
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="200"} 41
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="201"} 5
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="500"} 1
nodejs_eventloop_lag_p99_seconds 0.0119`;
console.log(yigindi(metrics, "http_sorovlar_jami", "status"));
console.log(yigindi(metrics, "http_sorovlar_jami", "metod"));
console.log(yigindi(metrics, "http_sorovlar_jami", "yol"));

Konsolda:

text
{ '200': 41, '201': 5, '401': 970, '404': 117, '500': 1 }
{ GET: 1128, POST: 6 }
{ '/v1/vazifalar': 1017, boshqa: 117 }

Bu — sum by (status) (http_sorovlar_jami) ning kichik modeli, faqat bitta nusxa va bitta lahza uchun. Raqamli kalitlar ('200') obyektda o'sish tartibida chiqadi — JS shunday tartiblaydi. Bizning split(",") qiymat ichida vergul bo'lsa buziladi. Haqiqiy format qochirish belgilariga ega — Prometheus kutubxonalari uni to'liq tahlil qiladi. Shuning uchun /metrics ni o'zingiz tahlil qilmang, PromQL'dan foydalaning.

3-mashq (qiyin): qaysi metrika nechta seriya beradi

Bash skript yozing. U avval /metrics ko'rinishidagi metrics.txt yaratsin: counter, gistogramma (qisqartirilgan: uchta savat, metod yorlig'isiz) va gauge. Keyin awk bilan har asosiy metrika necha seriya berishini (paydo bo'lish tartibida) va jami seriyalarni chiqarsin. Gistogrammaning _bucket, _sum, _count qatorlari bitta metrikaga hisoblansin.

Ishora: nom — birinchi maydon, sub(/\{.*/, "", nom) yorliqlarni kesadi, sub(/_(bucket|sum|count)$/, "", nom) — qo'shimchani. /^#/ { next } — izohlarni o'tkazish (Fayl va matn qidirish).

Yechim
bash
cat > metrics.txt <<'TXT'
# TYPE http_sorovlar_jami counter
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970
http_sorovlar_jami{metod="GET",yol="boshqa",status="404"} 117
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="201"} 5
# TYPE http_sorov_davomiyligi_soniya histogram
http_sorov_davomiyligi_soniya_bucket{le="0.005",yol="boshqa"} 90
http_sorov_davomiyligi_soniya_bucket{le="0.1",yol="boshqa"} 115
http_sorov_davomiyligi_soniya_bucket{le="+Inf",yol="boshqa"} 117
http_sorov_davomiyligi_soniya_sum{yol="boshqa"} 0.61
http_sorov_davomiyligi_soniya_count{yol="boshqa"} 117
# TYPE nodejs_eventloop_lag_p99_seconds gauge
nodejs_eventloop_lag_p99_seconds 0.0119
TXT
awk '
/^#/ { next }
{
  nom = $1
  sub(/\{.*/, "", nom)
  sub(/_(bucket|sum|count)$/, "", nom)
  if (!(nom in soni)) { tartib[++n] = nom }
  soni[nom]++
  jami++
}
END {
  for (i = 1; i <= n; i++) print tartib[i] ": " soni[tartib[i]]
  print "jami seriyalar: " jami
}
' metrics.txt

Biz ishga tushirdik:

text
http_sorovlar_jami: 3
http_sorov_davomiyligi_soniya: 5
nodejs_eventloop_lag_p99_seconds: 1
jami seriyalar: 9

Gistogramma bitta yorliqlar to'plami uchun 5 ta seriya berdi — bu yerda 3 savat + _sum + _count. Kanon gistogrammasida 11 ta savat chegarasi bor, +Inf bilan 12 ta, jami 14 seriya — har metod × yo'l juftligi uchun. Shuning uchun gistogrammada yorliq qo'shish counter'dagidan 14 baravar qimmat. Bitta cheklov: nomi _count bilan tugaydigan oddiy counter ham shu qoidaga tushib qoladi — haqiqiy vosita # TYPE qatoriga qaraydi.

9. Real ishda

  • Prometheus — bulutli dunyo standarti. Kubernetes, ma'lumotlar bazalari, nginx, Redis — deyarli hammasining eksporteri bor. Uzoq saqlash va ko'p klasterlar uchun Thanos, Mimir yoki VictoriaMetrics ishlatiladi.
  • Grafana — faqat Prometheus emas: Loki, Postgres, Elasticsearch va boshqa manbalar bilan ham ishlaydi. Ko'p jamoalarda u "markaziy ekran".
  • Dashboard-as-code — JSON'ni qo'lda yozish og'ir, shuning uchun ba'zi jamoalar uni dastur bilan yig'adi (Grafonnet, Terraform provayderi va boshqalar — sinalmagan).
  • Intervyu savollari: "rate va increase farqi?", "Nega sum(rate()), rate(sum()) emas?", "Prometheus'da yuqori kardinallik nima va uni qanday topasiz?", "p99 ni qanday hisoblaysiz?"

Xulosa

  • Prometheus har 15 soniyada /metrics ni o'qiydi; har yorliqlar to'plami — vaqt qatori, job va instance yorliqlarini o'zi qo'shadi.
  • up — eng birinchi signal: kanonda oltita maqsad, hammasi up; ikki api nusxasi alohida.
  • Counter'ni doim rate/increase orqali o'qing; rate qayta ishga tushishni hisobga oladi, lekin qulashdan oldingi yozilmagan so'rovlar baribir yo'qoladi.
  • Kanon natijalari: 401 — 11.6/s (oyna yuk tugashini qamradi), nusxalar 520/617, p50 2.8 ms, p99 97 ms, yol — 3 qiymat, jami 1 136 seriya.
  • Grafana manbalari va dashboard'i fayldan (provisioning) — uid bilan bog'lanadi, haqiqat manbai git'da.
  • /metrics va Grafana tashqariga ochilmaydi: web nginx faqat /v1/ ni uzatadi, UI'lar 127.0.0.1 da.

Keyingi dars: Sentry chuqur: release, sampling, PII tozalash va GlitchTip — xatolarni guruhlab, qaysi relizda paydo bo'lganini ko'radigan tizim.

Manbalar

34-qism. CI/CD, monitoring, bulut · 14-dars yakunlandi

Metrikalar: Prometheus va Grafana — scrape, PromQL va dashboard fayldan

18 daqvaqt
0belgi
Keyingi dars: Sentry chuqur: release, sampling, PII tozalash va GlitchTip
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0