Metrikalar: Prometheus va Grafana — scrape, PromQL va dashboard fayldan
Qisqacha: Prometheus har 15 soniyada ilovaning
/metricssahifasini o'qiydi (scrape) va har qiymatni vaqt belgisi bilan saqlaydi. Ana shu tarix ustida PromQL so'rovlari ishlaydi:rate()— counter'ning soniyadagi o'sishi,sum by (status)— guruhlash,histogram_quantile()— p99. Grafana bu so'rovlarni grafikka aylantiradi. Kanonda dashboard ham, ma'lumot manbalari ham fayldan yuklanadi. Kanon yukida: 401 — soniyasiga 11.6, p99 — 97 ms, ikki nusxa 520 va 617 so'rovni bo'lishdi, Prometheus'da jami 1 136 seriya.
Bu darsda
- Prometheus qanday qilib
/metricsdan vaqt qatorlarini yasashini tushuntirasiz. - Kanonning
prometheus.ymlfaylini o'qiysiz va maqsadlar holatini (up) tekshirasiz. - PromQL'ning asosiy funksiyalarini kanon natijalari bilan o'qiysiz.
- Counter qayta ishga tushganda
rate()nima qilishini kod bilan modellaysiz. - Grafana manbalari va dashboard'ini fayldan yuklashni sozlaysiz.
Oldin bilishingiz kerak: Observability: metrikalar, trace va xatolarni kuzatish, Observability asoslari, Log agregatsiya: Loki, Grafana va Alloy, Compose production'da.
O'tgan darsda loglarni yig'dik — "aynan shu so'rov bilan nima bo'ldi?". Endi umumiy manzaraga qaytamiz: "tizim hozir qanday va bir soat oldin qanday edi?". Bunga loglar emas, metrikalar javob beradi.
1. Nega bu kerak?
Observability darsida vazifalar-api ga /metrics qo'shdik. Brauzerda ochsangiz, shunday qatorlarni ko'rasiz: http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970. Bu — counter'ning shu lahzadagi qiymati.
Undan uchta savolga javob olib bo'lmaydi:
- Tezlik. 970 — ilova ishga tushgandan beri. Hozir soniyasiga nechta? Ikki o'lchov kerak.
- Tarix. Kecha 20:00 da qancha edi? Hech kim yozib olmagan.
- Bir nechta nusxa. api va api-yashil — ikki xil
/metrics. Umumiy son?
Hayotiy o'xshatish: elektr hisoblagichi. U faqat "boshidan beri 12 480 kVt·soat" deydi. Bu oyda qancha ishlatganingizni bilish uchun kimdir har oy raqamni yozib boradi va ayiradi. Prometheus — har 15 soniyada raqamni yozib boradigan "nazoratchi". PromQL esa — o'sha yozuvlar ustida hisob-kitob.
2. Prometheus qanday ishlaydi
2.1 Scrape va vaqt qatori
Prometheus ilovaga o'zi boradi va /metrics ni o'qiydi — bu scrape (Observability asoslari, «Ma'lumot qanday oqadi» bo'limi). Har qator — bitta vaqt qatori (time series): metrika nomi + yorliqlar to'plami. Har scrape'da u qatorga yangi namuna (sample) qo'shiladi: vaqt belgisi va qiymat.
sequenceDiagram
participant P as Prometheus
participant A as api:3000
participant G as Grafana
loop har 15 s
P->>A: GET /metrics
A-->>P: matn, counter va gistogrammalar
P->>P: namunalarni vaqt bilan saqlash
end
G->>P: PromQL so'rovi, oxirgi 30 daqiqa
P-->>G: vaqt qatorlariPrometheus o'ziga ikkita yorliqni o'zi qo'shadi: job (sozlamadagi guruh nomi) va instance (manzil). Shuning uchun ikki api nusxasining bir xil metrikasi ikki xil qator bo'ladi: instance="api:3000" va instance="api-yashil:3000". Ilova o'zi bu yorliqlarni bilmaydi.
Saqlash — Prometheus'ning o'z vaqt qatorlari bazasida (TSDB), konteyner volume'ida. Kanonda 15 kun (--storage.tsdb.retention.time=15d), eskisi avtomatik o'chiriladi.
2.2 Kanon sozlamasi
deploy/kuzatuv/prometheus.yml (izohsiz, qatorga bo'lindi, mazmuni aynan). Oxirgi uptime guruhi — blackbox probe'lari, uni Uptime monitoring darsida ochamiz:
global:
scrape_interval: 15s
evaluation_interval: 15s
rule_files: ["/etc/prometheus/qoidalar.yml"]
alerting:
alertmanagers:
- static_configs:
- targets: ["alertmanager:9093"]
scrape_configs:
- job_name: vazifalar-api
metrics_path: /metrics
static_configs:
- targets: ["api:3000", "api-yashil:3000"]
- job_name: prometheus
static_configs:
- targets: ["localhost:9090"]
- job_name: uptime
metrics_path: /probe
params: { module: [http_2xx_401] }
file_sd_configs:
- files: ["/etc/prometheus/uptime-maqsadlar.yml"]
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: "blackbox:9115"Qatorma-qator:
| Qism | Ma'nosi |
|---|---|
scrape_interval: 15s |
har maqsadni har 15 soniyada o'qish |
evaluation_interval: 15s |
alert qoidalarini har 15 soniyada tekshirish |
rule_files, alerting |
alert qoidalari fayli va ularni kimga yuborish |
job_name: vazifalar-api |
ikki nusxa — bitta guruh, job yorlig'i shu |
job_name: prometheus |
Prometheus o'zini ham kuzatadi |
job_name: uptime |
tashqi probe'lar, maqsadlar alohida faylda |
Maqsadlar — Compose xizmat nomlari bilan: api:3000. Prometheus ilova stack'ining ichki tarmog'ida, shuning uchun nomni Docker DNS'i yechadi (Docker tarmoqlari). Ilova portini hostga ochish shart emas.
2.3 /metrics tashqariga chiqmasin
/metrics ichida marshrutlar ro'yxati, xatolar soni, xotira — hujumchi uchun foydali ma'lumot. Kanonda ikki himoya bor:
- web nginx faqat
/v1/yo'lini api'ga uzatadi (docker/nginx.conf). Tashqaridan/metricsso'ralsa, nginx uni SPA sahifasi deb javob beradi — api'ga yetmaydi. METRIKA_TOKENberilsa,/metricsAuthorization: Bearertalab qiladi (Observability, «Loyiha qadami»). Ichki tarmoqda kanon uni bo'sh qoldirdi.
2.4 Maqsadlar holati: up
Har scrape natijasida Prometheus up metrikasini yozadi: 1 — o'qildi, 0 — o'qilmadi. Bu eng birinchi signal. Kanon tajribasida (IlmHamroh, 2026-11), yukdan keyin maqsadlar ro'yxati (domen almashtirilgan):
prometheus localhost:9090 up
uptime http://web:8080/ up
uptime http://web:8080/v1/vazifalar up
uptime https://sinov.example.uz/ up
vazifalar-api api:3000 up
vazifalar-api api-yashil:3000 upOltita maqsad, hammasi up. uptime guruhidagi uchtasi — blackbox probe'lari, keyingi darslarda. Ikki api nusxasi alohida-alohida tekshiriladi: bittasi o'lsa, up{instance="api-yashil:3000"} == 0 bo'ladi, sayt esa ishlayveradi.
Tekshirib ko'ring:
scrape_intervalni 15 s dan 1 s ga tushirsangiz nima o'zgaradi? Nega kanon buni qilmagan?
Javob
Namunalar 15 baravar ko'payadi: disk, xotira va so'rovlar vaqti shunga yarasha o'sadi. Ilova ham soniyada bir marta /metrics ni yig'ib beradi — bu protsessor ishi. Foyda esa kichik: 15 soniyalik aniqlik deyarli hamma alert va dashboard uchun yetarli. Tezroq aniqlash kerak bo'lsa ham, odatda 5–10 s yetadi.
3. PromQL asoslari
3.1 Ikki xil natija
PromQL — Prometheus so'rov tili. Uning asosiy g'oyasi: so'rov vaqt qatorlarini qaytaradi, bitta son emas.
- Bir lahzalik vektor (instant vector):
http_sorovlar_jami— har qatorning eng oxirgi qiymati. - Oraliq vektori (range vector):
http_sorovlar_jami[5m]— har qatorning oxirgi 5 daqiqadagi hamma namunalari.
Oraliq vektorini to'g'ridan grafik qilib bo'lmaydi — u funksiya uchun xom ashyo. Eng ko'p ishlatiladigan funksiyalar:
| Funksiya | Nima qaytaradi | Qachon |
|---|---|---|
rate(x[5m]) |
counter'ning o'rtacha soniyadagi o'sishi | trafik, xatolar tezligi |
increase(x[5m]) |
oraliqdagi jami o'sish | "5 daqiqada nechta" |
sum by (l) (…) |
l yorlig'i bo'yicha yig'indi |
nusxalarni birlashtirish |
histogram_quantile(0.99, …) |
gistogrammadan kvantil | p99 |
Qoida: counter'ga hech qachon to'g'ridan qaramang — uni doim rate yoki increase orqali o'qing. Counter'ning o'zi faqat o'sib boradi va ilova qayta ishga tushganda nolga qaytadi.
3.2 rate qayta ishga tushishni qanday ko'radi
Deploy'da konteyner qayta yaratiladi — counter 0 dan boshlanadi. Oddiy "oxirgi minus birinchi" hisobi manfiy tezlik beradi. rate esa qiymat kamayganini qayta ishga tushish deb tushunadi: kamaygan nuqtadan keyingi qiymatni o'sish deb qo'shadi.
Buni kod bilan modellaymiz. Namunalar — [soniya, qiymat] juftlari, har 15 soniyada:
function osish(namunalar) {
let jami = 0;
for (let i = 1; i < namunalar.length; i++) {
const oldingi = namunalar[i - 1][1];
const joriy = namunalar[i][1];
jami += joriy >= oldingi ? joriy - oldingi : joriy;
}
return jami;
}
function tezlik(namunalar) {
const vaqt = namunalar.at(-1)[0] - namunalar[0][0];
return osish(namunalar) / vaqt;
}
const oddiy = [
[0, 1000], [15, 1240], [30, 1480], [45, 1720], [60, 1960],
];
const reset = [
[0, 1000], [15, 1240], [30, 60], [45, 300], [60, 540],
];
console.log("oddiy:", osish(oddiy), "so'rov,", tezlik(oddiy), "/s");
console.log("reset:", osish(reset), "so'rov,", tezlik(reset), "/s");
const sodda = (n) =>
(n.at(-1)[1] - n[0][1]) / (n.at(-1)[0] - n[0][0]);
console.log("sodda ayirma:", sodda(reset).toFixed(2), "/s");Konsolda:
oddiy: 960 so'rov, 16 /s
reset: 780 so'rov, 13 /s
sodda ayirma: -7.67 /sBirinchi qator — normal holat: 60 soniyada 960 so'rov, soniyasiga 16. Ikkinchida 15- va 30-soniya orasida ilova qayta ishga tushdi: 1240 dan 60 ga tushdi. Model 60 ni yangi o'sish deb qo'shdi va 13/s berdi. Uchinchi qator — oddiy ayirma: manfiy tezlik, ma'nosiz.
13 haqiqiy 16 dan kam. Nega? Oxirgi scrape (1240) va qulash orasidagi so'rovlar counter bilan birga yo'qoldi — ularni hech kim yozib olmagan. Bu metrikalarning tabiiy chegarasi. Haqiqiy Prometheus yana bir ish qiladi: natijani oyna chegaralariga ekstrapolyatsiya qiladi — birinchi va oxirgi namunadan oyna chetlarigacha o'sishni taxminan "cho'zib" hisoblaydi. Qayta ishga tushishni ham u avtomatik hisobga oladi (ikkalasi ham hujjatga ko'ra, tekshirildi, 2026-11). Bizning model ekstrapolyatsiyani soddalashtirgan. at(-1) — massivning oxirgi elementi.
3.3 Kanon so'rovlari
Kanon 60 soniyalik yuk berdi: /v1/vazifalar ga har 50 ms (401), bosh sahifaga har 100 ms, /v1/yoq ga har 500 ms (404). Yuk tugagach 20 soniya kutib, PromQL so'rovlari HTTP API orqali yuborildi.
Status bo'yicha tezlik:
sum by (status) (rate(http_sorovlar_jami[1m])){"status":"200"} = 0.1778
{"status":"401"} = 11.60
{"status":"404"} = 1.378Yuk generatori 60 soniyada 970 ta 401 yubordi — o'rtacha soniyasiga 16. PromQL esa 11.6 dedi. Xato emas: [1m] — oxirgi bir daqiqa, o'lchov esa yuk tugagandan 20 soniya keyin olindi. Oynaning uchdan bir qismi "jim" vaqtga tushdi. Tezlikni o'qiyotganda oynaga qarang. 200 larni yuk yubormagan — ehtimol, bu sog'liq tekshiruvlari. Bosh sahifa so'rovlari (har 100 ms) bu yerda umuman yo'q: ularni web nginx o'zi beradi, api'ga yetmaydi.
Nusxalar bo'yicha:
sum by (instance) (increase(http_sorovlar_jami[5m])){"instance":"api-yashil:3000"} = 616.8
{"instance":"api:3000"} = 519.6Ikki nusxa yukni deyarli teng bo'lishdi — web nginx'ning upstream bloki ikkalasiga navbatma-navbat yuboradi (Zero-downtime deploy). Ikkalasi birga — 1 136.4. Yuk 1 087 ta so'rov yuborgan edi; qolgan ~50 tasi, ehtimol, sog'liq tekshiruvlari va probe'lar. Kasr qiymat 616.8-bob — increase ekstrapolyatsiyasining izi, Prometheus'da bu normal.
- api519,6 so'rov
- api-yashil616,8 so'rov
Manba: Kurs tajribasi (IlmHamroh, 2026-11): lokal Prometheus v3.15.1, increase(http_sorovlar_jami[5m]), 60 s yukdan keyin, bitta o'lchov
Kechikish:
histogram_quantile(0.99, sum by (le) (rate(http_sorov_davomiyligi_soniya_bucket[2m])))p50 uchun 0.5 bilan ham shunday so'rov yuborildi. Natija soniyalarda:
{} = 0.002824
{} = 0.09695p50 — 2.8 ms, p99 — 97 ms. So'rovlarning yarmi 3 ms dan tez. Lekin har yuzinchisi 97 ms ga yaqin kutdi. Ifodadagi sum by (le) ikki nusxaning savatlarini qo'shadi. Kvantil shundan keyin hisoblanadi. Observability darsida aynan shu sababdan Summary emas, gistogramma tanlangan edi.
Yorliq le — savatning yuqori chegarasi ("less or equal" — "kichik yoki teng"): le="0.1" savatida 0.1 soniya va undan tez so'rovlar sanaladi.
To'yinganlik (USE):
{"__name__":"nodejs_eventloop_lag_p99_seconds","ilova":"vazifalar-api","instance":"api-yashil:3000","job":"vazifalar-api"} = 0.02672
{"__name__":"nodejs_eventloop_lag_p99_seconds","ilova":"vazifalar-api","instance":"api:3000","job":"vazifalar-api"} = 0.01189Event loop kechikishi p99 — 12 va 27 ms. Ya'ni yuk ostida ham Node jarayoni deyarli bo'sh: navbatda kutish oz. Xotira (RSS) — 197 va 204 MB, process_resident_memory_bytes / 1e6 so'rovi bilan. Bu standart metrikalar collectDefaultMetrics() dan keladi.
Tekshirib ko'ring: Jamoadoshingiz dashboard'ga
rate(http_sorovlar_jami[5m])nisumsiz qo'ydi. Grafikda nechta chiziq ko'rinadi va bu nimaga yomon?
Javob
Har noyob yorliqlar to'plami — alohida chiziq: 2 nusxa × metod × yo'l × status. Kanonda bu o'nlab chiziq — grafik "spagetti" ga aylanadi. Avval savolni aniqlang ("status bo'yicha", "nusxa bo'yicha") va sum by (status) bilan aynan shu o'lchovni qoldiring.
4. Kardinallikni o'lchash
Observability darsida kardinallik qoidasini o'rgandik: yo'l yorlig'i — marshrut shabloni, haqiqiy URL emas. Endi uni Prometheus'ning o'zida tekshiramiz.
yol yorlig'ining nechta xil qiymati bor:
count(count by (yol) (http_sorovlar_jami)){} = 3.000Uchta. Yukda mingdan ortiq so'rov bo'ldi, lekin yol faqat uchta qiymat oldi. Ikkitasini yuk tarkibidan bilamiz: /v1/vazifalar va noma'lum yo'llar uchun boshqa. Uchinchisi, ehtimol, sog'liq tekshiruvi yo'li — kanon qiymatlarning o'zini chiqarmagan. Agar haqiqiy URL yozilganida, /v1/yoq ga o'xshash har yangi yo'l yangi seriya bo'lardi.
Prometheus xotirasidagi jami seriyalar soni:
{"__name__":"prometheus_tsdb_head_series","instance":"localhost:9090","job":"prometheus"} = 11361 136 seriya — kichik son. (Yuqoridagi nusxalar yig'indisi 1 136.4 ga yaqinligi — tasodif: u so'rovlar soni, bu esa seriyalar soni.) Ularning katta qismini standart Node metrikalari, gistogramma savatlari va Prometheus'ning o'zi beradi. Bu raqamni dashboard'da kuzatib boring: bir kunda ikki baravar oshsa, kimdir yangi yuqori kardinallikli yorliq qo'shgan.
Server va konteyner darajasidagi metrikalar uchun odatda ikkita tayyor eksporter qo'shiladi. node_exporter — host'ning CPU, xotira, disk va tarmoq ko'rsatkichlari. cAdvisor — har konteynerning resurs sarfi. Kanon ularni qo'shmadi: konteyner xotirasini docker stats bilan o'lchadi. Bu ikki eksporter — sinalmagan (hujjat bo'yicha, 2026-11). Ikkalasi ham Docker'da host tizimiga keng kirish huquqi bilan ishlaydi — qo'shishdan oldin buni hisobga oling.
5. Grafana: manba va dashboard fayldan
5.1 Ma'lumot manbalari
Grafana o'zi ma'lumot saqlamaydi — u manbalarga so'rov yuboradi. Kanonda uchta manba, hammasi faylda (deploy/kuzatuv/grafana/provisioning/datasources/manbalar.yml, qatorga bo'lindi, mazmuni aynan):
apiVersion: 1
datasources:
- name: Prometheus
uid: prom
type: prometheus
url: http://prometheus:9090
isDefault: true
- { name: Loki, uid: loki, type: loki, url: http://loki:3100 }
- name: Jaeger
uid: jaeger
type: jaeger
url: http://jaeger:16686uid — manbaning doimiy identifikatori. Dashboard JSON'i manbaga nomi bilan emas, uid bilan murojaat qiladi. Shuning uchun dashboard faylini boshqa Grafana'ga ko'chirsangiz ham, manba bir xil uid bilan bo'lsa — ishlaydi.
5.2 Dashboard fayldan
Dashboard'lar uchun alohida provisioning fayli Grafana'ga papkani ko'rsatadi (…/dashboards/fayllar.yml, qatorga bo'lindi):
apiVersion: 1
providers:
- name: vazifalar
type: file
options: { path: /var/lib/grafana/dashboards }Compose'da shu papkaga loyihadagi grafana/dashboards/ faqat o'qish uchun ulanadi. Kanonda bitta dashboard — vazifalar-red, olti panel (Observability asoslari, «Dashboard» bo'limi). Bitta panel JSON'da quyidagicha ko'rinadi (fayldan, joylashuv maydoni gridPos olib tashlangan, qatorga bo'lindi):
{
"id": 1,
"type": "timeseries",
"title": "So'rovlar / s (status bo'yicha)",
"datasource": { "type": "prometheus", "uid": "prom" },
"targets": [
{
"refId": "A",
"expr": "sum by (status) (rate(http_sorovlar_jami[1m]))",
"legendFormat": "{{status}}"
}
]
}expr — aynan «Kanon so'rovlari» bo'limidagi PromQL. Panel — shunchaki "so'rov + ko'rinish". legendFormat — chiziq nomi, {{status}} o'rniga yorliq qiymati qo'yiladi.
Kanon Grafana API orqali tekshirdi: dashboard va manbalar fayldan yuklangan.
vazifalar-red — vazifalar-api — RED (so'rov, xato, davomiylik)
manbalar: Jaeger, Loki, PrometheusIsh tartibi: dashboard'ni Grafana'da sichqoncha bilan tahrirlaysiz → JSON'ni eksport qilasiz → faylga yozib, commit qilasiz. Fayldan yuklangan dashboard'ni UI'da saqlashga urinib ko'raylik. allowUiUpdates: false bo'lsa, Grafana "Cannot save provisioned dashboard" (fayldan yuklangan dashboard'ni saqlab bo'lmaydi) oynasini chiqaradi. Hujjat namunasida aynan false turibdi, kanon faylida esa bu qator yo'q (sinalmagan). allowUiUpdates: true bilan saqlash ruxsat etiladi, lekin fayl o'zgarganda Grafana bazadagi nusxani fayldagisi bilan almashtiradi (hujjatga ko'ra, tekshirildi, 2026-11). Ikkala holatda ham haqiqat manbai — git'dagi fayl.
5.3 Grafana xavfsizligi
Kanon Compose'da Grafana uchun uchta sozlama:
- admin paroli muhitdan, majburiy:
GF_SECURITY_ADMIN_PASSWORD: "${GRAFANA_PAROL:?GRAFANA_PAROL kerak}"— berilmasa, Compose ishga tushmaydi; GF_USERS_ALLOW_SIGN_UP: "false"— begonalar ro'yxatdan o'ta olmaydi;- port faqat
127.0.0.1:4980da — serverda ochish uchun SSH tunnel (SSH chuqur).
Grafana'ning xotira limiti 256 MiB — kanon o'lchovida u 81 foiz band edi (Observability asoslari). Ko'p foydalanuvchi bo'lsa, limitni oshiring.
6. Loyiha qadami
Loyihaga deploy/kuzatuv/ ga qo'shiladi:
| Fayl | Nima |
|---|---|
prometheus.yml |
scrape: api nusxalari, o'zi; alert qoidalari va Alertmanager manzili |
grafana/provisioning/datasources/manbalar.yml |
Prometheus, Loki, Jaeger |
grafana/provisioning/dashboards/fayllar.yml |
dashboard papkasi |
grafana/dashboards/vazifalar-red.json |
RED dashboard, olti panel |
compose.kuzatuv.yaml ga prometheus va grafana xizmatlari qo'shiladi: portlar faqat 127.0.0.1, xotira limitlari (Prometheus 512 MiB, Grafana 256 MiB), ma'lumot — nomli volume'larda. Alert qoidalari (qoidalar.yml) va Alertmanager — Uptime monitoring va alerting darsida.
Lokal sinab ko'ring:
- Kuzatuv stack'ini ko'taring,
http://127.0.0.1:4981/targetsda hamma maqsadupekanini ko'ring. - Bir daqiqa yuk bering (masalan,
curlsikli bilan 401 va 404). - Prometheus'da
sum by (status) (rate(http_sorovlar_jami[1m]))ni bajaring. - Grafana'da
vazifalar-reddashboard'ini oching — u hech qanday sichqoncha harakatisiz paydo bo'lishi kerak. api-yashilni to'xtating vaupqanday o'zgarishini kuzating.
Hali commit qilmang: kuzatuv stack'i Production xatolarini tekshirish darsida bitta commit bo'ladi.
7. Ko'p uchraydigan xatolar
7.1 Counter'ga to'g'ridan qarash
http_sorovlar_jami grafigi faqat o'sib boradi va deploy'da nolga tushadi. Doim rate yoki increase.
7.2 Oynani hisobga olmaslik
rate(x[1m]) — oxirgi daqiqaning o'rtachasi. Qisqa portlashni katta oyna "tekislab" yuboradi, kichik oyna esa shovqinli. Amaliyotdagi odatiy tavsiya: oyna kamida 4 ta scrape oralig'icha bo'lsin (15 s × 4 = 1 daqiqa). Bu qoida Prometheus hujjatida yozilmagan — jamoalar tajribasi (2026-11 holatiga).
7.3 rate dan keyin sum, aksincha emas
Avval sum, keyin rate (masalan, subquery bilan rate(sum(x)[5m:])) — xato. Nusxalar avval qo'shilsa, bittasining qayta ishga tushishi yig'indini kamaytiradi va rate buni sezmaydi. To'g'risi: sum(rate(x[5m])). Prometheus hujjati ham shunday deydi: avval rate, keyin yig'ish — shunda qayta ishga tushish seziladi (tekshirildi, 2026-11).
7.4 Yuqori kardinallikli yorliq
user_id, to'liq URL, sorovId — yorliqda emas. prometheus_tsdb_head_series ni kuzatib boring.
7.5 Grafana'da qo'lda yig'ilgan dashboard
Volume o'chsa yoki yangi serverga ko'chsangiz — yo'q. Dashboard — JSON fayl, git'da.
7.6 /metrics ni internetga ochish
Ichki marshrutlar, xatolar soni, xotira — hujumchiga xarita. Faqat ichki tarmoq yoki token.
8. Mashqlar
Mashqlar kurs/mashqlar/34/14-metrikalar/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).
1-mashq (oson): bo'shliqlarni to'ldiring
- Prometheus maqsadni o'qiy olsa,
upqiymati — - Counter'ning soniyadagi o'rtacha o'sishi —
() - Nusxalarni birlashtirish:
by (status) - Gistogramma savatining yuqori chegarasi yorlig'i —
- Kanonda Prometheus xotirasidagi seriyalar soni —
Yechim
- 1 — 0 bo'lsa, maqsad o'qilmadi: eng birinchi alert.
- rate — qayta ishga tushishni o'zi hisobga oladi.
- sum — avval
rate, keyinsum. - le — "less or equal",
histogram_quantileshu yorliq bo'yicha ishlaydi. - 1136 — yol yorlig'i atigi 3 qiymat oldi.
2-mashq (o'rta): /metrics dan yig'indi
yigindi(matn, metrika, yorliq) funksiyasini yozing. matn — Prometheus matn formati (/metrics chiqishi). Funksiya berilgan metrikaning qatorlarini topib, qiymatlarni berilgan yorliq bo'yicha qo'shsin va { yorliqQiymati: yigindi } obyektini qaytarsin. # bilan boshlanadigan izohlar va boshqa metrikalar e'tiborsiz qolsin.
Ishora: qator ko'rinishi nom{a="1",b="2"} qiymat. Regex ^\w+\{(.*)\} (\S+)$ — m[1] yorliqlar, m[2] qiymat (Guruhlar va alternation). Yorliqlarni split(","), keyin split("=") bilan ajrating, qo'shtirnoqni slice(1, -1) olib tashlaydi.
Yechim
function yigindi(matn, metrika, yorliq) {
const natija = {};
for (const q of matn.split("\n")) {
if (q.startsWith("#") || !q.startsWith(metrika + "{")) continue;
const m = q.match(/^\w+\{(.*)\} (\S+)$/);
if (!m) continue;
const yorliqlar = {};
for (const juft of m[1].split(",")) {
const [k, v] = juft.split("=");
yorliqlar[k] = v.slice(1, -1);
}
const kalit = yorliqlar[yorliq];
natija[kalit] = (natija[kalit] ?? 0) + Number(m[2]);
}
return natija;
}
const metrics = `# HELP http_sorovlar_jami HTTP so'rovlar soni
# TYPE http_sorovlar_jami counter
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970
http_sorovlar_jami{metod="GET",yol="boshqa",status="404"} 117
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="200"} 41
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="201"} 5
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="500"} 1
nodejs_eventloop_lag_p99_seconds 0.0119`;
console.log(yigindi(metrics, "http_sorovlar_jami", "status"));
console.log(yigindi(metrics, "http_sorovlar_jami", "metod"));
console.log(yigindi(metrics, "http_sorovlar_jami", "yol"));Konsolda:
{ '200': 41, '201': 5, '401': 970, '404': 117, '500': 1 }
{ GET: 1128, POST: 6 }
{ '/v1/vazifalar': 1017, boshqa: 117 }Bu — sum by (status) (http_sorovlar_jami) ning kichik modeli, faqat bitta nusxa va bitta lahza uchun. Raqamli kalitlar ('200') obyektda o'sish tartibida chiqadi — JS shunday tartiblaydi. Bizning split(",") qiymat ichida vergul bo'lsa buziladi. Haqiqiy format qochirish belgilariga ega — Prometheus kutubxonalari uni to'liq tahlil qiladi. Shuning uchun /metrics ni o'zingiz tahlil qilmang, PromQL'dan foydalaning.
3-mashq (qiyin): qaysi metrika nechta seriya beradi
Bash skript yozing. U avval /metrics ko'rinishidagi metrics.txt yaratsin: counter, gistogramma (qisqartirilgan: uchta savat, metod yorlig'isiz) va gauge. Keyin awk bilan har asosiy metrika necha seriya berishini (paydo bo'lish tartibida) va jami seriyalarni chiqarsin. Gistogrammaning _bucket, _sum, _count qatorlari bitta metrikaga hisoblansin.
Ishora: nom — birinchi maydon, sub(/\{.*/, "", nom) yorliqlarni kesadi, sub(/_(bucket|sum|count)$/, "", nom) — qo'shimchani. /^#/ { next } — izohlarni o'tkazish (Fayl va matn qidirish).
Yechim
cat > metrics.txt <<'TXT'
# TYPE http_sorovlar_jami counter
http_sorovlar_jami{metod="GET",yol="/v1/vazifalar",status="401"} 970
http_sorovlar_jami{metod="GET",yol="boshqa",status="404"} 117
http_sorovlar_jami{metod="POST",yol="/v1/vazifalar",status="201"} 5
# TYPE http_sorov_davomiyligi_soniya histogram
http_sorov_davomiyligi_soniya_bucket{le="0.005",yol="boshqa"} 90
http_sorov_davomiyligi_soniya_bucket{le="0.1",yol="boshqa"} 115
http_sorov_davomiyligi_soniya_bucket{le="+Inf",yol="boshqa"} 117
http_sorov_davomiyligi_soniya_sum{yol="boshqa"} 0.61
http_sorov_davomiyligi_soniya_count{yol="boshqa"} 117
# TYPE nodejs_eventloop_lag_p99_seconds gauge
nodejs_eventloop_lag_p99_seconds 0.0119
TXT
awk '
/^#/ { next }
{
nom = $1
sub(/\{.*/, "", nom)
sub(/_(bucket|sum|count)$/, "", nom)
if (!(nom in soni)) { tartib[++n] = nom }
soni[nom]++
jami++
}
END {
for (i = 1; i <= n; i++) print tartib[i] ": " soni[tartib[i]]
print "jami seriyalar: " jami
}
' metrics.txtBiz ishga tushirdik:
http_sorovlar_jami: 3
http_sorov_davomiyligi_soniya: 5
nodejs_eventloop_lag_p99_seconds: 1
jami seriyalar: 9Gistogramma bitta yorliqlar to'plami uchun 5 ta seriya berdi — bu yerda 3 savat + _sum + _count. Kanon gistogrammasida 11 ta savat chegarasi bor, +Inf bilan 12 ta, jami 14 seriya — har metod × yo'l juftligi uchun. Shuning uchun gistogrammada yorliq qo'shish counter'dagidan 14 baravar qimmat. Bitta cheklov: nomi _count bilan tugaydigan oddiy counter ham shu qoidaga tushib qoladi — haqiqiy vosita # TYPE qatoriga qaraydi.
9. Real ishda
- Prometheus — bulutli dunyo standarti. Kubernetes, ma'lumotlar bazalari, nginx, Redis — deyarli hammasining eksporteri bor. Uzoq saqlash va ko'p klasterlar uchun Thanos, Mimir yoki VictoriaMetrics ishlatiladi.
- Grafana — faqat Prometheus emas: Loki, Postgres, Elasticsearch va boshqa manbalar bilan ham ishlaydi. Ko'p jamoalarda u "markaziy ekran".
- Dashboard-as-code — JSON'ni qo'lda yozish og'ir, shuning uchun ba'zi jamoalar uni dastur bilan yig'adi (Grafonnet, Terraform provayderi va boshqalar — sinalmagan).
- Intervyu savollari: "
ratevaincreasefarqi?", "Negasum(rate()),rate(sum())emas?", "Prometheus'da yuqori kardinallik nima va uni qanday topasiz?", "p99 ni qanday hisoblaysiz?"
Xulosa
- Prometheus har 15 soniyada
/metricsni o'qiydi; har yorliqlar to'plami — vaqt qatori,jobvainstanceyorliqlarini o'zi qo'shadi. up— eng birinchi signal: kanonda oltita maqsad, hammasiup; ikki api nusxasi alohida.- Counter'ni doim
rate/increaseorqali o'qing;rateqayta ishga tushishni hisobga oladi, lekin qulashdan oldingi yozilmagan so'rovlar baribir yo'qoladi. - Kanon natijalari: 401 — 11.6/s (oyna yuk tugashini qamradi), nusxalar 520/617, p50 2.8 ms, p99 97 ms,
yol— 3 qiymat, jami 1 136 seriya. - Grafana manbalari va dashboard'i fayldan (provisioning) —
uidbilan bog'lanadi, haqiqat manbai git'da. /metricsva Grafana tashqariga ochilmaydi: web nginx faqat/v1/ni uzatadi, UI'lar127.0.0.1da.
Keyingi dars: Sentry chuqur: release, sampling, PII tozalash va GlitchTip — xatolarni guruhlab, qaysi relizda paydo bo'lganini ko'radigan tizim.
Manbalar
- Prometheus hujjati — Querying basics: https://prometheus.io/docs/prometheus/latest/querying/basics/ (tekshirildi, 2026-11)
- Prometheus hujjati — Query functions (
rate,increase,histogram_quantile): https://prometheus.io/docs/prometheus/latest/querying/functions/ (tekshirildi, 2026-11) - Prometheus hujjati — Configuration (
scrape_configs): https://prometheus.io/docs/prometheus/latest/configuration/configuration/ (tekshirildi, 2026-11) - Prometheus hujjati — Exposition formats: https://prometheus.io/docs/instrumenting/exposition_formats/ (tekshirildi, 2026-11)
- Grafana hujjati — Provisioning: https://grafana.com/docs/grafana/latest/administration/provisioning/ (tekshirildi, 2026-11)
- Kurs tajribasi (IlmHamroh, 2026-11): lokal Prometheus v3.15.1 + Grafana 13.3.0, ilova stack'i blue-green rejimda, 60 s yuk — maqsadlar holati va PromQL natijalari HTTP API orqali, Grafana provisioning tekshiruvi. Mashq yechimlari — biz ishga tushirdik (2026-11-08).
Izohlar · 0
Izoh yozish uchun kiring.