Observability asoslari: metrics, logs, traces — golden signals va kuzatuv stack'i
Qisqacha: Ilova o'z ma'lumotini chiqaradi:
/metrics, JSON loglar, trace'lar. Lekin ularni kimdir yig'ishi, saqlashi va ko'rsatishi kerak — bu kuzatuv stack'i. Monitoring oldindan ma'lum savollarga javob beradi ("sayt ishlayaptimi?"), observability esa yangi savolni kod o'zgartirmasdan berishga imkon beradi ("nega aynan telefondan kirganlar xato oladi?"). Nimani o'lchashni to'rt oltin signal aytadi: kechikish, trafik, xatolar, to'yinganlik. Kanon stack'i ilovaning o'zidan ko'proq xotira oladi — kuzatuvning ham narxi bor.
Bu darsda
- Monitoring va observability farqini aniq misol bilan tushuntirasiz.
- To'rt oltin signalni RED va USE bilan bog'laysiz.
- Kanon kuzatuv stack'idagi har komponent nima qilishini va ma'lumot qanday oqishini chizasiz.
- Yaxshi dashboard qanday tuzilishini va kuzatuvning narxini baholaysiz.
Oldin bilishingiz kerak: Observability: metrikalar, trace va xatolarni kuzatish, Pino chuqur, Correlation ID va so'rov kuzatuvi, Docker Compose: ko'p servisli stack.
O'tgan ikki darsda ma'lumotni yo'qotmaslikni o'rgandik. Endi boshqa savol: ma'lumot joyida, ilova ishlayapti — lekin u yaxshi ishlayaptimi? Buni bilmasdan production'da ishlash ko'zni yumib mashina haydashga o'xshaydi.
1. Nega bu kerak?
Observability darsida vazifalar-api ga /metrics qo'shdik. Undan oldin, 25-qismdan beri, har so'rov Pino orqali JSON qator yozadi. Ya'ni ilova o'z holatini aytib turibdi. Lekin uni hech kim eshitmayapti.
Hozirgi holatda nima bor:
curl localhost:3000/metrics— counter'lar shu lahzadagi qiymati. Kecha soat 15:00 da nima bo'lgani yo'q: tarix saqlanmaydi.docker logs— bitta konteynerning loglari. Blue-green'da ikkita api nusxasi bor (Zero-downtime deploy) — so'rov qaysi biriga tushganini bilmaysiz.- Ilova o'lsa — uni kim sezadi? Foydalanuvchi, Telegram'da yozganida.
Hayotiy o'xshatish: kasalxona palatasi. Har bemorda yurak urishini o'lchaydigan sensor bor (bu — /metrics). Lekin sensor simi hech qayerga ulanmagan. Hamshiralar xonasidagi ekran (dashboard), yozuvlar arxivi (saqlash) va puls tushsa chalinadigan signal (alert) — bular alohida tizim. Bu darsda shu tizimni loyihalaymiz.
2. Monitoring va observability
2.1 Ikki xil savol
Bu ikki so'z ko'pincha aralashtiriladi. Farqi — savol turida.
| Monitoring | Observability | |
|---|---|---|
| Savol | "nima buzildi?" | "nega buzildi?" |
| Savollar | oldindan ma'lum | yangi, kutilmagan |
| Vosita | dashboard, alert qoidasi | so'rov tili, trace, tafsilotli log |
| Misol | "5xx ulushi 1 % dan oshdimi?" | "500 faqat qaysi foydalanuvchilarda?" |
Monitoring (kuzatish) — oldindan bilgan xatolarni tekshirish: sayt ochiladimi, sertifikat tugayaptimi, xatolar ko'paydimi. Siz "nima buzilishi mumkin" deb o'ylab, har biriga tekshiruv qo'yasiz.
Observability (kuzatuvchanlik) — tizimning xususiyati. U qanchalik "kuzatuvchan" bo'lsa, siz o'ylamagan muammoni ham kod o'zgartirmasdan, yangi deploy'siz tekshira olasiz. Buning uchun ma'lumot boy bo'lishi kerak: har log qatorida sorovId, so'rov yo'li, status; trace'da har bosqich vaqti.
2.2 Kanon misoli: alert jim qoldi
Bu qismning Production xatolarini tekshirish darsida haqiqiy voqea bor. Qisqasi: telefon klaviaturasidagi boshqa apostrof belgisi bilan yozilgan teg API'da 500 xatoga olib keldi. Kompyuterdan kirganlar muammoni ko'rmadi.
Monitoring nima dedi? Kanon tajribasida (IlmHamroh, 2026-11) Prometheus'dagi 5xx ulushi:
{"metod":"POST","status":"500","yol":"/v1/vazifalar"} = 0.00
{} = 0.00
--- alertlar: yo`qXato seriyasi paydo bo'ldi, lekin bitta 500 minglab yaxshi so'rov orasida ulushni nolga yaxlitlaydi. "5xx 1 % dan oshdi" alert'i ishga tushmadi. Monitoring o'z vazifasini to'g'ri bajardi — bu savol unga berilmagan edi.
Observability esa javob topdi: Loki'dagi xato logi traceId ni berdi, trace — aniq qaysi kod qatori yiqilganini. Bu zanjirni o'sha darsda qadamma-qadam o'tamiz. Hozircha saboq: alert'lar yetarli emas. Boy loglar va trace'lar kerak.
Tekshirib ko'ring: Quyidagilardan qaysi biri monitoring, qaysi biri observability savoli? (a) "Sayt oxirgi 5 daqiqada javob berdimi?" (b) "Nega kecha 21:00 dan keyin faqat Android foydalanuvchilarida kirish sekinlashdi?" (c) "Disk 90 % dan to'ldimi?"
Javob
(a) va (c) — monitoring: savol oldindan ma'lum, ularga alert qo'yish mumkin. (b) — observability: siz bu savolni oldindan o'ylamagansiz. Javob uchun loglarni userAgent bo'yicha guruhlash va vaqt bo'yicha filtrlash kerak — ma'lumot shunga yetarlicha boy bo'lsa, kod o'zgartirmasdan topasiz.
3. Nimani o'lchash kerak: to'rt oltin signal
3.1 Oltin signallar
Observability darsida RED (xizmat uchun) va USE (resurs uchun) ro'yxatlarini ko'rdik. SRE (Site Reliability Engineering — saytning ishonchliligi muhandisligi) — Google'da paydo bo'lgan kasb: production tizimi ishlab turishi uchun javobgar muhandislar. Ularning "SRE kitobi" bitta xizmatni kuzatish uchun to'rt asosiy signalni tavsiya qiladi (tekshirildi, 2026-11). Ular oltin signallar (golden signals) deb ataladi:
| Signal | Savol | vazifalar-api da |
|---|---|---|
| kechikish (latency) | qancha kutishyapti? | http_sorov_davomiyligi_soniya — p50, p99 |
| trafik (traffic) | qancha so'rov kelyapti? | http_sorovlar_jami — soniyasiga |
| xatolar (errors) | qanchasi muvaffaqiyatsiz? | status=~"5.." ulushi |
| to'yinganlik (saturation) | resurs qanchalik to'lgan? | event loop kechikishi, xotira / limit |
RED bilan solishtiring: rate = trafik, errors = xatolar, duration = kechikish. Oltin signallar unga bitta narsa qo'shadi — to'yinganlik. Bu USE'ning "S" harfi.
Nega to'yinganlik alohida? Qolgan uchtasi "hozir qanday" deydi. To'yinganlik esa "yaqinda nima bo'ladi" deydi. Xotira limitning 95 foizida — hozircha hammasi tez, lekin yana bir oz yuk va konteyner o'ldiriladi (137, OOMKilled — Docker debug).
Kechikishda bir muhim detal. Xato javobning kechikishini muvaffaqiyatli javobdan alohida qarang. Tez qaytgan 500 o'rtacha kechikishni pasaytiradi va "tizim tezlashdi" degan noto'g'ri tasavvur beradi. Sekin qaytgan xato esa undan ham yomon — uni ham tashlab yubormang (SRE kitobining maslahati).
3.2 To'yinganlikni hisoblash
To'yinganlik — "band / chegara". Konteyner uchun chegara — Compose'dagi xotira limiti (Compose production'da). Kanon kuzatuv stack'ining o'zi yuk paytida o'lchandi (docker stats, MiB). Qaysi komponent chegaraga yaqin?
const xotira = [
{ nom: "grafana", band: 208.5, limit: 256 },
{ nom: "otelcol", band: 109, limit: 256 },
{ nom: "loki", band: 83.8, limit: 512 },
{ nom: "alloy", band: 78.37, limit: 256 },
{ nom: "prometheus", band: 47.45, limit: 512 },
{ nom: "jaeger", band: 19.57, limit: 384 },
{ nom: "alertmanager", band: 16.32, limit: 64 },
{ nom: "blackbox", band: 12.6, limit: 64 },
{ nom: "alertpochta", band: 6.918, limit: 64 },
];
function toyinganlik(royxat, chegara) {
return royxat
.map((k) => ({ ...k, foiz: Math.round(k.band / k.limit * 100) }))
.filter((k) => k.foiz >= chegara)
.sort((a, b) => b.foiz - a.foiz)
.map((k) => `${k.nom}: ${k.foiz} % (${k.band} / ${k.limit} MiB)`);
}
const jami = xotira.reduce((s, k) => s + k.band, 0);
console.log("jami band:", jami.toFixed(1), "MiB");
console.log(toyinganlik(xotira, 25).join("\n"));Konsolda:
jami band: 582.5 MiB
grafana: 81 % (208.5 / 256 MiB)
otelcol: 43 % (109 / 256 MiB)
alloy: 31 % (78.37 / 256 MiB)
alertmanager: 26 % (16.32 / 64 MiB)Grafana limitning 81 foizida. Bu kanon topilmasi: dashboard'lar soni ko'paysa yoki bir necha kishi bir vaqtda ochsa, Grafana birinchi bo'lib chegaraga uriladi. Loki va Prometheus esa limitning atigi 16 va 9 foizida — ularning limiti katta qo'yilgan. reduce — massivni bitta qiymatga yig'adi (reduce).
Maslahat: Chegarani 25 dan 10 ga tushiring va qaysi komponentlar qo'shilishini ko'ring. Keyin grafana limitini 512 qiling — u ro'yxatda qayerga tushadi?
4. Kanon kuzatuv stack'i
4.1 Komponentlar
Kanon to'qqiz konteynerdan iborat alohida Compose loyihasini qurdi: deploy/kuzatuv/compose.kuzatuv.yaml. U ilova stack'ining ichki tarmog'iga ulanadi va xizmatlarni nomi bilan topadi (api:3000, web:8080). Versiyalar — 2026-11-08 holatida:
| Komponent | Versiya | Vazifasi |
|---|---|---|
| Prometheus | v3.15.1 | metrikalarni yig'adi va saqlaydi (15 kun) |
| Alertmanager | v0.34.2 | alert'larni guruhlab, xabar yuboradi |
| blackbox_exporter | v0.29.1 | tashqaridan "sayt ochiladimi" sinovi |
| Loki | 3.7.9 | loglarni saqlaydi (7 kun) |
| Alloy | v1.21.3 | konteyner loglarini Loki'ga yuboradi |
| Komponent | Versiya | Vazifasi |
|---|---|---|
| OpenTelemetry Collector | 0.164.0 | trace'larni qabul qilib, tozalab uzatadi |
| Jaeger | 2.22.0 | trace'larni saqlaydi va ko'rsatadi |
| Grafana | 13.3.0 | hammasini bitta oynada: dashboard, so'rov |
| Mailpit | v1.33.0 | alert xatlari uchun sinov pochtasi |
Har biri keyingi darslarda alohida o'rganiladi: loglar — Log agregatsiya, metrikalar — Prometheus va Grafana, xatolar — Sentry chuqur, uptime va alert — Uptime monitoring, trace'lar — Distributed tracing.
Barcha UI'lar faqat 127.0.0.1 da ochiq: Grafana — 4980, Prometheus — 4981, Alertmanager — 4982. Internetga kuzatuv paneli chiqarilmaydi. Unda ichki manzillar, xato matnlari va foydalanuvchi faolligi bor.
4.2 Ma'lumot qanday oqadi
Diagrammaga qarang: uch xil ma'lumot uch xil yo'l bilan keladi va bitta oynada uchrashadi.
flowchart LR
A["api, api-yashil"] -->|"/metrics, tortadi"| P["Prometheus"]
A -->|"stdout JSON"| D["Docker loglari"]
D --> AL["Alloy"] -->|"yuboradi"| L["Loki"]
A -->|"OTLP, yuboradi"| O["Collector"] --> J["Jaeger"]
B["blackbox"] -->|"probe"| W["web"]
P --> B
P --> AM["Alertmanager"] --> M["pochta"]
P --> G["Grafana"]
L --> G
J --> GIkki xil yetkazish usuli bor:
- Tortish (pull) — Prometheus har 15 soniyada o'zi
/metricsga boradi. Bu jarayon scrape deb ataladi. Afzalligi: ilova Prometheus'ni bilmaydi. Prometheus bormasa — bu ham signal: maqsaddown. - Yuborish (push) — Alloy loglarni Loki'ga, ilova trace'larni Collector'ga o'zi yuboradi. Diagrammadagi OTLP — OpenTelemetry'ning ma'lumot yuborish protokoli; uni Distributed tracing darsida ko'ramiz. Loglar va trace'lar hodisa bo'lib keladi, ularni "so'rab olish" noqulay.
Diqqat qiling: ilova loglarni faqat stdout'ga yozadi (12-factor, XI omil). Loki'ni bilmaydi ham. Loglarni Docker'dan Alloy o'qiydi. Ertaga Loki o'rniga boshqa tizim qo'ysangiz, ilova kodi o'zgarmaydi.
Tekshirib ko'ring: Prometheus pull qiladi. Ilova qulasa, Prometheus nima ko'radi? Agar ilova push qilganida-chi?
Javob
Pull'da Prometheus scrape qila olmaydi va up{job="vazifalar-api"} == 0 bo'ladi — bu aniq signal, alert qo'yish oson. Push'da qulagan ilova shunchaki jim qoladi: "ma'lumot kelmayapti" holatini alohida aniqlash kerak. Shuning uchun metrikalar uchun pull qulay. Loglarda esa jimlik normal bo'lishi mumkin (so'rov yo'q — log yo'q).
5. Dashboard
5.1 Yaxshi dashboard tuzilmasi
Dashboard (asboblar paneli) — bir qarashda tizim holatini ko'rsatadigan grafiklar to'plami. Yomon dashboard — 40 ta grafik, hammasi "qiziq", hech biri savolga javob bermaydi.
Yaxshi dashboard yuqoridan pastga o'qiladi:
- Yuqori qator — foydalanuvchi ko'zi bilan. Trafik, xatolar ulushi, sayt ochiladimi.
- O'rta qator — tezlik. p50 va p99.
- Pastki qator — resurslar. To'yinganlik: event loop, xotira.
- Eng past — tafsilot. Xato loglari.
Kanon dashboard'i — vazifalar-red — aynan shunday quriladi:
| Panel | Nima | Signal |
|---|---|---|
| 1 | so'rovlar / s, status bo'yicha | trafik |
| 2 | 5xx ulushi (5 daqiqa) | xatolar |
| 3 | uptime probe | mavjudlik |
| 4 | p50 / p99 | kechikish |
| 5 | event loop kechikishi va xotira | to'yinganlik |
| 6 | xato loglari (Loki) | tafsilot |
To'rt oltin signal ham, ulardan logga o'tish ham bitta ekranda. Muammoni ko'rganingizda boshqa oynaga sakramaysiz.
5.2 Dashboard ham kod
Grafana'da dashboard'ni sichqoncha bilan yig'ish mumkin. Lekin u Grafana bazasida qoladi: konteyner volume'i o'chsa — dashboard ham ketadi, o'zgarishlar tarixi yo'q.
Kanon boshqa yo'lni tanladi: dashboard — JSON fayl, deploy/kuzatuv/grafana/dashboards/ da, git'da. Grafana ishga tushganda uni fayldan yuklaydi — bu provisioning (oldindan sozlash). Ma'lumot manbalari ham (Prometheus, Loki, Jaeger) fayldan. Natijada kuzatuv stack'ini istalgan mashinada bitta buyruq bilan aynan qayta ko'tarish mumkin. Tafsiloti — Prometheus va Grafana darsida.
5.3 Alert — dashboard'ning davomi
Dashboard'ga kimdir qarashi kerak. Kechasi 03:00 da hech kim qaramaydi. Shuning uchun eng muhim signallar alert ga aylanadi. Qoida Observability darsidan: alert foydalanuvchi his qiladigan simptomga qo'yiladi — xatolar ulushi, sekinlik, sayt ochilmasligi. "CPU 90 %" ga emas. Kanonda beshta qoida bor. Ular va navbatchilik — Uptime monitoring va alerting va SLI/SLO, incident va postmortem darslarida.
6. Kuzatuvning narxi
6.1 Xotira: kuzatuvchi kuzatilayotgandan og'ir
Kanon stack'i yuk paytida jami 582.5 MiB xotira oldi. Taqqoslash uchun: asosiy serverdagi ilova stack'i (api, ishchi, db, redis, web, pochta) bo'sh holatda 313.6 MiB oldi. O'lchovlar ikki xil mashinada, shuning uchun nisbat taxminiy. Lekin xulosa aniq: kichik loyihada kuzatuv ilovadan og'irroq.
- grafana208,5 MiB
- otelcol109 MiB
- loki83,8 MiB
- alloy78,37 MiB
- prometheus47,45 MiB
- jaeger19,57 MiB
- qolgan uchtasialertmanager, blackbox, pochta35,84 MiB
Manba: Kurs tajribasi (IlmHamroh, 2026-11): lokal Docker Desktop, docker stats --no-stream, 60 s yukdan keyin, bitta o'lchov
Compose limitlari bo'yicha ham shunday: kuzatuv stack'i limitlarining yig'indisi 2 368 MiB, blue-green ilova stack'iniki — 2 048 MiB. Kichik VPS'da ikkalasini bir joyga sig'dirish qiyin.
6.2 Qayerda ishlatish kerak
Kanon kuzatuv stack'ini faqat lokal ishga tushirdi — asosiy serverga qo'ymadi. Bu kurs tajribasi qoidasi. Real loyihada uch variant bor:
| Variant | Afzallik | Kamchilik |
|---|---|---|
| ilova bilan bir serverda | arzon, sodda | server o'lsa — kuzatuv ham o'ladi |
| alohida kichik serverda | ilova qulasa ham ko'radi | ikkinchi server narxi |
| boshqariladigan xizmat (Grafana Cloud va boshqalar) | o'rnatish yo'q | narx hajmga bog'liq, ma'lumot tashqarida |
Birinchi variantning kamchiligi jiddiy. Server butunlay o'chsa, unga o'rnatilgan Alertmanager xat yuborolmaydi. Shuning uchun hech bo'lmasa bitta tekshiruv serverdan tashqarida turishi kerak. Bu "kuzatuvchini kim kuzatadi?" savoli. Unga Uptime monitoring darsida qaytamiz. Boshqariladigan xizmatlarning narxi va limitlari kanonda sinalmagan.
6.3 Boshqa narxlar
- Disk. Prometheus 15 kun, Loki 7 kun saqlaydi (kanon sozlamasi). Muddat ham, hajm ham sozlanadi.
- Kardinallik. Har yangi yorliq qiymati — yangi seriya (Observability). Bitta noto'g'ri yorliq Prometheus xotirasini portlatishi mumkin.
- Maxfiylik. Loglarda email, token, IP bo'lsa — ular endi kuzatuv tizimida ham. Pino'dagi
redact(Pino chuqur) shuning uchun muhim. - Xavfsizlik. Alloy Docker loglarini o'qish uchun
docker.sockga ulanadi — bu host root'iga teng huquq. Tafsiloti keyingi darsda.
7. Loyiha qadami
Bu dars — loyihalash. Fayllar keyingi darslarda qo'shiladi: deploy/kuzatuv/ papkasida Loki va Alloy, keyin Prometheus, Grafana va alert'lar, trace'lar.
Hozir o'z loyihangiz uchun qisqa reja yozing:
- Ilovangiz qaysi to'rt oltin signalni allaqachon beradi?
/metricsni oching va har signal uchun metrika nomini toping. - Kuzatuv stack'i qayerda ishlaydi — serverda, alohida mashinada yoki faqat lokal o'rganish uchun?
- Xotira byudjeti: serveringizda qancha bo'sh joy bor (
free -h, Disk, xotira va swap)? - Dashboard'ning birinchi qatorida qaysi uchta panel bo'ladi?
Hali commit qilmang. Kuzatuv stack'i, kod o'zgarishlari va testlar Production xatolarini tekshirish darsida bitta commit bo'lib kiradi.
8. Ko'p uchraydigan xatolar
8.1 Hamma narsani o'lchash
"Keyin kerak bo'lib qolar" deb yuzlab metrika va 40 panelli dashboard. Hech kim qaramaydi, xotira esa ketadi. Oltin signallardan boshlang.
8.2 Faqat o'rtacha kechikish
O'rtacha 50 ms — lekin har yuzinchi foydalanuvchi 3 soniya kutyapti. p99 qarang.
8.3 Sababga alert
"CPU 90 %" — tunda uyg'otadi, foydalanuvchi esa hech narsa sezmagan. Simptomga qo'ying.
8.4 Kuzatuv faqat o'sha serverda
Server o'chsa, u haqida xabar beradigan tizim ham o'chadi. Hech bo'lmasa bitta tashqi tekshiruv kerak.
8.5 Kuzatuv panelini internetga ochish
Grafana yoki Prometheus ochiq portda — ichki manzillar, xato matnlari, ba'zan sirlar ko'rinadi. Faqat 127.0.0.1 va SSH tunnel (SSH chuqur) yoki VPN orqali.
9. Mashqlar
Mashqlar kurs/mashqlar/34/12-kuzatuv/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).
1-mashq (oson): bo'shliqlarni to'ldiring
- Oltin signallar: kechikish, trafik, xatolar va
- Prometheus metrikani o'zi borib olishi — (tortish)
- Kanonda Docker loglarini Loki'ga yuboradigan komponent —
- Dashboard'ni fayldan yuklash —
- Kanonda limitga eng yaqin turgan komponent —
Yechim
- to'yinganlik — "yaqinda nima bo'ladi" signali, USE'ning S harfi.
- scrape — har 15 soniyada; ilova qulasa
up == 0. - Alloy — ilova esa faqat stdout'ga yozadi.
- provisioning — dashboard git'da, volume o'chsa ham yo'qolmaydi.
- grafana — 208.5 / 256 MiB, 81 %.
2-mashq (o'rta): oltin signallarni hisoblash
oltinSignallar(sorovlar, soniya, toyinganlik) funksiyasini yozing. sorovlar — { ms, status } massivi, soniya — o'lchov oynasi uzunligi, toyinganlik — 0 dan 1 gacha son. Funksiya to'rt maydonli obyekt qaytarsin (matn ko'rinishida): trafik — soniyasiga so'rov (bir kasr belgi), xatolar — 5xx ulushi foizda (bir kasr belgi), kechikish — p95, toyinganlik — butun foiz.
Ishora: p95 uchun vaqtlarni o'sish tartibida saralang (sort((a, b) => a - b)) va Math.ceil(0.95 * n) - 1 indeksdagi qiymatni oling — eng sodda "eng yaqin daraja" usuli (sort va taqqoslash funksiyasi). Sonni kasr bilan chiqarish — toFixed(1).
Yechim
function oltinSignallar(sorovlar, soniya, toyinganlik) {
const n = sorovlar.length;
const xato = sorovlar.filter((s) => s.status >= 500).length;
const vaqtlar = sorovlar.map((s) => s.ms).sort((a, b) => a - b);
const p95 = vaqtlar[Math.ceil(0.95 * n) - 1];
return {
trafik: `${(n / soniya).toFixed(1)} so'rov/s`,
xatolar: `${((xato / n) * 100).toFixed(1)} %`,
kechikish: `p95 ${p95} ms`,
toyinganlik: `${Math.round(toyinganlik * 100)} %`,
};
}
const sorovlar = [];
for (let i = 0; i < 40; i++) {
const ms = i < 36 ? 8 + (i % 6) : 300 + i;
const status = i === 13 || i === 27 ? 500 : 401;
sorovlar.push({ ms, status });
}
console.log(oltinSignallar(sorovlar, 10, 0.81));
console.log(oltinSignallar(sorovlar.slice(0, 20), 10, 0.3));Konsolda:
{
trafik: "4.0 so'rov/s",
xatolar: '5.0 %',
kechikish: 'p95 337 ms',
toyinganlik: '81 %'
}
{
trafik: "2.0 so'rov/s",
xatolar: '5.0 %',
kechikish: 'p95 13 ms',
toyinganlik: '30 %'
}40 ta so'rovning 36 tasi 8–13 ms, oxirgi 4 tasi 300 ms dan oshiq. p95 aynan shu "dum" ga tushdi: 337 ms. Birinchi 20 ta so'rovda sekinlari yo'q — p95 13 ms. Xatolar ikkala holatda 5 %, lekin ikkinchisida trafik ikki baravar kam: bir xil ulush, har xil sondagi foydalanuvchi. 401 xato hisoblanmadi — u mijoz javobi, server xatosi emas. Node apostrofli satrni qo'shtirnoqda ko'rsatadi: "4.0 so'rov/s".
3-mashq (qiyin): Prometheus maqsadlari holati
Kanon tajribasida Prometheus maqsadlari ro'yxati quyidagi ko'rinishda chiqdi: job nomi, manzil, holat. Bash skript yozing. U avval shunday maqsadlar.txt yaratsin (bitta qatorni o'zingiz down qiling — sinov uchun soxta qator). Keyin awk bilan har job uchun job: up/jami ni (job'lar fayldagi tartibda) va oxirida down maqsadlar ro'yxatini chiqarsin.
Ishora: maydonlar bo'sh joy bilan ajratilgan — $1 job, $2 manzil, $3 holat. Job tartibi uchun alohida massiv (Fayl va matn qidirish). awk ichida apostrof ishlatmang.
Yechim
cat > maqsadlar.txt <<'TXT'
prometheus localhost:9090 up
uptime http://web:8080/ up
uptime http://web:8080/v1/vazifalar up
uptime https://sinov.example.uz/ up
vazifalar-api api:3000 up
vazifalar-api api-yashil:3000 down
TXT
awk '
{
if (!($1 in jami)) { tartib[++n] = $1 }
jami[$1]++
if ($3 == "up") { up[$1]++ } else { yoq = yoq " " $2 }
}
END {
for (i = 1; i <= n; i++) {
j = tartib[i]
print j ": " up[j] + 0 "/" jami[j]
}
print "down:" (yoq == "" ? " yoq" : yoq)
}
' maqsadlar.txtBiz ishga tushirdik:
prometheus: 1/1
uptime: 3/3
vazifalar-api: 1/2
down: api-yashil:3000Kanon yugurishida hamma oltita maqsad up edi. Biz bitta qatorni ataylab down qildik — blue-green'ning ikkinchi nusxasi to'xtagan holat. Sayt bunda ishlayveradi: web nginx so'rovni tirik nusxaga yo'naltiradi (Zero-downtime deploy). Uptime probe'lar yashil, foydalanuvchi hech narsa sezmaydi. Lekin ehtiyot nusxa yo'q — keyingi deploy uzilish bilan o'tadi. Shuning uchun kanon alert'larida ApiNusxasiYoq alohida qoida. up[j] + 0 — nusxa umuman up bo'lmagan job uchun bo'sh qiymat o'rniga 0 chiqarish usuli.
10. Real ishda
- Stack nomlari: Prometheus + Grafana + Loki — ochiq manbali "standart" to'plam. Pullik muqobillar: Datadog, New Relic, Grafana Cloud. ELK (Elasticsearch, Logstash, Kibana) — loglar uchun klassik variant.
- OpenTelemetry — metrika, log va trace uchun yagona standart. Ko'p kompaniyalar ilova kodini bir marta OTel bilan yozib, provayderni keyin tanlaydi (Distributed tracing).
- SRE (Site Reliability Engineering) lavozimining asosiy ishi — shu: signallar, alert'lar, navbatchilik.
- Intervyu savollari: "Monitoring va observability farqi?", "To'rt oltin signal qaysilar?", "Nega Prometheus pull qiladi?", "Kuzatuv tizimini qayerda ishga tushirasiz va nega?"
Xulosa
- Ilova ma'lumot chiqaradi, kuzatuv stack'i uni yig'adi, saqlaydi va ko'rsatadi.
- Monitoring — ma'lum savollar va alert'lar; observability — yangi savolni kod o'zgartirmasdan berish imkoni.
- To'rt oltin signal: kechikish, trafik, xatolar, to'yinganlik — RED + USE'ning "S" harfi.
- Kanon stack'i: Prometheus, Alertmanager, blackbox, Loki, Alloy, Collector, Jaeger, Grafana; metrika tortiladi, log va trace yuboriladi.
- Yaxshi dashboard yuqoridan pastga o'qiladi va kod sifatida git'da turadi.
- Kuzatuvning narxi bor: kanonda u ilovaning o'zidan ko'proq xotira oldi; server o'lsa — o'sha serverdagi kuzatuv ham o'ladi.
Keyingi dars: Log agregatsiya: Loki, Grafana va Alloy — konteyner loglarini bitta joyga yig'amiz va LogQL bilan qidiramiz.
Manbalar
- Google SRE Book — Monitoring Distributed Systems (The Four Golden Signals): https://sre.google/sre-book/monitoring-distributed-systems/ (tekshirildi, 2026-11)
- Prometheus hujjati — Overview: https://prometheus.io/docs/introduction/overview/ (tekshirildi, 2026-11)
- Grafana hujjati — Provisioning: https://grafana.com/docs/grafana/latest/administration/provisioning/ (tekshirildi, 2026-11)
- Kurs tajribasi (IlmHamroh, 2026-11): lokal kuzatuv stack'i (Prometheus v3.15.1, Loki 3.7.9, Alloy v1.21.3, Grafana 13.3.0 va boshqalar) — resurs o'lchovi
docker statsbilan; asosiy serverdagi ilova stack'i resursi; production xatosi tajribasidagi 5xx metrikasi. Mashq yechimlari — biz ishga tushirdik (2026-11-08).
Izohlar · 0
Izoh yozish uchun kiring.