JavaScript Full-stackProduction xatolarini tekshirish va root cause: "menda ishlaydi" xatosi
JavaScript Full-stack · 34-qism. CI/CD, monitoring, bulut

Production xatolarini tekshirish va root cause: "menda ishlaydi" xatosi

23 daqiqa19/30-dars

Qisqacha: Production'da debugger yo'q va xatoni o'z kompyuteringizda takrorlay olmaysiz. Shuning uchun dalil yig'asiz: metrika "nimadir bormi?", log "nima bo'ldi?", trace "qayerda?", xato kuzatuvi "qaysi relizdan beri?". Kanon vazifalar-api ga ataylab xato kiritdi: telefon klaviaturasidagi ’ apostrofli teg vazifa yaratishni 500 ga aylantirdi, kompyuterdagi ' esa ishladi. Metrika va alert jim qoldi. Log qatoridagi traceId trace'ga, GlitchTip esa relizga olib bordi. Ildiz sabab — "besh nega" bilan: test ma'lumoti haqiqiy klaviaturani aks ettirmagan. Tuzatish — avval yiqiladigan regressiya testi, keyin kod. Dars oxirida kuzatuv qatlami 4.2.0 versiyasi bilan commit qilinadi.

Bu darsda

  • Production xatosini tekshirish zanjirini o'rganasiz: simptom → metrika → log → trace → xato kuzatuvi → kod.
  • Monitoring va observability farqini haqiqiy voqeada ko'rasiz.
  • Nega bitta 500 metrikada umuman ko'rinmaganini tushunasiz.
  • "Besh nega" bilan ildiz sababga yetasiz va regressiya testini yozasiz.
  • git bisect va feature flag tashxisda qachon yordam berishini bilasiz.
  • vazifalar-api 4.2.0 — kuzatuv qatlamini to'liq qo'shib, commit qilasiz.

Oldin bilishingiz kerak: Debugging metodologiyasi, Bisect: xatoni kiritgan commitni topish, Sentry chuqur, Distributed tracing va OpenTelemetry, SLI/SLO, incident va postmortem.

1. Nega bu kerak?

Debugging metodologiyasi darsida xatoni topish tartibini o'rgandik: takrorlash, farazni tekshirish, breakpoint, kichraytirish. Bularning hammasi bitta shartga tayanadi — xatoni o'z kompyuteringizda takrorlay olasiz.

Production'da bu shart ko'pincha bajarilmaydi:

  • debugger yo'q — ishlab turgan serverni to'xtatib, qadamma-qadam yurib bo'lmaydi;
  • ma'lumot boshqa — xato faqat ma'lum foydalanuvchining ma'lumotida chiqadi, u esa maxfiy;
  • muhit boshqa — boshqa image, boshqa sozlama, boshqa yuk;
  • "menda ishlaydi" — dasturchi sinab ko'radi, hammasi joyida.

Shuning uchun production xatosi dalil bilan qidiriladi. Oldingi to'rt darsda dalil yig'adigan vositalarni qurdik: metrika va alert, log, trace, xato kuzatuvi. Bu darsda ularni birga ishlatamiz — haqiqiy, lekin ataylab yaratilgan voqea ustida.

Hayotiy o'xshatish: kriminalist. U jinoyatni o'z ko'zi bilan ko'rmagan. Lekin kamera yozuvi (metrika), guvohlar ko'rsatmasi (log), telefon qo'ng'iroqlari zanjiri (trace) va barmoq izlari (xato kuzatuvi) bor. Har dalil alohida yetarli emas — birgalikda ular voqeani tiklaydi.

1.1 Monitoring va observability

Bu voqea ikki tushunchaning farqini yaxshi ko'rsatadi.

Monitoring — oldindan ma'lum savollarga javob: "5xx ulushi 1 % dan oshdimi?", "sayt javob beryaptimi?". Biz alert qoidasini yozdik — u shu savolni doim so'raydi.

Observability (kuzatuvchanlik) — oldindan o'ylanmagan savolni kodni o'zgartirmasdan so'ray olish. Masalan: "oxirgi 5 daqiqadagi error darajali qatorlar orasida qaysi traceId bor?" Bu savolni hech kim oldindan yozmagan, lekin log tuzilmali va unda traceId bor — shuning uchun javob olsa bo'ladi.

Keyingi bo'limlarda ko'rasiz: monitoring bu xatoni ko'rmadi, observability esa uni topdi.

2. Voqea: ataylab kiritilgan xato

2.1 Refaktor

Kanon real hayotga o'xshash xato o'ylab topdi va uni alohida image'ga (4.2.0-k11 tegi) qo'ydi. Bu kod loyiha manbasiga kirmadi — u faqat o'quv voqeasi uchun.

Hikoya: dasturchi teglardagi apostroflarni "bir xillashtirmoqchi" bo'ldi. Teglarda uch xil apostrof uchraydi: oddiy ' (kompyuter klaviaturasi), ‘ va ’ (telefon klaviaturalari). 22-qismdan beri teglar frontend qoidasi bilan ajratiladi — uchalasi ham teg ichida bo'lishi mumkin. Dasturchi ularni bitta ' ga almashtiradigan xarita yozdi, lekin xaritada ’ ni unutdi.

Kanondagi o'zgarish (diff sarlavhasi tushirib qoldirildi, izohning boshi qisqartirildi, uzun qatorlar o'z holicha):

text
 const TEG = /(?<![\p{L}\p{N}_#])#[\p{L}\p{N}_]+(?:['‘’][\p{L}\p{N}_]+)*/gu;
 
+// ATAYLAB KIRITILGAN XATO: "apostroflarni bir xillashtirish" refaktori — xaritada telefon klaviaturasining ’ (U+2019) belgisi unutilgan
+const APOSTROFLAR: Record<string, string> = { "'": "'", "‘": "'" };
 export function teglariniOl(matn: string): string[] {
-  return [...new Set((matn.match(TEG) ?? []).map((t) => t.slice(1).toLowerCase()))];
+  // eslint-disable-next-line @typescript-eslint/no-non-null-assertion
+  return [...new Set((matn.match(TEG) ?? []).map((t) => t.slice(1).toLowerCase().replace(/['‘’]/g, (b) => APOSTROFLAR[b]!.toString())))];
 }

APOSTROFLAR[b]! — TypeScript'ga "bu yerda qiymat albatta bor" deyish. Undefined bo'lmasligiga dasturchi kafolat berdi va linter ogohlantirishini o'chirdi. ’ uchun esa xaritada qiymat yo'q: APOSTROFLAR["’"] — undefined, .toString() — TypeError.

2.2 Nega CI yashil bo'lardi

Loyihada teglar uchun testlar bor edi — lekin ulardagi misollar faqat ' bilan yozilgan edi. Testlar o'tadi, lint o'tadi (ogohlantirish o'chirilgan), tip tekshiruvi o'tadi (! tufayli). CI yashil — reliz chiqadi.

Bu Nozik xatolar darsidagi turdagi xato: kod "deyarli to'g'ri", faqat kamdan-kam kirishda yiqiladi. U foydalanuvchiga qarab bo'linadi — kompyuterda ishlaydi, telefonda yo'q.

3. Simptom

Kanon lokal stack'da 4.2.0-k11 relizini deploy qildi va ikki foydalanuvchini ishga tushirdi. A — kompyuterdan, #o'qish tegi bilan. B — telefondan, #o’qish tegi bilan. Keyin 60 soniya davomida ikkalasi ham har 200 ms da o'z ro'yxatini so'radi. Kanon chiqishi:

text
=== 0) 'reliz' 4.2.0-k11 deploy (api, api-yashil, ishchi)
up 0 (41 s)
=== 1) foydalanuvchilar ishlaydi: A (kompyuter, ' belgisi), B (telefon, ’ belgisi) — 60 s davomida ro'yxat har 200 ms
A yangi vazifa: 201
B yangi vazifa: 500
ro`yxat kodlari: {"A":{"200":241},"B":{"200":241}}

A vazifa yaratdi (201). B ning vazifasi yaratilmadi (500). Ro'yxat ikkalasida ham ishlaydi: 241 so'rov — 241 × 200. Ya'ni sayt "ishlayapti", faqat bitta foydalanuvchi bitta amalda xato oladi.

Bunday xato haqida jamoa odatda foydalanuvchi shikoyatidan bilib qoladi: "vazifa qo'sha olmayapman". Dasturchi o'z kompyuterida sinab ko'radi — ishlaydi. Klassik "menda ishlaydi".

Tekshirib ko'ring: Foydalanuvchi "vazifa qo'sha olmayapman" deb yozdi, siz o'zingiz sinab ko'rdingiz — ishlaydi. Birinchi bo'lib foydalanuvchidan nimani so'raysiz?

Javob

Aniq kirishni va vaqtni: qaysi qurilmadan, aynan qanday matn yozdi, qachon. Ekrandagi xato xabarini yoki undagi sorovId ni so'rang — vazifalar-api har 500 javobida "sorovId bilan murojaat qiling" deydi (Sentry chuqur darsidagi filtr). Bitta sorovId — butun tashxisning kaliti: u logdagi qatorni, qator esa trace'ni topadi.

4. Tashxis zanjiri

Kanon dalillarni to'rt manbadan, ketma-ket yig'di. Butun yo'l:

flowchart TB
  S["simptom: B da 500"] --> M["metrika: 5xx deyarli 0, alert jim"]
  M --> L["log: error qatori, traceId"]
  L --> T["trace: POST ERROR, 258.7 ms"]
  L --> G["GlitchTip: release 4.2.0-k11"]
  T --> K["kod: vazifa.js:7:124"]
  G --> K
  K --> R["ildiz sabab va test"]

Diagrammaga qarang: metrika boshi berk ko'chaga olib bordi. Haqiqiy yo'l logdan boshlandi va undan ikki tarmoqqa ajraldi.

4.1 Metrika: jim qoldi

Birinchi qadam — Prometheus. Uch daqiqada 5xx'lar yo'l bo'yicha va ularning umumiy ulushi:

text
=== 2) METRIKA (Prometheus): 5xx yo'l bo'yicha va ulush
{"metod":"POST","status":"500","yol":"/v1/vazifalar"} = 0.00
{} = 0.00
--- alertlar: yo`q

POST /v1/vazifalar uchun status="500" yorliqli seriya paydo bo'ldi — demak 500 haqiqatan bo'lgan. Lekin uning o'sishi 0.00, umumiy ulush ham 0.00, alertlar yo'q. Xatolar5xxKop yonmadi.

Nega o'sish nol, bitta emas? Bu natijani halol o'qiylik. prom-client yorliqli counter seriyasini birinchi inc() paytida yaratadi — darhol 1 qiymat bilan. Prometheus increase() va rate() ni ikki o'lchov orasidagi farqdan hisoblaydi. Seriyaning birinchi ko'ringan qiymati — 1, keyingisi ham 1, farq — 0. Bitta xato "tug'ilish" paytida yo'qolib ketdi. Prometheus hujjati shu sababli oldindan ma'lum seriyalarni 0 qiymat bilan e'lon qilishni tavsiya qiladi (tekshirildi, 2026-11). Kanon buni alohida tekshirmadi — bu chiqishning eng ehtimoliy izohi.

Ikkinchi sabab — ulush. Bitta xato 241 + 241 muvaffaqiyatli so'rov orasida, hatto to'g'ri hisoblanganda ham, 1 % ga yetmaydi. SLI/SLO darsida aytganimizdek, ulush alerti kam hajmli xatolarni ko'rmaydi.

Xulosa: metrika "bu yerda nimadir bor" degan kichik iz qoldirdi — status="500" seriyasi. Ehtiyotkor ko'z uni ko'radi, alert esa yo'q.

4.2 Log: dalil topildi

Ikkinchi qadam — Loki. Savol: "api nusxalarida error darajali, 'kutilmagan xato' matnli qatorlar". LogQL so'rovi:

text
{xizmat=~"api|api-yashil", daraja="error"} |= "kutilmagan xato"

Bu savolni hech qanday alert so'ramaydi — biz uni hozir, joyida o'ylab topdik. Log tuzilmali bo'lgani uchun buning imkoni bor (Log agregatsiya). Kanon chiqishi (qatordagi asosiy maydonlar):

text
=== 3) LOG (Loki): 'kutilmagan xato' qatorlari — xabar, sorovId, traceId
qatorlar: 1
{"sorovId":"fdc1a857-3497-47bb-9292-f4254c1e5fb7","traceId":"c2aaa25fc1f3129a2da6d85d4a309d4c","err":{"type":"TypeError","message":"Cannot read properties of undefined (reading 'toString')","stack":"TypeError: Cannot read properties of undefined (reading 'toString') |     at file:///app/dist/vazifalar/vazifa.js:7:124 |     at String.replace (<anonymous>) |     at file:///app/dist/vazifalar/vazifa.js:7:84"}}

Bitta qatorda uch dalil bor:

  1. sorovId — foydalanuvchining ekranidagi raqam. Foydalanuvchi uni yuborsa, aynan shu qatorni topasiz.
  2. traceId — Distributed tracing darsida qo'shilgan Pino mixin ishladi. Shu ID bilan trace'ga o'tamiz.
  3. Stack — TypeError, toString, dist/vazifalar/vazifa.js ning 7-qatori, 124-ustun, String.replace ichida.

Tarjimasi: "aniqlanmagan qiymatning toString xususiyatini o'qib bo'lmaydi". Nimadir undefined bo'lgan va undan toString chaqirilgan — String.replace ga berilgan funksiya ichida.

4.3 Trace: qaysi so'rov va qayerda

Uchinchi qadam — Jaeger, shu traceId bo'yicha:

text
=== 4) TRACE (Jaeger): shu traceId
spanlar: 35
  pg.query:SELECT vazifalar — 2.2 ms
  pg.query:BEGIN vazifalar — 1.3 ms
  pg.query:SELECT vazifalar — 25.4 ms
  pg.query:SELECT vazifalar — 2.0 ms
  pg.query:COMMIT vazifalar — 1.0 ms
  pg.query:BEGIN vazifalar — 0.5 ms
  pg.query:SELECT vazifalar — 0.9 ms
  pg.query:SELECT vazifalar — 1.9 ms

Xato holatli span'lar:

text
=== 4b) TRACE — xato statusli spanlar
  POST /v1/vazifalar — 258.7 ms status=2  []

status=2 — OpenTelemetry'da ERROR holati (OTLP formatida STATUS_CODE_ERROR = 2, tekshirildi, 2026-11). Trace aniq aytadi: xato POST /v1/vazifalar da, ya'ni vazifa yaratishda. U 258.7 ms davom etgan va 35 span'dan iborat. Skript faqat birinchi 8 ta SQL span'ini chiqardi, shuning uchun ikkinchi tranzaksiya qanday tugagani bu ro'yxatda ko'rinmaydi.

Bu voqeada trace stack'dan ko'p narsa qo'shmadi: xato bazada emas, JavaScript ichida edi. Trace'ning qiymati boshqa holatlarda yaqqolroq — xato sekinlik bo'lsa yoki bir necha xizmatdan o'tsa. Lekin bitta narsani tasdiqladi: muammo — bitta amal (yaratish), ro'yxat emas.

4.4 Xato kuzatuvi: qaysi relizdan beri

To'rtinchi manba — GlitchTip. Bu xato u yerga issue bo'lib tushgan edi (Sentry chuqur darsida uning yozuvini ko'rdik): TypeError: Cannot read properties of undefined (reading 'toString'), release 4.2.0-k11, muhit lokal, hodisalar soni 1, foydalanuvchi ma'lumoti yo'q.

Real hayotda GlitchTip ko'pincha birinchi signal bo'ladi: yangi issue haqida bildirishnoma keladi. Bizning stack'da bildirishnoma sozlanmagan (sinalmagan). Release maydoni esa eng qimmatli javobni beradi: xato 4.2.0-k11 relizida paydo bo'lgan. Demak, aybdor — o'sha relizga kirgan o'zgarishlar.

5. Ildiz sabab

5.1 Stack'dan kodga

Stack dist/vazifalar/vazifa.js:7:124 ni ko'rsatadi. Bu kompilyatsiya qilingan JavaScript va 7-qatorning 124-ustuni. Sentry chuqur darsida ko'rganimizdek, source map ulanganida stack to'g'ridan-to'g'ri vazifa.ts dagi qatorni ko'rsatardi. Kanonda source map ulanmagan — shuning uchun qo'lda: dist/vazifalar/vazifa.js → src/vazifalar/vazifa.ts, String.replace ichidagi toString — teglariniOl.

Kodga qarasak, sabab darhol ko'rinadi: APOSTROFLAR da ’ yo'q.

5.2 Takrorlash: avval yiqiladigan test

Sababni bildik — endi uni tuzatamizmi? Yo'q. Avval xatoni test bilan takrorlaymiz. Bu Debugging metodologiyasi darsidagi qoida, production uchun yanada muhim.

Regressiya testi — test/teglar.test.ts. Unda uch xil apostrofli teglar bor (test nomi alohida o'zgarmasga chiqarildi, qatorlar bo'lindi — mazmuni kanon bilan aynan, biz Vitest bilan qayta yurgizdik):

ts
import { test } from "vitest";
import assert from "node:assert/strict";
import { teglariniOl } from "../src/vazifalar/vazifa.ts";

const NOM =
  "uch xil apostrofli teglar — xatosiz, frontend qoidasidagidek " +
  "(normallashtirilmaydi)";

test(NOM, () => {
  assert.deepEqual(teglariniOl("Kitob #o'qish, #o‘qish va #o’qish"), [
    "o'qish",
    "o‘qish",
    "o’qish",
  ]);
  assert.deepEqual(teglariniOl("#O’QISH #o’qish"), ["o’qish"]);
});

Test ikki marta yurgizildi. Avval buzuq kod bilan — u yiqilishi shart (kanon chiqishi, birinchi sarlavha qatori qisqartirildi):

text
### regressiya testi — buzuq kod (xato qo'llangan)
   × uch xil apostrofli teglar — xatosiz, frontend qoidasidagidek (normallashtirilmaydi) 10ms
⎯⎯⎯⎯⎯⎯⎯ Failed Tests 1 ⎯⎯⎯⎯⎯⎯⎯
 FAIL   asosiy  test/teglar.test.ts > uch xil apostrofli teglar — xatosiz, frontend qoidasidagidek (normallashtirilmaydi)
TypeError: Cannot read properties of undefined (reading 'toString')
      Tests  1 failed (1)
### tuzatilgan (asl) kod
      Tests  1 passed (1)

Testdagi xato production logidagi xato bilan aynan bir xil — TypeError: Cannot read properties of undefined (reading 'toString'). Demak, biz haqiqiy sababni takrorladik, shunga o'xshash boshqa xatoni emas. Tuzatilgan kodda test o'tdi. Bu "avval qizil, keyin yashil" tartibi — testning o'zi ishlashining isboti (CI/CD tushunchasi darsidagi 401 regressiyasi kabi). Biz qatorlari bo'lingan testni ham ikkala kod bilan qayta yurgizdik — natija xuddi shunday.

5.3 Besh nega

Endi chuqurroq qazamiz (SLI/SLO, incident va postmortem darsidagi usul):

  1. Nega 500? toString undefined dan chaqirildi.
  2. Nega undefined? APOSTROFLAR["’"] — xaritada bunday kalit yo'q.
  3. Nega yo'q? Refaktor xaritasi to'liq emas edi: uch belgidan ikkitasi yozilgan.
  4. Nega testlar ushlamadi? Testlarda faqat ' bor edi.
  5. Nega faqat '? Test ma'lumotlari dasturchi klaviaturasidan yozilgan va haqiqiy foydalanuvchi kiritishini aks ettirmaydi.

E'tibor bering: zanjir "dasturchi ’ ni unutdi" degan javobda to'xtamadi. Unutish — inson tabiati. Tizimning zaif joyi — 5-qadam: haqiqiy kiritish variantlari test ma'lumotlarida yo'q. Tuzatish ham shu darajada bo'lishi kerak.

Yana bir zaif joy bor: ! va eslint-disable. Ikkalasi ham "menga ishoning, bu yerda xato yo'q" degani. Kod ko'rib chiqishda bunday qatorlar alohida savol tug'dirishi kerak: "nega bunga ishonchingiz komil?"

5.4 Voqealar xronologiyasi

Postmortem uchun voqealarni tartib bilan yozamiz:

Qadam Nima bo'ldi Qayerdan bildik
1 4.2.0-k11 deploy qilindi CD logi
2 B vazifa yarata olmadi (500), A — yaratdi foydalanuvchi
3 5xx seriya paydo bo'ldi, alert jim Prometheus
4 error qatori: sorovId, traceId, stack Loki
5 POST /v1/vazifalar — ERROR Jaeger
6 issue, release 4.2.0-k11 GlitchTip
7 test yiqildi — sabab takrorlandi Vitest
8 tuzatish, test yashil Vitest, CI

Kanon voqeani lokal stack'da yaratdi, shuning uchun haqiqiy vaqt belgilari muhim emas. Real incident'da jadvalga vaqt ustuni qo'shiladi va har qator — dalil bilan.

5.5 git bisect kerak bo'ldimi

Bisect darsida xatoni kiritgan commit'ni ikkiga bo'lib qidirish usulini o'rgandik. Bu yerda u kerak bo'lmadi: GlitchTip relizni aniq aytdi, stack esa faylni ko'rsatdi. Relizda bitta o'zgarish bor edi.

bisect qachon foydali? Relizda o'nlab commit bo'lsa va stack hech narsa demasa — masalan, xato sekinlik yoki noto'g'ri natija bo'lsa, istisno emas. Unda git bisect run regressiya testi bilan avtomatik ishlaydi: siz testni yozasiz, Git qaysi commit uni buzganini topadi.

5.6 Feature flag bilan izolyatsiya

Yana bir vosita — feature flag (Rollback va feature flag). Agar "apostroflarni bir xillashtirish" bayroq ortida chiqarilganida, incident'ni yumshatish bitta tugma bo'lardi: bayroqni o'chirish — rollback'siz, deploy'siz. Bundan tashqari, bayroq bilan xatoni izolyatsiya qilish mumkin: bayroqni faqat test foydalanuvchisi uchun yoqib, xatoni production'da xavfsiz takrorlash.

Kanon bu voqeada bayroq ishlatmadi. Eslatma: kanondagi bayroqlar jarayon ichida 30 soniya keshlanadi. Ikkinchi API nusxasi o'zgarishni ~30 soniyadan keyin ko'radi — bu Rollback va feature flag darsida o'lchangan.

6. Tuzatish va takrorlanmaslik

6.1 Tuzatish

Kanon refaktorni qaytardi: teglar frontend bilan bir xil qoidada qoladi — apostroflar normallashtirilmaydi. Buni mavjud testlar ham talab qiladi: API testlarida g‘isht tegi aynan shu ko'rinishda kutiladi. Ya'ni "bir xillashtirish" g'oyasining o'zi loyiha qoidasiga zid edi.

Tuzatilgan funksiya (TEG naqshi o'zgarmagan — u yuqoridagi diff'da; qatorlar bo'lindi, mazmuni aynan):

ts
export function teglariniOl(matn: string): string[] {
  const teglar = (matn.match(TEG) ?? []).map((t) =>
    t.slice(1).toLowerCase(),
  );
  return [...new Set(teglar)];
}

Agar normallashtirish haqiqatan kerak bo'lganida, xavfsiz variant — topilmagan belgi uchun ehtiyot qiymat: APOSTROFLAR[b] ?? b. Uni mashqda sinab ko'rasiz.

6.2 Takrorlanmaslik choralari

Postmortem choralari — har biri sababning bitta qatlamiga:

Sabab qatlami Chora Kanonda
test ma'lumoti regressiya testi: uch xil apostrof qo'shildi
kod ko'rib chiqish ! va eslint-disable — izoh talab qilinadi tavsiya
metrika yorliqlarni oldindan 0 bilan yaratish sinalmagan
aniqlash GlitchTip'da "yangi issue" bildirishnomasi sinalmagan
stack source map (--enable-source-maps) sinalmagan

Eng muhimi — birinchi qator. Kelajakda kimdir teglar kodini yana o'zgartirsa, test uni darhol to'xtatadi.

7. Loyiha qadami: 4.2.0

7.1 Nima qo'shildi

Oxirgi besh darsda kuzatuv qatlami bo'lak-bo'lak yig'ildi. Endi uni bitta commit qilamiz. vazifalar-api ning yangi versiyasidagi o'zgarishlar:

Joy Nima Qaysi darsda
src/kuzatuv/boshlash.ts preload: OpenTelemetry + Sentry Sentry chuqur, Distributed tracing
src/kuzatuv/maxfiy.ts beforeSend tozalash Sentry chuqur
src/umumiy/problem.filter.ts captureException — faqat 5xx Sentry chuqur
src/umumiy/log.ts traceMaydonlari() + mixin Distributed tracing

Testlar: test/maxfiy.test.ts, test/log.test.ts (yangi test), test/teglar.test.ts.

deploy/kuzatuv/ papkasi — kuzatuv stack'i (Prometheus, Alertmanager, blackbox, Loki, Alloy, Collector, Jaeger, Grafana) va ularning sozlamalari. Ular Log agregatsiya, Metrikalar, Uptime monitoring va alerting va Distributed tracing darslarida ko'rilgan.

Bog'liqliklar: @sentry/node 10.78.0 va OpenTelemetry'ning 9 ta paketi (Distributed tracing darsidagi ro'yxat). Production bog'liqliklari 43 → 53. package.json dagi versiya — 4.2.0 (yangi imkoniyat — minor). Dockerfile va compose.yaml dagi sukut image tegi ham 4.2.0.

7.2 To'liq fayllar

src/kuzatuv/boshlash.ts
ts
// boshlash.ts — ilovadan OLDIN yuklanadigan kuzatuv moduli (preload):
//   node --import ./dist/kuzatuv/boshlash.js dist/main.js
// Nega preload: OpenTelemetry http/express/pg modullarini ular import
// qilinishidan OLDIN "o'rab" oladi (ESM'da — import-in-the-middle).
// Hammasi IXTIYORIY: env berilmasa hech narsa yoqilmaydi (testlar,
// lokal dev — o'zgarishsiz).
//   OTEL_EXPORTER_OTLP_ENDPOINT (masalan http://otelcol:4318) —
//     trace'lar (OTLP/HTTP); OTEL_TRACES_SAMPLER / _ARG — SDK o'zi
//     o'qiydi (sukut: hammasi)
//   SENTRY_DSN — xatolar (Sentry SDK; GlitchTip — Sentry API bilan
//     mos); APP_RELEASE — reliz (image tegi), SENTRY_SAMPLE_RATE —
//     xatolardan namuna olish
import * as Sentry from "@sentry/node";
import { NodeSDK } from "@opentelemetry/sdk-node";
import {
  OTLPTraceExporter,
} from "@opentelemetry/exporter-trace-otlp-http";
import {
  HttpInstrumentation,
} from "@opentelemetry/instrumentation-http";
import {
  ExpressInstrumentation,
} from "@opentelemetry/instrumentation-express";
import { PgInstrumentation } from "@opentelemetry/instrumentation-pg";
import {
  NestInstrumentation,
} from "@opentelemetry/instrumentation-nestjs-core";
import { resourceFromAttributes } from "@opentelemetry/resources";
import {
  ATTR_SERVICE_NAME, ATTR_SERVICE_VERSION,
} from "@opentelemetry/semantic-conventions";
import { maxfiyTozala } from "./maxfiy.ts";

const reliz = process.env["APP_RELEASE"] ?? "lokal";

// bo'sh qator = o'chiq (Compose ${VAR:-} bo'sh beradi)
if ((process.env["OTEL_EXPORTER_OTLP_ENDPOINT"] ?? "") !== "") {
  // ESM hook (import-in-the-middle) — NodeSDK.start() o'zi
  // ro'yxatdan o'tkazadi. 1-urinishda qo'lda
  // module.register(hook.mjs) ham qilingan edi — ogohlantirish
  // (ikki marta) → olib tashlandi.
  const sdk = new NodeSDK({
    resource: resourceFromAttributes({
      [ATTR_SERVICE_NAME]:
        process.env["OTEL_SERVICE_NAME"] ?? "vazifalar-api",
      [ATTR_SERVICE_VERSION]: reliz,
    }),
    traceExporter: new OTLPTraceExporter(),
    instrumentations: [
      // /health va /metrics trace'lari — shovqin
      // (Prometheus har 15 s, healthcheck har 10 s)
      new HttpInstrumentation({
        ignoreIncomingRequestHook: (req) =>
          /^\/(health|metrics)/.test(req.url ?? ""),
      }),
      new ExpressInstrumentation(),
      new NestInstrumentation(),
      // SQL parametrlari (shaxsiy ma'lumot) span'ga yozilmaydi
      new PgInstrumentation({ enhancedDatabaseReporting: false }),
      // log ↔ trace — src/umumiy/log.ts (Pino mixin)
    ],
  });
  sdk.start();
  process.once("SIGTERM", () => {
    void sdk.shutdown();
  });
}

if ((process.env["SENTRY_DSN"] ?? "") !== "") {
  Sentry.init({
    dsn: process.env["SENTRY_DSN"],
    release: reliz,
    environment:
      process.env["APP_MUHIT"] ??
      process.env["NODE_ENV"] ??
      "development",
    sampleRate: Number(process.env["SENTRY_SAMPLE_RATE"] ?? "1"),
    // trace'lar — o'z OpenTelemetry SDK'imizda (yuqorida); Sentry o'z
    // OTel'ini qurmasin (ikki TracerProvider to'qnashadi).
    // tracesSampleRate berilmaydi — Sentry tracing o'chiq
    skipOpenTelemetrySetup: true,
    sendDefaultPii: false,
    beforeSend: (hodisa) => maxfiyTozala(hodisa),
  });
}
deploy/kuzatuv/compose.ilova-kuzatuv.yaml
yaml
# compose.ilova-kuzatuv.yaml — ilovani kuzatuv stack'iga ulash
# (compose.yaml + compose.prod.yaml [+ compose.bluegreen.yaml]
# USTIGA). `node --import ./dist/kuzatuv/boshlash.js` — kuzatuv
# moduli ilovadan OLDIN yuklanadi (src/kuzatuv/boshlash.ts).
# Env bo'sh bo'lsa — o'chiq.
# 1-urinish: NODE_OPTIONS=--import… — Docker HEALTHCHECK'dagi
# `node -e fetch(…)` ham NODE_OPTIONS'ni meros oldi va har tekshiruvda
# OTel SDK + Sentry'ni ishga tushirdi → 3 s timeout'dan oshdi →
# konteyner "unhealthy", `up --wait` yiqildi. Shuning uchun — faqat
# asosiy jarayonning `command` ida.
# APP_RELEASE — image tegi (CD: sha-<…>): trace'dagi service.version
# va GlitchTip'dagi release shundan.
x-kuzatuv: &kuzatuv
  OTEL_EXPORTER_OTLP_ENDPOINT:
    ${OTEL_EXPORTER_OTLP_ENDPOINT:-http://otelcol:4318}
  OTEL_TRACES_SAMPLER: parentbased_traceidratio
  # production'da masalan 0.1 (10 %)
  OTEL_TRACES_SAMPLER_ARG: ${OTEL_NAMUNA:-1.0}
  SENTRY_DSN: ${SENTRY_DSN:-}
  SENTRY_SAMPLE_RATE: ${SENTRY_NAMUNA:-1.0}
  APP_RELEASE: ${APP_RELEASE:-lokal}
  APP_MUHIT: ${APP_MUHIT:-lokal}
services:
  api:
    command:
      - node
      - --import=./dist/kuzatuv/boshlash.js
      - dist/main.js
    environment:
      <<: *kuzatuv
      OTEL_SERVICE_NAME: vazifalar-api
  api-yashil:
    command:
      - node
      - --import=./dist/kuzatuv/boshlash.js
      - dist/main.js
    environment:
      <<: *kuzatuv
      OTEL_SERVICE_NAME: vazifalar-api
  ishchi:
    command:
      - node
      - --import=./dist/kuzatuv/boshlash.js
      - dist/ishchi.js
    environment:
      <<: *kuzatuv
      OTEL_SERVICE_NAME: vazifalar-ishchi

Fayllarda izohlar qisqartirildi va uzun qatorlar telefon uchun bo'lindi, mazmuni kanon bilan aynan. TypeScript fayli tsc va eslint dan, YAML esa kanon fayli bilan solishtiruvdan o'tdi.

7.3 Ishga tushirish

Kanondagi tartib (nomlar sizning loyihangizga moslandi). Avval ilova — kuzatuv qatlami bilan:

bash
docker compose -p vazifalar \
  -f compose.yaml -f compose.prod.yaml -f compose.bluegreen.yaml \
  -f deploy/kuzatuv/compose.ilova-kuzatuv.yaml up -d

Keyin kuzatuv stack'i — ilovaning ichki tarmog'ida:

bash
export LOYIHA=vazifalar GRAFANA_PAROL="<o'zingiz yarating>"
docker compose -p vazifalar-kuzatuv \
  -f deploy/kuzatuv/compose.kuzatuv.yaml up -d

UI'lar faqat 127.0.0.1 da ochiladi: Grafana 4980, Prometheus 4981, Alertmanager 4982, alert pochtasi 4983, Jaeger 4986. Kanonda kuzatuv stack'i yuk paytida jami 582.5 MiB xotira oldi (Observability asoslari darsidagi o'lchov). Eng ko'pini Grafana (208.5 MiB), Collector (109 MiB) va Loki (83.8 MiB) oldi.

Kanon bu stack'ni asosiy serverga qo'ymadi — u lokal kompyuterda ishladi. O'z VPS'ingizga qo'yishdan oldin xotirani hisoblang: 2 GB'li serverda ilova va kuzatuv birga tor keladi. Uptime monitoring darsidagi qoidani ham eslang: monitoring kuzatilayotgan serverdan tashqarida tursa yaxshi.

7.4 Tekshiruv va commit

Kanon tekshiruvi (Windows 11, Node 24.21.0):

text
--- npm run tip
exit 0 (22188 ms)
--- npm run lint
exit 0 (43199 ms)
--- npm run build
exit 0 (35835 ms)
      Tests  352 passed | 1 skipped (353)
exit 0 (155855 ms)
--- npm run e2e
      Tests  10 passed (10)
exit 0 (46711 ms)

Testlar 349 tadan 352 taga oshdi — uchta yangi test: maxfiy, log dagi traceMaydonlari va teglar. Barcha muhit o'zgaruvchilari bo'sh bo'lganda kuzatuv o'chiq, shuning uchun eski testlar va lokal ishlash o'zgarmadi. Jonli tekshiruvda API javob kodlari loyihaning 4.1.1 holati bilan aynan bir xil chiqdi.

Commit xabari (kanondagidek):

text
feat(kuzatuv): OpenTelemetry trace (OTLP), Sentry/GlitchTip xato kuzatuvi (PII tozalash), logda traceId; kuzatuv stack (Prometheus, Loki, Alloy, Jaeger, Grafana, alertlar); test: apostrofli teglar regressiyasi — 4.2.0

Versiya 4.1.1 → 4.2.0: yangi imkoniyat qo'shildi, buzuvchi o'zgarish yo'q — minor (Semver va versiya diapazonlari).

8. Ko'p uchraydigan xatolar

8.1 Avval tuzatish, keyin test

Test tuzatishdan keyin yozilsa, u xatoni ushlay olishi isbotlanmaydi. Avval buzuq kodda qizil, keyin yashil.

8.2 Faqat alertga ishonish

"Alert jim — demak hammasi yaxshi". Kam hajmli xatolarni xato kuzatuvi va loglar ko'rsatadi.

8.3 "Odam xato qildi" da to'xtash

"Dasturchi ’ ni unutdi" — to'g'ri, lekin foydasiz xulosa. Tizim darajasidagi sabab — test ma'lumoti. Chora ham o'sha darajada bo'lsin.

8.4 Production'da xatoni qayta-qayta takrorlash

"Yana bir marta sinab ko'raylik" — har urinish haqiqiy foydalanuvchi ma'lumotini buzishi mumkin. Lokal testda takrorlang, production'da faqat kuzating. Kerak bo'lsa — feature flag bilan, test foydalanuvchisida.

8.5 sorovId siz xato xabari

Foydalanuvchi "xato chiqdi" deydi, lekin qaysi so'rov ekanini bilmaysiz. 500 javobida sorovId bo'lishi — butun zanjirning boshlanish nuqtasi.

9. Mashqlar

Mashqlar kurs/mashqlar/34/19-root-cause/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Kanon voqeasida xato chiqargan belgi — U+
  • Log qatoridan trace'ga o'tkazgan maydon —
  • Xato qaysi relizda paydo bo'lganini aytgan vosita —
  • Avval buzuq kodda yiqilishi shart bo'lgan test — testi
  • Oldindan o'ylanmagan savolni kodni o'zgartirmay so'ray olish —
Yechim
  • 2019 — ’, o'ng bir tirnoq.
  • traceId — Pino mixin qo'shgan.
  • GlitchTip — release 4.2.0-k11.
  • regressiya — test/teglar.test.ts.
  • observability — monitoring esa oldindan ma'lum savollar.

2-mashq (o'rta): xatoni takrorlang va himoyalang

Ikki funksiya yozing. buzuq(teg) — kanondagi refaktor mantiqi: har apostrofni APOSTROFLAR xaritasidagi qiymatga almashtiradi va .toString() chaqiradi. himoyali(teg) — xuddi shu, lekin xaritada yo'q belgi o'zgarmasdan qoladi. Uchala apostrofli tegni ikkalasidan o'tkazing; xato bo'lsa — uning nomi va xabarini chiqaring. Oxirida ’ belgisining Unicode kodini U+XXXX ko'rinishida chiqaring.

Ishora: ?? — chap tomon null yoki undefined bo'lsa, o'ng tomonni oladi (??, ?. va mantiqiy tayinlash). Kod nuqtasi — codePointAt(0), o'n oltilikka — toString(16) (Unicode va emoji).

Yechim
js
const APOSTROFLAR = { "'": "'", "‘": "'" };

function buzuq(teg) {
  return teg.replace(/['‘’]/g, (b) => APOSTROFLAR[b].toString());
}

function himoyali(teg) {
  return teg.replace(/['‘’]/g, (b) => APOSTROFLAR[b] ?? b);
}

for (const teg of ["o'qish", "o‘qish", "o’qish"]) {
  try {
    console.log(teg, "→", buzuq(teg), himoyali(teg));
  } catch (xato) {
    console.log(teg, "→", `${xato.name}: ${xato.message}`);
  }
}
const nuqta = "’".codePointAt(0).toString(16).toUpperCase();
console.log(`U+${nuqta}`);

Konsolda:

text
o'qish → o'qish o'qish
o‘qish → o'qish o'qish
o’qish → TypeError: Cannot read properties of undefined (reading 'toString')
U+2019

Uchinchi qatorda kanon logidagi xato aynan takrorlandi. try bloki butun qatorni o'rab olgani uchun himoyali natijasi ham chiqmadi — buzuq birinchi bo'lib yiqildi. himoyali alohida chaqirilsa, o’qish ni o'zgarmasdan qaytaradi. Lekin bu ham "to'liq" tuzatish emas. ’ bir xillashtirilmaydi, ya'ni #o'qish va #o’qish ikki xil teg bo'lib qoladi. Kanon esa normallashtirishdan umuman voz kechdi — frontend qoidasi shunday.

3-mashq (qiyin): log'dan error'larni ajratish

Har qatorda bitta JSON log yozuvi. Bash skript yozing. U avval log.txt ni yaratsin (5 qator), keyin awk bilan faqat "daraja":"error" qatorlarini olsin, ularni tur bo'yicha guruhlasin va har guruh uchun soni va traceId lar ro'yxatini chiqarsin. Natijani sort bilan saralang.

Ishora: awk JSON'ni tushunmaydi, lekin oddiy maydonni match() bilan topish mumkin. match(qator, naqsh) topsa, RSTART (boshlanish) va RLENGTH (uzunlik) ni o'rnatadi. Maydon qiymatini substr bilan kesib oling. Bu yondashuv faqat oddiy, bir qatorli JSON uchun ishlaydi. Haqiqiy ishda jq yoki LogQL'ning | json filtri ishlatiladi.

Yechim
bash
cat > log.txt <<'TXT'
{"daraja":"info","traceId":"11aa","msg":"GET /v1/vazifalar 200"}
{"daraja":"error","traceId":"c2aa","tur":"TypeError"}
{"daraja":"warn","traceId":"33cc","msg":"GET /v1/yoq 404"}
{"daraja":"error","traceId":"d4dd","tur":"RangeError"}
{"daraja":"error","traceId":"e5ee","tur":"TypeError"}
TXT
awk '
function maydon(qator, nom,  q) {
  q = "\"" nom "\":\""
  if (!match(qator, q "[^\"]*")) return ""
  return substr(qator, RSTART + length(q), RLENGTH - length(q))
}
maydon($0, "daraja") == "error" {
  tur = maydon($0, "tur")
  soni[tur]++
  izlar[tur] = izlar[tur] " " maydon($0, "traceId")
}
END {
  for (t in soni) print t ": " soni[t] " ta, traceId:" izlar[t]
}
' log.txt | sort

Biz ishga tushirdik:

text
RangeError: 1 ta, traceId: d4dd
TypeError: 2 ta, traceId: c2aa e5ee

Beshta qatordan uchtasi error. Ikki xil xato turi — xato kuzatuvidagi ikki issue'ga o'xshaydi. Har guruhning traceId ro'yxati — keyingi qadam: har biri bilan Jaeger'da trace'ni ochish. info va warn qatorlari (200 va 404) e'tiborsiz qoldi — xuddi kanondagi LogQL so'rovi daraja="error" bilan qilgandek. maydon funksiyasidagi qo'shimcha q parametri — awk'da lokal o'zgaruvchi.

10. Real ishda

  • "Menda ishlaydi" xatolari eng ko'p vaqt yeydi. Sababi deyarli har doim kirish ma'lumotida, muhitda yoki vaqtda.
  • Bitta sorovId — qo'llab-quvvatlash xizmati va dasturchi orasidagi eng yaxshi ko'prik. Ko'p mahsulotlar xato oynasida "murojaat raqami"ni ko'rsatadi.
  • Unicode — o'zbek tilidagi matnlar uchun alohida xavf: o', o‘, o’, oʻ (U+02BB) — to'rt xil yozuv. Teglar, qidiruv va tartiblashda ularning hammasini sinang.
  • Intervyu savollari: "Production'dagi xatoni qanday tekshirasiz?", "Monitoring va observability farqi?", "Oxirgi topgan xatoingizning ildiz sababi nima edi?"

Xulosa

  • Production xatosi dalil bilan qidiriladi: metrika → log → trace → xato kuzatuvi → kod.
  • Monitoring oldindan ma'lum savolga javob beradi va bu xatoni ko'rmadi; observability (tuzilmali log, traceId) uni topdi.
  • Bitta 500 metrikada ko'rinmadi: yangi seriya 1 bilan tug'ildi, increase 0 berdi; ulush ham kichik.
  • Log qatorida sorovId, traceId va stack — uchala kalit bitta joyda.
  • Ildiz sabab — "besh nega": test ma'lumoti haqiqiy klaviaturani aks ettirmagan.
  • Tuzatishdan oldin — buzuq kodda yiqiladigan regressiya testi.
  • git bisect — relizda ko'p commit bo'lsa; feature flag — yumshatish va izolyatsiya uchun.
  • vazifalar-api 4.2.0: Sentry/GlitchTip, OpenTelemetry, logda traceId, kuzatuv stack'i; Vitest 352 + 1.

Keyingi dars: Bulut modellari: IaaS, PaaS, SaaS, serverless, edge — o'z serverimizdan bulutga nazar: kim nima uchun javob beradi.

Manbalar

34-qism. CI/CD, monitoring, bulut · 19-dars yakunlandi

Production xatolarini tekshirish va root cause: "menda ishlaydi" xatosi

23 daqvaqt
0belgi
Keyingi dars: Bulut modellari: IaaS, PaaS, SaaS, serverless va edge
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0