JavaScript Full-stackMikroservis capstone (ixtiyoriy, chuqur): xabarchi — outbox, relay, navbat va "hozircha kerak emas"
JavaScript Full-stack · 38-qism. Yakuniy loyihalar (capstone)

Mikroservis capstone (ixtiyoriy, chuqur): xabarchi — outbox, relay, navbat va "hozircha kerak emas"

23 daqiqa13/14-dars

Qisqacha: Buyurtma to'langanda admin va mijozga Telegram xabari ketishi kerak. Uni to'lov so'rovi ichida yuborsak, Telegram sekinlashganda to'lov ham sekinlashadi, Telegram yiqilsa xabar yo'qoladi. Kanon xabarchi ni qurdi: api o'z tranzaksiyasida bildirishnomalar jadvaliga (outbox) qator yozadi, relay uni BullMQ navbatiga o'tkazadi, alohida ishchi esa 5 urinish bilan yuboradi. O'lchov: 1 000 ta xabar, 30 % soxta yiqilish — 997 tasi yetkazildi, 3 tasi navbatning failed ro'yxatida qoldi (yo'qolmadi). Xulosa ham halol: bozor hajmida alohida servis hozircha kerak emas. Outbox va shu jarayondagi ishchi yetadi, gateway, saga va taqsimlangan tracing esa umuman kerak emas.

Bu darsda

  • Monolitdan bitta qismni ajratish shartini yozasiz: nima, nega va qachon.
  • Transactional outbox'ni to'lov tranzaksiyasiga ulaysiz — dual write'siz.
  • Relay'ni SKIP LOCKED bilan yozasiz va takrorni jobId bilan to'xtatasiz.
  • 1 000 xabarlik o'lchovni o'qiysiz va p50/p99 ning nimadan iboratligini model bilan ajratasiz.
  • Gateway, saga, OpenTelemetry, Kafka va Kubernetes uchun "kerak emas" qarorini dalil bilan yozasiz.
  • Kanon xabarchisining production'ga tayyor emas joylarini topasiz.

Oldin bilishingiz kerak: Telegram Mini App capstone, Transactional outbox naqshi, BullMQ ishonchlilik, Monolit, modular monolit, mikroservis, Mikroservislar: dekompozitsiya va ma'lumot egaligi.

1. Nega bu kerak?

Bu dars ixtiyoriy. U "mikroservisga qanday bo'linadi" degan savolga emas, "bo'linish kerakmi" degan savolga javob beradi. 36-qismda nazariyani ko'rgansiz: mikroservis — tashkiliy va texnik murosali tanlov, uning narxi tarmoq, izchillik va operatsiya (Monolit, modular monolit, mikroservis). Endi uni haqiqiy loyihada sinaymiz.

Nega aynan bildirishnomalar? bozor dagi eng mos nomzod shu:

  • Tashqi tizimga (Telegram) bog'liq — u sekin yoki yiqilgan bo'lishi mumkin.
  • Natijasi asosiy oqimga kerak emas — buyurtma xabarsiz ham to'g'ri.
  • Biroz kechikish mumkin — xabar 2 soniya keyin kelsa, hech kim sezmaydi.

Hayotiy o'xshatish: restoran oshxonasi va yetkazib beruvchi. Oshpaz taomni tayyorlab, buyurtma qog'ozini "chiqish" tokchasiga qo'yadi (outbox) va keyingi taomga o'tadi. Kuryer qog'ozni o'zi oladi. Kuryer kechiksa, oshxona to'xtamaydi. Lekin har restoranga alohida kuryerlik kompaniyasi kerak emas. Kichik oshxonada kuryer — o'sha restoranning bitta ishchisi.

2. Talab

Hikoya Mezon Natija
Admin sifatida yangi buyurtmani bilaman Payme Perform o'tdi "Yangi to'langan buyurtma #N — yig'ishni boshlang"
Mijoz sifatida holatni bilaman admin holatni "yo'lda" qildi "Buyurtma #N: yo'lda"
To'lov sekinlashmasin Telegram 5 s javob bermaydi to'lov javobi kutmaydi
Xabar yo'qolmasin Telegram 502 qaytardi qayta urinish, 5 martagacha
Takror bo'lmasin relay bir qatorni ikki marta oldi navbatda bitta ish

Maqsad emas: email va SMS kanallari, foydalanuvchi sozlamalari ("menga xabar yubormang"), ommaviy reklama yuborish (Bildirishnoma tizimi arxitekturasi).

3. Qarorlar

3.1 Uchta variant

Variant Afzallik Kamchilik
A: tolandi ichida sendMessage eng oddiy to'lov tranzaksiyasi Telegram'ni kutadi; Telegram yiqilsa — xabar yo'q yoki to'lov bekor
B: outbox + shu jarayondagi ishchi yo'qolmaydi, to'lovni kutmaydi; bitta deploy ishchi api bilan birga qayta ishga tushadi
C: outbox + alohida xabarchi servisi (kanon) mustaqil masshtab va deploy ikkinchi jarayon, Redis, ikkita log va monitoring

A variant ikki sababdan rad. Birinchisi — kutish: tolandi hook'i to'lov tranzaksiyasi ichida (SaaS capstone 3). Tranzaksiya ochiq turgan har millisekund — obuna yoki variant qatoridagi qulf. Ikkinchisi — dual write: baza va Telegram — ikki tizim, ularni bitta tranzaksiyada yozib bo'lmaydi. Xabar ketdi, keyin tranzaksiya yiqildi — mijozga "to'landi" xati bordi, puli esa olinmadi.

Kanon C ni qurdi — capstone uchun, ajratish qanday ishlashini ko'rsatish maqsadida. Lekin uning o'z xulosasi B tomonida. Bunga «"Kerak emas" xulosasi» bo'limida qaytamiz.

3.2 Broker: BullMQ

Navbat uchun Redis ustidagi BullMQ tanlandi. Sabab oddiy: Redis loyihada allaqachon bor (SaaS capstone 2 dagi billing-tsikli ishi), BullMQ esa 29-qismdan tanish (BullMQ asoslari). RabbitMQ yoki Kafka — yangi tizim, yangi operatsiya. Ularning qachon kerakligini Boshqa xabar broker'lari va Event streaming nazariyasi darslarida ko'rgansiz: tartib kafolati, uzoq saqlash, ko'p iste'molchi. Bildirishnomalarga bularning hech biri kerak emas.

Kanon BullMQ 6.3.19 ni node-redis klienti bilan ishlatadi (RedisConnection.clientFactory). Nega ioredis emasligi — SaaS capstone 2 dagi "biz shunday xato qildik" bloki.

3.3 Nimani qurmaymiz

Xaritada mikroservis capstone'i uchun API gateway, saga, OpenTelemetry va Kubernetes yozilgan. Kanon ularning hech birini qurmadi — ataylab:

Naqsh Qachon kerak bozor da
API gateway ko'p servis, umumiy auth va limit bitta kirishda tashqi kirish bitta (api); nginx — yetarli kirish nuqtasi (API gateway, BFF)
Saga biznes amali bir nechta servisning o'z bazasida to'lov, rezerv va outbox — bitta Postgres tranzaksiyasi (Saga)
Taqsimlangan tracing so'rov 3+ servisdan o'tadi, kechikish qayerdaligi noma'lum ikki jarayon; X-Request-Id va log yetadi (Distributed tracing)
Kafka tartibli oqim, qayta o'ynatish, ko'p iste'molchi bitta iste'molchi, tartib muhim emas
Kubernetes ko'p mashina, avtomatik masshtab bitta VPS, Compose

Bu jadval — darsning eng qimmatli qismi. Har "kerak emas" yonida shart bor: shart paydo bo'lsa, qaror qayta ko'riladi. Saga'ga qarang: xabarchi o'z bazasiga ega bo'lsa va xabar yuborish biznes amalining bir qismi bo'lsa ("xabar ketmasa, buyurtma bekor"), saga kerak bo'lardi. Bizda xabar — qo'shimcha natija. U yiqilsa, buyurtma bekor bo'lmaydi.

Tekshirib ko'ring: Nega bitta Postgres tranzaksiyasi ichida outbox'ga yozish saga'ni keraksiz qiladi?

Javob

Saga bir nechta mustaqil bazadagi o'zgarishlarni "hammasi yoki hech biri" qilish uchun kerak. Unda har qadam o'z tranzaksiyasi, yiqilsa — kompensatsiya qadamlari. bozor da to'lov holati, qoldiq va rezerv kamayishi hamda outbox qatori bitta bazada, bitta BEGIN … COMMIT ichida. Atomiklikni Postgres o'zi beradi. Navbatga o'tkazish keyin, alohida, lekin u faqat yetkazish — biznes holatini o'zgartirmaydi. Kompensatsiya qiladigan narsa yo'q: xabar yiqilsa, qayta urinamiz, buyurtmani bekor qilmaymiz.

4. Qurish

4.1 Oqim

sequenceDiagram
  participant P as Payme
  participant A as bozor api
  participant D as Postgres
  participant R as relay
  participant Q as BullMQ
  participant W as ishchi
  P->>A: PerformTransaction
  A->>D: bitta tranzaksiya: qoldiq, holat, outbox
  A-->>P: state 2
  R->>D: SELECT … SKIP LOCKED
  R->>Q: addBulk (jobId = b-id)
  R->>D: yuborilgan = now()
  Q->>W: ish
  W->>W: sendMessage, yiqilsa — backoff

Diagrammaga qarang: Payme javobni outbox yozilgandan keyin oladi, Telegram'ga yuborishdan oldin. To'lov oqimi Telegram'ning tezligidan butunlay ajralgan.

4.2 Outbox: to'lov tranzaksiyasi ichida

Dokon.tolandi (E-commerce capstone 2 dagi hook) oxirgi qatorida outbox'ga yozadi. SQL — alohida blokda, chunki TS kodida u satr ichida:

sql
INSERT INTO bildirishnomalar (tur, malumot)
VALUES ('buyurtma.tolandi',
  jsonb_build_object('buyurtmaId', $1::bigint));

Jadval oddiy: id (identity), tur, malumot (jsonb), yaratilgan, yuborilgan (NULL — hali navbatga o'tmagan). Holat o'zgarishi (holatQoy) ham xuddi shunday, buyurtma.holat turi bilan, admin audit tranzaksiyasi ichida yozadi.

Outbox qatorida xabar matni yo'q, faqat buyurtmaId. Matn ishchida yasaladi (bildirishnomaMatni — Telegram bot capstone dagi bot.ts). Bu to'g'ri qaror: matn shabloni o'zgarsa, navbatdagi eski ishlar ham yangi matn bilan ketadi. Lekin bitta narsa yetishmaydi — «Kanon kodini o'qib topganlarimiz» bo'limida.

4.3 Relay: outbox → navbat

xabarchi/xabarchi.ts dagi relay() (qatorga bo'lindi, kanon bilan aynan; SQL satri bo'laklarga ajratilgan):

ts
export async function relay(pool: Pool, navbat: Queue<XabarIshi>,
  partiya = 200): Promise<number> {
  const c = await pool.connect();
  try {
    await c.query("BEGIN");
    const { rows } = await c.query<{ id: string; tur: string;
      malumot: Record<string, unknown>; yaratilgan: Date }>(
      "SELECT id, tur, malumot, yaratilgan FROM bildirishnomalar"
        + " WHERE yuborilgan IS NULL ORDER BY id LIMIT $1"
        + " FOR UPDATE SKIP LOCKED", [partiya]);
    if (rows.length > 0) {
      await navbat.addBulk(rows.map((r) => ({ name: r.tur,
        data: { id: Number(r.id), tur: r.tur, malumot: r.malumot,
          yaratilgan: r.yaratilgan.getTime() },
        opts: { jobId: `b-${r.id}`, attempts: 5,
          backoff: { type: "exponential", delay: 1000 },
          removeOnComplete: 1000 } })));
      await c.query("UPDATE bildirishnomalar SET yuborilgan = now()"
        + " WHERE id = ANY($1::bigint[])", [rows.map((r) => r.id)]);
    }
    await c.query("COMMIT");
    return rows.length;
  } catch (x) {
    await c.query("ROLLBACK"); throw x;
  } finally { c.release(); }
}

To'rt qaror:

  • FOR UPDATE SKIP LOCKED — ikkita relay bir vaqtda ishlasa, ikkinchisi birinchisi qulflagan qatorlarni o'tkazib yuboradi (SKIP LOCKED bilan DB-asosli navbat). Relay'ni ikki nusxada ishlatish xavfsiz.
  • Tartib: avval navbat, keyin UPDATE. addBulk muvaffaqiyatli, COMMIT esa yiqildi — qatorlar yuborilgan IS NULL holida qoladi, keyingi relay ularni qayta oladi. Xabar yo'qolmaydi, faqat takrorlanishi mumkin. Teskari tartib (avval belgilash) — yiqilishda xabar yo'qoladi.
  • jobId: b-<id> — takrorni to'xtatadi. BullMQ bir xil jobId li ishni ikkinchi marta qo'shmaydi. Shuning uchun yuqoridagi "takrorlanishi mumkin" amalda deyarli bo'lmaydi.
  • attempts: 5, exponential, delay: 1000 — urinishlar oralig'i 1, 2, 4, 8 soniya. BullMQ hujjatidagi formula: 2 ^ (urinish - 1) × delay (tekshirildi, 2026-11). Beshinchi urinish ham yiqilsa, ish failed ro'yxatiga o'tadi. U yo'qolmaydi, qo'lda yoki skript bilan qayta yuborilishi mumkin (BullMQ ishonchlilik).

removeOnComplete: 1000 ga e'tibor bering. Bajarilgan ishlarning oxirgi 1 000 tasi saqlanadi, qolgani o'chadi. jobId takrorni faqat ish Redis'da turgan paytda ushlaydi. Bu nima degani — o'sha bo'limda.

4.4 Ishchi

ts
export function ishchi(ulanishOpt: ReturnType<typeof ulanish>,
  yubor: Yuboruvchi,
  matnla: (tur: string, m: Record<string, unknown>) => string,
  concurrency = 8): Worker<XabarIshi> {
  return new Worker<XabarIshi>("bozor-xabar", async (ish) => {
    await yubor(matnla(ish.data.tur, ish.data.malumot),
      ish.data.malumot);
  }, { connection: ulanishOpt, concurrency });
}

Ishchi sof: yuboruvchi (yubor) va matn yasovchi (matnla) — parametr. Production'da yubor — Telegram sendMessage, testda — 5 ms kutib, 30 % ehtimol bilan "soxta Telegram 502" tashlaydigan funksiya. Ishchi Telegram haqida hech narsa bilmaydi (Hexagonal arxitektura). concurrency: 8 — bir vaqtda 8 ta ish.

4.5 Jonli model: qayta urinish nimani beradi

Har urinish 30 % ehtimol bilan yiqilsa va urinishlar mustaqil bo'lsa, 1 000 xabardan nechtasi qaysi urinishda o'tadi. Natijada har qatorda uch son: shu urinishda o'tganlar, jami ulush va shu urinishgacha kutish:

js
// har urinish 30 % ehtimol bilan yiqiladi, 5 urinish,
// BullMQ exponential backoff: 1 s, 2 s, 4 s, 8 s
const P = 0.3, URINISH = 5, DELAY = 1000, N = 1000;
let kutish = 0;
let jamUlush = 0;
for (let n = 1; n <= URINISH; n++) {
  const ulush = (1 - P) * P ** (n - 1); // aynan n-urinishda o'tdi
  jamUlush += ulush;
  console.log(`${n}-urinish: +${(ulush * N).toFixed(1)} ta,`
    + ` jami ${(jamUlush * 100).toFixed(2)} %,`
    + ` kutish ${kutish / 1000} s`);
  kutish += DELAY * 2 ** (n - 1);
}
const yoqotish = (P ** URINISH * N).toFixed(2);
console.log(`kutilgan yo'qotish: ${yoqotish} ta`);

Konsolda:

text
1-urinish: +700.0 ta, jami 70.00 %, kutish 0 s
2-urinish: +210.0 ta, jami 91.00 %, kutish 1 s
3-urinish: +63.0 ta, jami 97.30 %, kutish 3 s
4-urinish: +18.9 ta, jami 99.19 %, kutish 7 s
5-urinish: +5.7 ta, jami 99.76 %, kutish 15 s
kutilgan yo'qotish: 2.43 ta

Uch xulosa. Qayta urinishsiz 300 ta xabar yo'qolardi, beshta urinish bilan — o'rtacha 2.43 ta. Har yangi urinish yo'qotishni 3.3 marta kamaytiradi, lekin kutishni ikki baravar oshiradi. 99-foiz xabar (p99) 4-urinish chegarasiga to'g'ri keladi — kamida 7 soniya kutish. Bu raqamlar keyingi bo'limda kanon o'lchovini o'qish uchun kerak.

5. Tekshirish

5.1 Kanon o'lchovi

1 000 ta bildirishnoma, ikki variant. A — api ichida to'g'ridan (har biri 5 ms "Telegram" kutadi), B — outbox → relay → BullMQ → ishchi, 30 % yiqilish bilan. Xom chiqish:

text
(A) api ichida to'g'ridan: 1000 ta × 5 ms = 14100 ms foydalanuvchi so'rovlarida (har biriga +5 ms; Telegram yiqilsa — so'rov xatosi yoki xabar yo'qoladi)
(B) outbox INSERT: 1000 ta 4831 ms (4.83 ms/ta); yetkazildi 997/1000, yiqilishlar (qayta urinildi) 426; kechikish p50 3945 ms, p99 12180 ms
Bitta so'rovga qo'shiladigan vaqt (1 000 ta o'rtachasi)
  • A: to'g'ridan yuborish5 ms kutish; Windows taymeri ≈ 14 ms14,1 ms
  • B: outbox INSERTalohida tranzaksiya, ketma-ket4,83 ms

Manba: Kurs tajribasi (IlmHamroh, 2026-11): xabarchi o'lchovi, bitta mashina

Ko'rsatkich Qiymat
yetkazildi 997 / 1 000
yiqilish (qayta urinildi) 426 marta
BullMQ failed da 3 ta (5 urinishdan keyin)
kechikish p50 / p99 3.9 s / 12.2 s

5.2 Natijani halol o'qish

1. A qatori Telegram'ni emas, taymerni o'lchagan. setTimeout(5) Windows'da ≈ 14 ms ga teng: 1 000 × 5 ms = 5 s kutilgan edi, 14.1 s chiqdi. Haqiqiy Telegram so'rovining vaqtini kanon o'lchamagan. Demak 14.1 va 4.83 ni "outbox 3 marta tez" deb o'qish noto'g'ri. To'g'ri o'qish: A da foydalanuvchi so'rovi tashqi tizimni kutadi va uning yiqilishini oladi. B da faqat bitta INSERT. Bundan tashqari, o'lchovdagi INSERT alohida tranzaksiya edi. Haqiqiy tolandi da u mavjud tranzaksiya ichida va alohida COMMIT talab qilmaydi — narxi bundan ham kichik.

2. 3 ta "yo'qolgan" — kutilgan raqam. Model 2.43 ta deydi, o'lchov 3 ta. 426 ta yiqilish ham modelga mos: kutilgan qiymat 1000 × (0.3 + 0.09 + 0.027 + 0.0081 + 0.00243) ≈ 428. Ya'ni BullMQ va'da qilgan narsani qildi. Lekin failed dagi uchta xabar — hech kim qaramaydigan ro'yxat. Kanonda ularni ko'rsatadigan yoki qayta yuboradigan hech narsa yo'q.

3. p50 3.9 s — o'lchov usulining natijasi. O'lchov skripti avval 1 000 ta INSERT ni ketma-ket yozdi (4.8 s) va shundan keyin relay siklini boshladi. Kechikish INSERT paytidan hisoblanadi. Demak birinchi xabar navbatga o'tishdan oldin ~4.8 s kutgan. Buni tekshirish uchun biz o'lchov jadvalini diskret modelda takrorladik. Parametrlar kanon xomidan (partiya 200, sikllar orasida 50 ms kutish), relay chaqiruvining o'z vaqti esa (20 ms) — taxmin. Skript mashq papkasining olchov/ qismida. Ikki qatorni solishtiring: farq faqat relay qachon boshlanishida.

text
kanon (5 urug'): yetkazildi 996–999/1000, yiqilish 391–447, p50 3.7–3.7 s, p99 11.3–17.3 s
production (5 urug'): yetkazildi 996–999/1000, yiqilish 391–447, p50 0.1–0.1 s, p99 7.1–15.1 s

Model kanon raqamlarini yaqin takrorladi (p50 3.7 va 3.9 s). Relay doim ishlaydigan "production" rejimida esa p50 — 0.1 s. Demak oddiy xabarning haqiqiy kechikishi — relay so'rovi oralig'i (50 ms) va yuborish vaqti. p99 esa ikkala rejimda ham soniyalar — bu qayta urinish kutishi (4-urinish ≥ 7 s), arxitektura emas. Bu — model, o'lchov emas. Production kechikishini kanon o'lchamagan.

4. Ishchi "alohida" emas edi. O'lchovda ishchi o'lchov skriptining o'zida, bitta Node jarayonida ishladi. Alohida jarayonning narxi (Redis orqali ikki jarayon, ikkita ulanish) bu raqamlarda yo'q.

5.3 Kanon kodini o'qib topganlarimiz

O'lchov "mexanizm ishlaydi" deydi. Kodni o'qish esa "servis production'ga tayyormi" degan savolga javob beradi. Javob — yo'q:

  • Kirish nuqtasi yo'q. xabarchi/ da xabarchi.ts (kutubxona) va olchov.ts bor, main.ts yo'q. Image'ga fayl ko'chiriladi, lekin Compose faylida xabarchi servisi yo'q. Servis faqat o'lchovda ishga tushgan.
  • Qabul qiluvchi noma'lum. Outbox qatorida faqat buyurtmaId. Kimga yuborish kerak — admin chati yoki mijozning telegram_id si — hech qayerda aniqlanmaydi. yubor(matn, malumot) buni chaqiruvchiga qoldiradi, chaqiruvchi esa yo'q.
  • Telegram limiti yo'q. Worker da limiter sozlamasi yo'q. Telegram ommaviy yuborishda taxminan sekundiga 30 xabarni ko'taradi (Bot prodakshnda). 8 ta parallel ishchi bundan oshib ketishi mumkin. 429 esa yiqilish sifatida backoff'ga tushadi, retry_after hurmat qilinmaydi.
  • yuborilgan — yuborilmagan. Ustun "navbatga o'tkazildi" ma'nosida ishlatiladi. Xabar Redis'da turibdi, Telegram'ga hali ketmagan. Redis ma'lumotni diskka saqlamasa (persistence o'chiq) va qayta ishga tushsa, navbatdagi ishlar yo'qoladi, outbox esa ularni "yuborilgan" deb ko'rsatadi. Nom kichik narsa, lekin tergov paytida adashtiradi.
  • Takror oynasi cheklangan. jobId takrorni ish Redis'da turgan paytda ushlaydi. removeOnComplete: 1000 bilan bajarilgan ish 1 000 ta yangi ishdan keyin o'chadi. Relay qatorni juda kech qayta olsa (masalan, COMMIT yiqilib, jarayon soatlab to'xtab qolsa), takror o'tadi. Kichik ehtimol, lekin nol emas.
  • Indeks yo'q. WHERE yuborilgan IS NULL ORDER BY id uchun qisman indeks yo'q. Jadval o'sgan sari relay so'rovi butun jadvalni ko'rib chiqadi. Yechim — CREATE INDEX … ON bildirishnomalar (id) WHERE yuborilgan IS NULL va eski qatorlarni tozalash.
  • Redis uzilsa — kod o'qishdan, sinalmagan. jamoa da Redis to'xtatilganda ikkala api nusxasi Unhandled 'error' event bilan yiqilgani o'lchangan (Real-time capstone 2). xabarchi da node-redis klienti BullMQ'ning o'z o'ramiga beriladi. BullMQ 6.3.19 manbasiga ko'ra o'ram klientning error hodisasiga o'zi ulanadi, Queue va Worker esa tinglovchisiz error ni jarayonni yiqitmasdan konsolga chiqaradi. Demak jarayon yiqilmasligi kerak, lekin kanon kodida navbat.on("error") ham, ishchi.on("error") ham yo'q — xato strukturasiz log bo'lib qoladi va hech kim ogohlantirilmaydi. Redis o'chiq paytda relay() dagi addBulk rad etiladi, tranzaksiya ROLLBACK bo'ladi, qatorlar yuborilgan IS NULL holida qoladi — xabar yo'qolmaydi, Redis qaytgach yuboriladi. Relay siklini chaqiruvchi esa bu istisnoni ushlashi shart, aks holda sikl to'xtaydi. Biz buni o'lchamadik.

5.4 "Kerak emas" xulosasi

Kanonning o'z xulosasi: bitta VPS va kuniga yuzlab buyurtmada alohida servis ortiqcha. Outbox va shu jarayondagi ishchi (B variant) yetadi. Ajratish shartlari aniq yozilgan:

  1. Telegram 429 yoki limit api'ni sekinlatsa (ishchi va api bitta jarayonda resurs talashsa).
  2. Boshqa jamoa bildirishnomalarga egalik qilsa (o'z deploy sikli kerak bo'lsa).

Ikkinchi shart muhim: mikroservis ko'pincha texnik emas, tashkiliy sabab bilan ajratiladi. Bitta dasturchili loyihada bu shart yo'q. Kanon C ni qurdi, chunki capstone ajratish tajribasini ko'rsatishi kerak edi. Kod esa buni qilish oson ekanini ko'rsatadi: relay() va ishchi() sof funksiyalar, ularni api jarayonida ham, alohida jarayonda ham ishga tushirish — bir necha qator.

Ajratishning yashirin narxi. Kodda ajratish arzon, lekin operatsiyada emas. Alohida jarayon — alohida konteyner, health tekshiruvi, log oqimi, ogohlantirish va deploy tartibi. Versiyalar ham ajraladi: api outbox'ga yangi tur yozsa, eski ishchi uni tanimaydi. Demak deploy tartibi kerak: avval ishchi (yangi turni biladigan), keyin api. Bitta jarayonda bu muammo umuman yo'q — ikkalasi bir vaqtda yangilanadi. Kichik jamoa uchun bunday "ko'rinmas" ishlar ajratish foydasidan tez oshib ketadi. Shuning uchun kanon xulosasi kod sifati haqida emas, operatsiya narxi haqida.

5.5 Sinalmaganlar

  • Haqiqiy Telegram bilan ommaviy yuborish va 429 — sinalmagan.
  • Alohida xabarchi jarayoni Docker'da — ishga tushirilmagan (kirish nuqtasi yo'q).
  • Redis qayta ishga tushganda navbat taqdiri — sinalmagan.
  • Real foydalanuvchi yuki — sinalmagan; raqamlar bitta mashinada, soxta yuboruvchi bilan.

6. Hujumchi nigohi

Xabarchi tashqi so'rov qabul qilmaydi — hujum yuzasi kichik. Lekin u ishonch zanjirining oxirida turadi:

Xavf Qanday Javob
Soxta outbox qatori api'da SQL injection orqali bildirishnomalar ga yozish parametrli so'rovlar; api roli faqat kerakli jadvallarga
Begonaga xabar malumot da qabul qiluvchini hujumchi qo'yadi qabul qiluvchi outbox'dan emas, ishchida bazadan aniqlansin (buyurtmaId → telegram_id)
Shaxsiy ma'lumot Redis'da ish ma'lumotida ism, telefon faqat id'lar; matn ishchida yasaladi (kanon shunday)
Redis ochiq 6379 internetga ochiq faqat ichki tarmoq, parol (Noto'g'ri sozlash)
Bot tokeni ishchida log yoki xato hisobotida token faqat env'da, xato nomi logga

Ikkinchi qator — dizayn qarori. Outbox qatorida chatId saqlash qulay ko'rinadi, lekin unda ikki muammo bor. Birinchisi — eskirish: foydalanuvchi botni bloklagan yoki qayta ochgan bo'lishi mumkin. Ikkinchisi — ishonch: qator kim tomonidan yozilganini ishchi bilmaydi. Id bo'yicha bazadan o'qish ikkalasini yopadi.

7. Ko'p uchraydigan xatolar

7.1 Tranzaksiya ichida tashqi so'rov

sendMessage, SMTP, HTTP — tranzaksiya ichida emas. Belgisi: Telegram sekinlashganda to'lov javoblari ham sekinlashadi, Postgres'da esa idle in transaction holatidagi ulanishlar ko'payadi. Outbox'ga qator, yuborish — keyin.

7.2 Avval belgilab, keyin navbatga qo'yish

Yiqilishda xabar yo'qoladi. Avval navbat (jobId bilan), keyin belgi.

7.3 failed ro'yxatini unutish

5 urinishdan keyingi ishlar jim yotadi. Ularni sanaydigan metrika va qayta yuborish skripti kerak.

7.4 "Mikroservis — zamonaviy" deb ajratish

Ajratish narxi — ikkinchi deploy, tarmoq, monitoring. Shartni yozing; shart yo'q bo'lsa — modul. Modul chegarasi toza bo'lsa (sof relay() va ishchi() kabi), keyin ajratish bir kunlik ish bo'ladi, oldindan ajratish esa har kungi narx.

7.5 Telegram limitini hisobga olmaslik

Belgisi: 429 Too Many Requests: retry after N xatosi. Tarjimasi: "so'rov juda ko'p, N soniyadan keyin urining". Worker ning limiter sozlamasi va retry_after — ommaviy yuborishdan oldin.

8. Mashqlar

Mashqlar kurs/mashqlar/38/13-xabarchi/ da. 2- va 3-mashq yechimlari Node 24.21.0 da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Takrorni to'xtatadigan BullMQ ish parametri —
  • Ikkita relay bir qatorni olmasligi uchun SQL — FOR UPDATE SKIP
  • Kanon o'lchovida 1 000 tadan yetkazilgan xabarlar —
  • 5 urinish va 30 % yiqilishda kutilgan yo'qotish (1 000 tadan) —
  • Baza va tashqi tizimga bitta amalda yozish muammosi — dual
Yechim
  • jobId — b-<outbox id>; bir xil id ikkinchi marta qo'shilmaydi.
  • LOCKED — qulflangan qatorlar o'tkazib yuboriladi.
  • 997 — 3 tasi failed da.
  • 2.43 — 0.3^5 × 1000.
  • write — dual write; outbox uning yechimi.

2-mashq (o'rta): ajratish kerakmi — hisob

chuqqiTezlik({ buyurtma, xabarHar, chuqqiUlush }) funksiyasini yozing: kunlik xabar soni va eng band daqiqadagi sekundiga xabar sonini qaytarsin. chuqqiUlush — kunlik xabarlarning qancha qismi eng band bir daqiqaga to'g'ri kelishi. Uch holatni Telegram'ning ~30 xabar/s chegarasi bilan solishtiring. Raqamlar — namuna, o'z do'koningiz uchun o'zingiz baholang.

Ishora: Taxminiy hisob-kitob va latency raqamlari darsidagi usul — avval kunlik, keyin chuqqi.

Yechim
js
// "alohida servis kerakmi?" — eng band daqiqadagi yuborish tezligi
function chuqqiTezlik({ buyurtma, xabarHar, chuqqiUlush }) {
  const kunlik = buyurtma * xabarHar;
  const daqiqada = kunlik * chuqqiUlush; // eng band daqiqa ulushi
  return { kunlik, sekundiga: daqiqada / 60 };
}

const LIMIT = 30; // Telegram: ommaviy ~30 xabar/s (hujjat)
const holatlar = [
  ["bugun", { buyurtma: 300, xabarHar: 3, chuqqiUlush: 0.01 }],
  ["x10", { buyurtma: 3000, xabarHar: 3, chuqqiUlush: 0.01 }],
  ["aksiya", { buyurtma: 3000, xabarHar: 3, chuqqiUlush: 0.25 }],
];
for (const [nom, h] of holatlar) {
  const t = chuqqiTezlik(h);
  const holat = t.sekundiga > LIMIT ? "limitdan oshadi" : "yetadi";
  console.log(`${nom}: kuniga ${t.kunlik}, chuqqi`
    + ` ${t.sekundiga.toFixed(2)}/s — ${holat}`);
}

Konsolda:

text
bugun: kuniga 900, chuqqi 0.15/s — yetadi
x10: kuniga 9000, chuqqi 1.50/s — yetadi
aksiya: kuniga 9000, chuqqi 37.50/s — limitdan oshadi

O'n baravar o'sish ham limitga yaqinlashtirmaydi. Muammo — o'sish emas, chuqqi: aksiya e'lon qilingan daqiqada kunlik buyurtmalarning to'rtdan biri. Lekin bu ham alohida servis sababi emas. Yechim — Worker ning limiter sozlamasi (masalan, sekundiga 25 ta). Xabarlar navbatda bir necha soniya kutadi, Telegram 429 bermaydi. Alohida servis faqat shu kutish api'ning o'ziga ta'sir qilsa kerak bo'ladi — bu esa ajratish shartlarining birinchisi.

3-mashq (qiyin): belgi qachon qo'yiladi

Navbat "kamida bir marta" yetkazadi: ishchi xabarni yubordi va tasdiqlashdan oldin o'ldi — ish qayta beriladi. ishchiYasa(tartib) modelini yozing: "keyin" — belgi yuborishdan keyin, "oldin" — yuborishdan oldin qo'yiladi. Uch qadamni ikkala tartibda ishga tushiring: b-1 oddiy, b-2 da ishchi o'ladi, b-2 qayta beriladi. Telegram'ga nima ketganini chiqaring.

Ishora: belgi — Set; "o'ldi" holatini parametr bilan bering. Ikkala natijani solishtirib, qaysi biri "takror", qaysi biri "yo'qotish" ekanini ayting (Transactional outbox naqshi).

Yechim
js
// navbat "kamida bir marta" yetkazadi: ishchi tasdiqdan oldin o'lsa,
// ish qayta beriladi. Belgini yuborishdan OLDIN yoki KEYIN qo'yamiz?
function ishchiYasa(tartib) {
  const belgi = new Set();
  const ketgan = [];
  return {
    ishla(kalit, olsinmi = false) {
      if (belgi.has(kalit)) return "o'tkazildi";
      if (tartib === "oldin") belgi.add(kalit);
      if (olsinmi && tartib === "oldin") return "o'ldi (yubormasdan)";
      ketgan.push(kalit);
      if (olsinmi) return "o'ldi (yubordi, belgisiz)";
      if (tartib === "keyin") belgi.add(kalit);
      return "yuborildi";
    },
    ketgan,
  };
}

for (const tartib of ["keyin", "oldin"]) {
  const w = ishchiYasa(tartib);
  const n1 = w.ishla("b-1");
  const n2 = w.ishla("b-2", true); // ishchi o'ldi
  const n3 = w.ishla("b-2"); // navbat qayta berdi
  console.log(`${tartib}: ${n1}; ${n2}; ${n3}`);
  console.log(`  Telegram'ga ketgan: ${w.ketgan.join(", ")}`);
}

Konsolda:

text
keyin: yuborildi; o'ldi (yubordi, belgisiz); yuborildi
  Telegram'ga ketgan: b-1, b-2, b-2
oldin: yuborildi; o'ldi (yubormasdan); o'tkazildi
  Telegram'ga ketgan: b-1

"Keyin" — takror (b-2 ikki marta), "oldin" — yo'qotish (b-2 umuman ketmadi). Uchinchi yo'l yo'q: Telegram sendMessage da idempotentlik kaliti yo'q, shuning uchun yuborish va belgini atomik qilib bo'lmaydi. Bildirishnoma uchun takror arzonroq — mijoz bir xabarni ikki marta ko'radi. To'lov uchun esa aksincha bo'lishi mumkin. Shuning uchun Payme va Click'da idempotentlik provayder tomonida ham bor. Bu "aynan bir marta"ning amalda yo'qligining eng kichik isboti.

9. O'zingiz qiling: bildirishnomalar

  1. bildirishnomalar jadvali va qisman indeks (WHERE yuborilgan IS NULL); tolandi va holatQoy ichida outbox INSERT.
  2. relay() — kanondagidek: SKIP LOCKED, avval addBulk (jobId), keyin belgi.
  3. ishchi() — yuboruvchi va matn yasovchi parametr; testda soxta yuboruvchi.
  4. Avval B variant: api jarayonida relay sikli (masalan, har 500 ms) va ishchi; SIGTERM da ikkalasini yoping.
  5. O'lchov: 1 000 ta xabar, 30 % yiqilish — relay doim ishlagan holda. Model 0.1 s ga yaqin p50 ni bashorat qiladi; sizda nima chiqdi? Kanondan farqi bo'lsa, sababini yozing.
  6. Kanon nuqsonlarini tuzating:
    • qabul qiluvchi — ishchida buyurtmaId bo'yicha bazadan (admin chati — sozlamadan, mijoz — telegram_id);
    • Worker ga limiter (sekundiga 25 ta) va 429 da retry_after (Bot prodakshnda);
    • failed ishlar soni — metrika va qayta yuborish skripti;
    • ustun nomi navbatga_otgan yoki yuborish vaqtini ishchi yozadigan alohida ustun.
  7. Faqat shart paydo bo'lsa: xabarchi/main.ts va Compose'da alohida servis. Shartni README'ga yozing.
Yechim namunasi: limiter

Kanonda bu sozlama yo'q — yo'nalish. BullMQ Worker ning limiter parametri navbat darajasida tezlikni cheklaydi:

ts
return new Worker<XabarIshi>("bozor-xabar", async (ish) => {
  await yubor(matnla(ish.data.tur, ish.data.malumot),
    ish.data.malumot);
}, { connection: ulanishOpt, concurrency,
  limiter: { max: 25, duration: 1000 } });

25 — Telegram'ning ~30 xabar/s chegarasidan pastroq ehtiyot oraliq: bot boshqa joydan ham (javoblar, /katalog) yuboradi. Cheklov navbat bo'yicha, ishchilar soniga bog'liq emas: ikkita ishchi jarayoni bo'lsa ham jami 25 ta. Sinov: soxta yuboruvchi har chaqiruv vaqtini yozsin, 200 ta ishdan keyin istalgan 1 soniyalik oynada 25 tadan ko'p bo'lmasin. BullMQ hujjati (Rate limiting) shu sintaksisni va cheklov global ekanini — bir navbatdagi hamma ishchilar uchun umumiy — tasdiqlaydi (tekshirildi, 2026-11). O'rnatilgan versiyangiz hujjatiga baribir bir qarang.

10. Real ishda

  • Ko'p jamoalarda birinchi "mikroservis" aynan bildirishnomalar yoki fayl qayta ishlash bo'ladi: tashqi tizimga bog'liq, asosiy oqimdan ajralgan, kechikishga chidamli. Ajratishdan oldin ular odatda shu loyiha ichidagi modul va ishchi bo'lib ishlaydi.
  • "Mikroservisdan monolitga qaytish" — real va ko'p uchraydigan qaror: tarmoq, deploy va tracing narxi foydadan oshganda.
  • Kuzatuv — navbatli tizimda eng muhim uchta raqam: outbox'dagi yuborilgan IS NULL qatorlar soni (relay orqada qolyaptimi), navbat uzunligi (ishchi ulgurayaptimi) va failed ishlar soni (tashqi tizim muammosi). Uchalasi ham oddiy SQL yoki BullMQ chaqiruvi bilan olinadi va Bot prodakshnda dagi kuzatish ro'yxatiga qo'shiladi. Taqsimlangan tracing'dan oldin shu uchta raqam yetadi.
  • Outbox — mikroservis bo'lsa ham, bo'lmasa ham foydali. U "baza va tashqi tizim" muammosining eng arzon yechimi.
  • Intervyuda "monolitni qanday bo'lasiz?" savoliga: avval nima ajratilishi va nima uchun (tashqi bog'liqlik, egalik, masshtab), outbox bilan dual write'siz, takror va yo'qotish o'rtasidagi tanlov, va eng muhimi — qachon bo'lmaslik. "Bizda alohida servis kerak emas edi, mana shartlari" — kuchli javob.

Xulosa

  • Bildirishnoma — ajratish uchun eng mos nomzod: tashqi tizim, asosiy oqimga kerak emas, kechikishga chidamli.
  • Outbox qatori to'lov tranzaksiyasida; relay SKIP LOCKED bilan, avval navbat (jobId), keyin belgi; ishchi — 5 urinish, 1/2/4/8 s.
  • O'lchov: 997/1 000 yetkazildi, 3 tasi failed da (model: 2.43); p50 3.9 s — o'lchov usulining natijasi (model: production'da ~0.1 s), p99 — qayta urinish kutishi.
  • Gateway, saga, tracing, Kafka, Kubernetes — bozor da kerak emas, har biri sharti bilan; alohida servisning o'zi ham hozircha ortiqcha.
  • Kanon xabarchisi production'ga tayyor emas: kirish nuqtasi, qabul qiluvchi, limiter va failed ishlovi yo'q.

Keyingi dars: Open source kutubxona chiqarish (npm) — bozor va jamoa dagi imzo tekshiruvlarini @login/tolov-imzo paketiga ajratish.

Manbalar

  • BullMQ hujjati — Retrying failing jobs (2 ^ (attempts - 1) * delay): https://docs.bullmq.io/guide/retrying-failing-jobs (tekshirildi, 2026-11)
  • BullMQ hujjati — Rate limiting (limiter: { max, duration }, cheklov global): https://docs.bullmq.io/guide/rate-limiting (tekshirildi, 2026-11)
  • Telegram Bots FAQ — ommaviy yuborish chegarasi (~30 xabar/s), oshsa 429: https://core.telegram.org/bots/faq (tekshirildi, 2026-11)
  • Kurs tajribasi (IlmHamroh, 2026-11): xabarchi o'lchovi — 1 000 ta, soxta yuboruvchi (5 ms, 30 % yiqilish), BullMQ 6.3.19, node-redis; bitta mashina, Windows. Kechikish modeli — biz yozgan diskret simulyatsiya (parametrlar kanon xomidan, relay vaqti taxmin), 2026-11-10. Bo'laklar kanon bilan esbuild orqali solishtirildi (2/2 aynan); mashq yechimlari — biz ishga tushirdik.
38-qism. Yakuniy loyihalar (capstone) · 13-dars yakunlandi

Mikroservis capstone (ixtiyoriy, chuqur): xabarchi — outbox, relay, navbat va "hozircha kerak emas"

23 daqvaqt
0belgi
Keyingi dars: Open source kutubxona chiqarish (npm): @login/tolov-imzo — ajratish, API, qadoqlash va 38-qism yakuni
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0