JavaScript Full-stackSaaS capstone 2: yadro funksiyalar, fon ishlar, fayllar — vazifalar, S3 presigned yuklash va BullMQ
JavaScript Full-stack · 38-qism. Yakuniy loyihalar (capstone)

SaaS capstone 2: yadro funksiyalar, fon ishlar, fayllar — vazifalar, S3 presigned yuklash va BullMQ

24 daqiqa3/14-dars

Qisqacha: jamoa ning yadrosi — jamoa kontekstidagi vazifalar va ularning fayllari. Biznes qoidalari kod va bazada. Tarif limiti obuna qatori qulfi ichida tekshiriladi (20 parallel so'rov — 5 ta 201, 15 ta 409). Parallel tahrir If-Match bilan 412 oladi, vazifa faqat jamoa a'zosiga tayinlanadi. Fayl API orqali o'tmaydi: server presigned URL beradi, brauzer S3'ga to'g'ridan yuklaydi, keyin server hajm va turni tekshiradi. Davriy ish — BullMQ jadvali va FOR UPDATE SKIP LOCKED: nechta ishchi bo'lsa ham, har obuna bir marta.

Bu darsda

  • Vazifa yaratish va tahrirlashning biznes qoidalarini quraysiz: limit qulf ichida, optimistik qulf (If-Match → 412), a'zoga tayinlash.
  • Faylni S3-mos omborga presigned URL bilan to'g'ridan yuklash oqimini va uning tekshiruvini quraysiz.
  • BullMQ ishchisini alohida jarayonda ishga tushirasiz va davriy ishni bir marta bajarilishini kafolatlaysiz.
  • Kanon kodi ADR'dan qayerda chetlashganini topasiz: xat navbati jarayon xotirasida.
  • Buni testlar bilan isbotlaysiz: limit, fayl oqimi, parallel ishchilar.

Oldin bilishingiz kerak: SaaS capstone 1, Presigned URL'lar, HTTP caching va shartli so'rovlar, BullMQ ishonchlilik, Transactional outbox naqshi, Qulflar: row, table va advisory.

1. Nega bu kerak?

SaaS capstone 1 da poydevor qurildi: kim kiradi, qaysi jamoada, qanday rol bilan. Endi mahsulotning o'zi — vazifalar. Aynan shu yerda mijoz har kuni ishlaydi va aynan shu yerda biznes qoidalari ko'p.

Biznes qoidasi — "tarifda 500 vazifa", "vazifa faqat jamoa a'zosiga", "ikki kishi bir vaqtda tahrirlasa, birining o'zgarishi yo'qolmasin". Har biri kodda bir if, lekin parallel so'rovlar uni sindiradi. Capstone metodologiyasi darsida MAKS_VAZIFA qanday 1015 ga chiqqanini ko'rgansiz. jamoa da shu xatoni boshidan yopamiz.

Ikkinchi mavzu — og'ir ishlar. Fayl 10 MB bo'lishi mumkin, obunalarni har soat tekshirish kerak. Bularni so'rov ichida qilish — foydalanuvchini kuttirish. Hayotiy o'xshatish: restoran. Ofitsiant buyurtmani oladi va oshxonaga beradi, o'zi qozon oldida turmaydi. Fayl — omborga to'g'ridan yuklanadi, davriy tekshiruv — alohida "oshpaz" (ishchi) jarayonida.

2. Talab

Hikoya Asosiy mezon Javob
A'zo sifatida vazifa qo'shaman tarif chegarasi (500) parallel so'rovlarda ham oshmaydi 409 limit-vazifa
obuna bekor qilingan 402
Vazifani a'zoga tayinlayman jamoa a'zosi bo'lmagan odamga 422
Vazifani tahrirlayman boshqa kishi oldinroq o'zgartirgan 412
Vazifaga fayl qo'shaman 10 MB gacha, 4 tur; e'lon qilinganidan boshqa hajm yuklash rad
begona jamoa fayli 404
Egasi sifatida o'z vaqtida faktura olaman nechta ishchi bo'lsa ham bitta faktura 1

Maqsad emas: izohlar, teglar, rasm o'lchamini o'zgartirish, antivirus tekshiruvi. Izoh va teglar vazifalar-api da bor — ular keyingi bosqichda ko'chiriladi.

3. Qarorlar

3.1 Parallel tahrir: optimistik qulf

Ikki kishi bitta vazifani ochdi. Biri "bajarildi" belgisini qo'ydi, ikkinchisi matnni tuzatdi. Kim yutadi? Uch yo'l:

Variant Afzallik Kamchilik
oxirgi yozgan yutadi sodda birinchining o'zgarishi jim yo'qoladi
pessimistik qulf (tahrirlash paytida band) to'qnashuv yo'q brauzer yopilsa, qulf osilib qoladi
optimistik qulf: versiya + If-Match qulf yo'q, to'qnashuv aniq ko'rinadi mijoz 412 ni ishlashi kerak

Kanon uchinchisini tanladi. Har vazifada versiya bor, har o'zgarish uni oshiradi. Mijoz If-Match: "1" yuboradi — "men 1-versiyani ko'rib o'zgartiryapman". Versiya boshqa bo'lsa — 412 Precondition Failed. Bu HTTP caching va shartli so'rovlar darsidagi ETag g'oyasi, faqat yozish uchun.

3.2 Fayl: API orqali yoki to'g'ridan

Variant Afzallik Kamchilik
multipart, API orqali (29-qism, Multer) tekshiruv oson: sehrli baytlar, oqim 10 MB × 50 foydalanuvchi — API xotirasi va trafigi
presigned PUT, to'g'ridan S3'ga API faqat imzo beradi, yuk omborda tekshiruv yuklashdan keyin, alohida qadam

Kanon ikkinchisini tanladi. Ikki API nusxasi kichik VPS'da, fayl trafigi ularni band qilmasin. Narxi — "yuklandi" va "tekshirildi" orasida oraliq holat paydo bo'ladi. Shuning uchun fayllar.holat ustuni bor: kutilmoqda → tayyor.

3.3 Fon ish: qayerda va necha marta

Davriy ish — har soat obunalarni tekshirish (Cron va rejali vazifalar). Variantlar:

  • API ichida setInterval — ikki nusxada ikki marta ishlaydi. vazifalar-api ning eski cron xatosi (4.4.0) xuddi shu edi: sakkiz nusxadan yettitasi xato bergan.
  • Server cron'i — bitta mashinaga bog'liq, logi va qayta urinishi alohida.
  • BullMQ job scheduler + alohida ishchi — jadval Redis'da bitta, ishchi alohida jarayon; qayta urinish va "osilgan ish" nazorati BullMQ'da tayyor (BullMQ ishonchlilik).

Kanon uchinchisini tanladi va yana bir himoya qo'shdi: sikl ichida FOR UPDATE SKIP LOCKED. Jadval bitta bo'lsa ham, ikki ishchi bir vaqtda ishga tushib qolsa — obunalar ikkiga bo'linadi, takrorlanmaydi.

Tekshirib ko'ring: Nega fon ishni "yagona ishchi ishga tushiramiz, bo'ldi" deb qoldirmaymiz?

Javob

Production'da "yagona" kafolat emas. Deploy paytida eski va yangi ishchi bir necha soniya birga ishlaydi (34-qismdagi blue-green). Konteyner qayta ishga tushganda ham shunday bo'ladi. Kimdir qo'lda ikkinchi nusxani yoqib qo'yishi mumkin. Shuning uchun ish o'zi idempotent bo'lishi kerak: "nechta ishchi bo'lsa ham, har obuna bir marta". Kanonda buni SKIP LOCKED va ochiq_fakturalar jadvalidagi birlamchi kalit ta'minlaydi — ikkinchi ochiq faktura umuman yozilmaydi.

4. Qurish

4.1 Vazifa yaratish: limit qulf ichida

Avval kod (jamoalar/jamoalar.ts, qatorga bo'lindi, kanon bilan aynan; izohdagi ichki havola olib tashlandi):

ts
  async vazifaYarat(jamoa: number, f: Foydalanuvchi, xom: unknown)
    : Promise<VazifaKorinishi> {
    const b = tekshir(VazifaSxemasi, xom, "body");
    await this.rol(jamoa, f.id);
    return tx(this.pool, async (c) => {
      // limit tekshiruvi qulf ichida
      await c.query(
        "SELECT 1 FROM obunalar WHERE jamoa_id = $1 FOR UPDATE",
        [jamoa]);
      await this.billing.huquq(c, jamoa, "vazifa");
      try {
        const { rows: [q] } = await c.query<VQator>(
          "INSERT INTO vazifalar (jamoa_id, matn, muallif_id,"
            + " tayinlangan_id, muddat)"
            + " VALUES ($1, $2, $3, $4, $5) RETURNING *",
          [jamoa, b.matn, f.id, b.tayinlanganId ?? null,
            b.muddat ?? null]);
        if (q === undefined) throw new Error("INSERT natijasiz");
        return vazifa(q);
      } catch (x) {
        if (x instanceof Error && "code" in x && x.code === "23503")
          throw new IlovaXatosi(422,
            "Tayinlangan kishi bu jamoa a'zosi emas",
            { kod: "tayinlangan-azo-emas" });
        throw x;
      }
    }, { foydalanuvchi: f.id, jamoa });
  }

Tartibga qarang:

  1. rol() — a'zo emas bo'lsa, 404 (oldingi darsdan).
  2. tx() ichida birinchi buyruq — obuna qatorini FOR UPDATE bilan qulflash. Shu jamoaning ikkinchi parallel so'rovi shu qatorda kutadi.
  3. billing.huquq() — obuna faolmi (aks holda 402) va vazifalar soni chegaradan pastmi (aks holda 409). Sanash qulf ichida, shuning uchun parallel so'rov oraga kira olmaydi.
  4. INSERT — RLS siyosati jamoa_id ni yana bir bor tekshiradi.
  5. Postgres 23503 (tashqi kalit buzildi) — kompozit FK ishladi: tayinlangan odam bu jamoa a'zosi emas. Foydalanuvchiga — 422 va tushunarli matn.

Nega aynan obuna qatori qulflanadi? U har jamoada bitta va limit u bilan bog'liq. 4.5.0 da vazifalar-api egasi qatorini qulflardi, jamoa da esa tenant darajasidagi qator — obuna. Bitta jamoa ichidagi yozuvlar ketma-ket bo'ladi, turli jamoalar esa bir-birini kutmaydi.

Tayinlovning teskari tomoni ham bazada. A'zo jamoadan chiqarilsa, uning vazifalari o'chmaydi — faqat tayinlangan_id bo'shaydi (ON DELETE SET NULL (tayinlangan_id)). Postgres 15 dan beri SET NULL ga ustunlar ro'yxatini berish mumkin. Busiz kompozit kalitning ikkala ustuni, ya'ni jamoa_id ham NULL bo'lishga urinardi.

4.2 Tahrir: If-Match va 412

PATCH controller'i If-Match sarlavhasini o'qiydi: "1" yoki 1 — son, boshqa narsa — 400. Keyin UPDATE versiya sharti bilan (kanonda shablon satri ichida, bu yerda qisqartirildi):

sql
UPDATE vazifalar
   SET matn = coalesce($2, matn),
       bajarildi = coalesce($3, bajarildi),
       tayinlangan_id = CASE WHEN $5 THEN $4 ELSE tayinlangan_id END,
       versiya = versiya + 1
 WHERE id = $1 AND ($6::int IS NULL OR versiya = $6)
RETURNING *

Ikki nozik joy bor. Birinchisi — $5. tayinlanganId: null ("tayinlovni olib tashla") va maydon umuman yo'qligi ("tegma") farq qiladi. coalesce ularni ajrata olmaydi, shuning uchun alohida bayroq: "maydon yuborildimi". Ikkinchisi — UPDATE 0 qator qaytarsa, sabab ikkita bo'lishi mumkin: vazifa yo'q (404) yoki versiya boshqa (412). Kod o'sha tranzaksiyada SELECT versiya bilan qaysi biri ekanini aniqlaydi va aniq xabar beradi: Versiya 2 (siz 1 yubordingiz).

If-Match siz PATCH ham qabul qilinadi — unda "oxirgi yozgan yutadi". Bu ongli murosali tanlov: oddiy skriptlar va curl ishlasin. Web ilova esa har doim If-Match yuboradi.

4.3 Fayl: uch qadamli oqim

sequenceDiagram
  participant W as Brauzer
  participant A as API
  participant S as S3 ombor
  W->>A: POST /fayllar (nom, tur, hajm)
  A->>A: rol, INSERT holat kutilmoqda
  A-->>W: 201 id va yuklashUrl (5 daqiqa)
  W->>S: PUT yuklashUrl (fayl)
  S-->>W: 200
  W->>A: POST /fayllar/id/tayyor
  A->>S: HeadObject (hajm, tur)
  A-->>W: 201 holat tayyor yoki 409

Fayl API'dan o'tmaydi — strelkaga qarang, PUT brauzerdan to'g'ridan omborga. Birinchi qadam (fayllar/fayllar.ts, qatorga bo'lindi, kanon bilan aynan):

ts
  async boshla(jamoa: number, f: Foydalanuvchi, xom: unknown)
    : Promise<{ id: string; yuklashUrl: string }> {
    const b = tekshir(FaylSxemasi, xom, "body");
    const kalit = `jamoa/${String(jamoa)}/${randomUUID()}`;
    const id = await tx(this.pool, async (c) => (
      await c.query<{ ommaviy_id: string }>(
        "INSERT INTO fayllar (jamoa_id, vazifa_id, nom, turi, hajm,"
          + " kalit, yuklovchi_id)"
          + " VALUES ($1, $2, $3, $4, $5, $6, $7)"
          + " RETURNING ommaviy_id",
        [jamoa, b.vazifaId ?? null, b.nom, b.turi, b.hajm, kalit,
          f.id])).rows[0]?.ommaviy_id ?? "",
      { foydalanuvchi: f.id, jamoa });
    // ContentType va ContentLength imzoga kiradi
    const yuklashUrl = await getSignedUrl(this.#s3,
      new PutObjectCommand({ Bucket: this.s.bucket, Key: kalit,
        ContentType: b.turi, ContentLength: b.hajm }),
      { expiresIn: 300 });
    return { id, yuklashUrl };
  }

Zod sxemasi oldindan cheklaydi: nom 200 belgigacha, tur — to'rttadan biri (image/png, image/jpeg, application/pdf, text/plain), hajm — 1 baytdan 10 MB gacha. Kalit — jamoa/<id>/<UUID>: foydalanuvchi bergan nom kalitga tushmaydi, demak ../ kabi hiylalar ham yo'q.

Eng muhim qator — izoh ostidagisi. ContentType va ContentLength imzoga kiradi. Mijoz boshqa hajmdagi faylni yuborsa, S3 imzoni qayta hisoblaydi va mos kelmaydi. Mana shu g'oyaning soddalashtirilgan modeli. Haqiqiy S3 imzo algoritmi — SigV4 (AWS Signature Version 4) — ko'proq maydon va bir necha HMAC qadamidan iborat, lekin mantiqi shunday:

js
// Soddalashtirilgan model: haqiqiy SigV4 emas, g'oyasi bir xil
const kalit = await crypto.subtle.importKey("raw",
  new TextEncoder().encode("ombor-siri-faqat-serverda"),
  { name: "HMAC", hash: "SHA-256" }, false, ["sign"]);

async function imzola(sorov) {
  const satr = [sorov.metod, sorov.yol, sorov.turi, sorov.hajm,
    sorov.tugash].join("\n");
  const b = await crypto.subtle.sign("HMAC", kalit,
    new TextEncoder().encode(satr));
  return [...new Uint8Array(b)].slice(0, 8)
    .map((x) => x.toString(16).padStart(2, "0")).join("");
}

// API: mijoz e'lon qilgan tur va hajm bilan havola beradi
const elon = { metod: "PUT", yol: "/jamoa/7/a1b2", turi: "text/plain",
  hajm: 31, tugash: 1_762_765_500 };
const imzo = await imzola(elon);

// S3: kelgan PUT'ning haqiqiy sarlavhalaridan imzoni qayta hisoblaydi
async function qabulmi(haqiqiy) {
  return (await imzola({ ...elon, ...haqiqiy })) === imzo;
}
console.log("e'lon qilingandek:", await qabulmi({}));
console.log("katta fayl:", await qabulmi({ hajm: 5_000_000 }));
console.log("boshqa tur:", await qabulmi({ turi: "text/html" }));

Konsolda:

text
e'lon qilingandek: true
katta fayl: false
boshqa tur: false

Sir faqat serverda va omborda. Mijoz imzoni ko'radi, lekin uni boshqa hajm yoki tur uchun qayta hisoblay olmaydi. Bu webhook imzosi bilan bir xil g'oya (Kiruvchi webhook'larni qabul qilish): imzo — sir bilan hisoblangan HMAC, tekshiruvchi uni o'zi qayta hisoblaydi. crypto.subtle (Web Crypto) brauzerda ham, Node 24 da ham bor. Shuning uchun bu blokni saytda ham ishga tushirsa bo'ladi.

4.4 "Tayyor" tekshiruvi

Yuklash tugagach, mijoz tayyor deydi. Server unga ishonmaydi — omborga o'zi qaraydi (qatorga bo'lindi, kanon bilan aynan):

ts
  async tayyor(jamoa: number, f: Foydalanuvchi, id: string)
    : Promise<{ id: string; holat: "tayyor" }> {
    return tx(this.pool, async (c) => {
      const { rows: [q] } = await c.query<
        { kalit: string; hajm: number; turi: string }>(
        "SELECT kalit, hajm, turi FROM fayllar"
          + " WHERE ommaviy_id = $1::uuid FOR UPDATE", [uuid(id)]);
      if (q === undefined)
        throw new TopilmadiXatosi("Fayl topilmadi", "fayl-topilmadi");
      const h = await this.#s3.send(new HeadObjectCommand(
        { Bucket: this.s.bucket, Key: q.kalit }))
        .catch(() => undefined);
      if (h?.ContentLength !== q.hajm || h.ContentType !== q.turi)
        throw new IlovaXatosi(409,
          "Fayl hali yuklanmagan yoki e'lon qilinganidan farq qiladi",
          { kod: "fayl-mos-emas" });
      await c.query("UPDATE fayllar SET holat = 'tayyor'"
        + " WHERE ommaviy_id = $1::uuid", [id]);
      return { id, holat: "tayyor" as const };
    }, { foydalanuvchi: f.id, jamoa });
  }

HeadObject faylni yuklab olmaydi, faqat metama'lumotini oladi (Fayl metama'lumotini DB'da boshqarish). Fayl yo'q bo'lsa, .catch uni undefined ga aylantiradi va 409 chiqadi. uuid() yordamchisi noto'g'ri shakldagi id'ni bazaga yubormasdan 404 qiladi. Aks holda Postgres invalid input syntax for type uuid bilan 500 berardi.

Yuklab olish — GET /fayllar/:id: faqat tayyor fayl, 60 soniyalik presigned URL, javob — 303 yo'naltirish. Havolada ResponseContentDisposition: attachment; filename*=UTF-8''… — brauzer faylni ochmaydi, saqlaydi, nom esa o'zbekcha harflar bilan ham to'g'ri chiqadi.

Tekshirib ko'ring: Hujumchi POST /fayllar da hajm: 31 deb e'lon qildi, keyin presigned URL'ga 31 baytlik, lekin ichi HTML bo'lgan faylni Content-Type: text/plain bilan yukladi. Qaysi tekshiruv uni to'xtatadi?

Javob

Hech biri to'xtatmaydi: hajm ham, e'lon qilingan tur ham imzoga mos, HeadObject ham mos keladi. Presigned yo'l faqat e'lon qilingan sarlavhalarni kafolatlaydi, fayl ichini emas. Zararni kamaytiradigan narsa — yuklab olishda attachment: brauzer HTML'ni sahifa sifatida ochmaydi, faylni saqlaydi. Ichini tekshirish (sehrli baytlar) — «Hujumchi nigohi» bo'limidagi ochiq joy.

4.5 Fon ish: alohida jarayon

ishchi.ts — API bilan bir image, boshqa buyruq (node dist/ishchi.js). Asosiy qismi (qatorga bo'lindi, kanon bilan aynan):

ts
const redisUrl = process.env["REDIS_URL"] ?? "redis://127.0.0.1:6379";
RedisConnection.clientFactory = () =>
  createNodeRedisClient(createClient({ url: redisUrl }));
const url = new URL(redisUrl);
const ulanish = { host: url.hostname, port: Number(url.port || 6379),
  maxRetriesPerRequest: null };
const pool = poolYarat(process.env["DATABASE_URL"] ?? "");
const billing = new Billing(pool);
const navbat = new Queue("jamoa-fon", { connection: ulanish });
await navbat.upsertJobScheduler("billing-tsikli",
  { every: 3_600_000 }, { name: "billing-tsikli" });
const w = new Worker("jamoa-fon", async (ish) => {
  if (ish.name !== "billing-tsikli") return { otkazildi: ish.name };
  const n = await billing.tsikl();
  for (const xat of billing.xatlar.splice(0))
    console.log(JSON.stringify(
      { level: "info", xabar: "xat navbatda", ...xat }));
  return n;
}, { connection: ulanish, concurrency: 1 });

upsertJobScheduler — takrorlanuvchi ish jadvali, Redis'da bitta. Ishchi har ishga tushganda uni qayta yozadi, lekin ikkinchi jadval paydo bo'lmaydi. Uch ishchi bo'lsa ham, har soatda bitta ish yaratiladi va uni bitta ishchi oladi.

billing.tsikl() ichida esa obunalar bittadan olinadi:

sql
SELECT o.jamoa_id, o.holat, … FROM obunalar o
 WHERE (o.holat IN ('sinov', 'faol')
        AND o.davr_oxiri <= $1 AND o.yangilangan_vaqt < $1)
    OR (o.holat = 'qarzdor' AND o.keyingi_urinish <= $1)
 ORDER BY o.jamoa_id LIMIT 1 FOR UPDATE SKIP LOCKED

SKIP LOCKED — boshqa tranzaksiya qulflagan qatorni kutmasdan o'tkazib yuboradi. yangilangan_vaqt < $1 — shu soatda ishlangan obuna qayta olinmaydi. Ikkalasi birga: parallel ishchilar obunalarni bo'lib oladi va hech biri ikki marta ishlanmaydi. Obuna holatlari va faktura — keyingi dars mavzusi (SaaS capstone 3).

4.6 Biz shunday xato qildik: ishchi qayta-qayta yiqildi

vazifalar-api da navbat node-redis klienti bilan ishlardi. jamoa ishchisini birinchi marta yozganda bu unutildi: Queue va Worker ga faqat { host, port } berildi. Production Compose'da ishchi konteyneri ishga tushdi, yiqildi, qayta ishga tushdi, yana yiqildi.

Xato matni (kanon izohidan; to'liq log saqlanmagan):

text
could not load the optional ioredis

Tarjimasi: "ixtiyoriy ioredis yuklanmadi". Kanon ishlatgan BullMQ 6.3.19 da ioredis — ixtiyoriy bog'liqlik (package-lock.json da peerDependenciesMeta → optional: true). Kutubxona sukut bo'yicha uni qidiradi, loyihada esa faqat redis (node-redis) bor edi. Tuzatish — yuqoridagi ikkinchi va uchinchi qator: RedisConnection.clientFactory node-redis klientini beradi.

Saboq ikkita. Birinchisi: "ixtiyoriy" bog'liqlik — "kerak emas" degani emas, "o'zingiz tanlaysiz" degani. Ikkinchisi: fon ishchi test'da yashil bo'lishi mumkin, chunki testda tsikl() to'g'ridan chaqiriladi. Ishchi jarayonining o'zi faqat Compose'da sinaldi. Shuning uchun production Compose'ni lokal ko'tarish DoD'ga kiritilgan (Capstone metodologiyasi).

5. Tekshirish

5.1 Limit poygasi

Kanon testi: boshlang'ich tarif (500 vazifa), bazada 495 ta, 20 parallel POST. Natija: 5 × 201, 15 × 409 — bazada aynan 500. A'zolar limiti ham shunday: tarifda 5 o'rin, egasi bitta joyni egallagan, beshta taklif parallel qabul qilinadi — [201, 201, 201, 201, 409].

Bu yerda kanon o'z xatosini ham yozgan. Birinchi variantda test "beshinchi taklifni yuborishning o'zi rad etiladi" deb kutgan edi. Bu noto'g'ri edi: taklif o'rin band qilmaydi, chegara — qabulda. Test kutilishi tuzatildi, kod emas. Saboq: test ham xato qilishi mumkin — u yiqilsa, avval talabni qayta o'qing.

5.2 Fayl oqimi

Fayllar testi lokal S3-mos omborda (RustFS 1.0.4) yurgizildi:

Qadam Natija
POST /fayllar (31 bayt, text/plain) 201, yuklashUrl
yuklashdan oldin tayyor 409
presigned URL'ga katta fayl PUT rad (ok === false)
to'g'ri fayl PUT 200
tayyor 201
GET 303 → yuklab olingan matn aynan
begona jamoa a'zosi GET 404

Katta fayl rad etilishini test faqat ok === false bilan tekshiradi. Aniq status kodini ombor beradi va u xom natijaga yozilmagan. Kanon izohida sabab — SignatureDoesNotMatch.

5.3 Parallel ishchilar

Billing testida bitta jamoa uchun uchta tsikl() parallel ishga tushiriladi. Natija — bitta xat (faktura) va bazada bitta faktura. To'liq to'plam: npm run check — 11/11. Ulardan fon ishga oid — dunning (1, 3, 7 kun) va shu parallel test; ikkalasi keyingi darsda batafsil.

5.4 Natijani halol o'qish: xat navbati ADR'dan chetlashgan

36-qismdagi ADR-0005 aniq yozgan: biznes yozuvi va outbox qatori — bitta tranzaksiyada, ishchi outbox'dan o'qib yuboradi. Kanon kodida esa xatlar Billing.xatlar massivida yig'iladi — jarayon xotirasida.

Kodni o'qiganda ikki muammo ko'rinadi (sinalmagan, kod o'qishdan):

  • Ishchida: tsikl() tranzaksiyasi COMMIT bo'ladi, keyin xat massivdan logga yoziladi. Jarayon shu oraliqda qulasa, faktura bor, xat yo'q. Bu klassik dual write (Transactional outbox naqshi).
  • API'da: egasi POST /obuna/faktura qilganda xat API jarayonidagi Billing nusxasiga tushadi. Ishchi esa o'z nusxasining massivini o'qiydi. API'dagi massivni hech kim o'qimaydi — testdan boshqa.

Testlar yashil, chunki ular i.x.billing.xatlar ni to'g'ridan o'qiydi. Xat adapteri ulanmaganini kanon README'si ochiq aytgan ("xat — ishchi logi"). Lekin bu farq MVP qisqartmasi emas, arxitektura qarori buzilishi. Production'dan oldin tuzatiladi: xat_navbati (yoki 29-qismdagi outbox) jadvali, yozuv biznes tranzaksiyasida, ishchi esa uni o'qib yuboradi. Bu — "O'zingiz qiling" ning eng muhim bandi.

5.5 Yana bir jim chegara: ro'yxat 500 ta

Vazifalar ro'yxati so'rovi — SELECT * FROM vazifalar ORDER BY id LIMIT 500. Boshlang'ich tarifda chegara ham 500, demak hammasi ko'rinadi. "Jamoa" tarifida esa chegara — 5 000. 501-vazifadan boshlab ro'yxatda hech narsa ko'rinmaydi: vazifa bor, lekin ekranda yo'q. Xato xabari ham, "yana yuklash" tugmasi ham yo'q.

Bu ham kod o'qishdan topildi, test bilan sinalmagan. Testlar 500 dan ortiq vazifani faqat boshlang'ich tarifda yaratadi, u yerda esa limit 409 bilan to'xtatadi. Shuning uchun xato yashirin qoldi. Tuzatish — kursor bilan sahifalash (Pagination: offset, cursor, keyset): WHERE id > $kursor ORDER BY id LIMIT 100 va javobda keyingi kursor. vazifalar-api da bu 25-qismdan beri bor — ko'chirish kerak edi.

Ikki topilmaning umumiy saboqi bitta. Limit, tarif va sahifalash — bir-biriga bog'liq qoidalar. Ulardan birini o'zgartirsangiz (tarifga 5 000 qo'yish), qolganlarini ham tekshiring. Bunday bog'liqliklarni testga aylantirish uchun "chegarada" testlari foydali: aynan 500, 501 va 5 000 ta vazifa bilan.

5.6 Sinalmaganlar

  • Haqiqiy bulut ombori (AWS S3, Cloudflare R2) — faqat lokal S3-mos ombor. SDK va imzo bir xil, lekin CORS sozlamasi va narx alohida.
  • 10 MB ga yaqin fayllar va sekin internet — testdagi fayl 31 bayt. Katta fayllar uchun bo'lib yuklash (multipart upload) kerak bo'lishi mumkin.
  • Ishchining uzoq ishlashi — Compose'da ko'tarildi, lekin soatlab kuzatilmadi.

6. Hujumchi nigohi

Hujum Qanday urinadi jamoa javobi
Limitni aylanib o'tish 20 ta parallel POST obuna qatori qulfi — 5 tasi o'tadi
Katta fayl presigned URL'ga 5 GB yuboradi hajm imzoda — rad
Turni almashtirish text/plain deb e'lon qilib, HTML yuboradi tur imzoda; yuklab olish — attachment
Havolani tarqatish yuklab olish havolasini chatga tashlaydi 60 soniyada eskiradi
Begona fayl boshqa jamoaning fayl id'sini so'raydi rol() — 404; RLS — 0 qator
Yo'l hiylasi nomga ../../ qo'shadi kalit — jamoa/<id>/<UUID>, nom faqat metama'lumotda

Ochiq joy: fayl ichi tekshirilmaydi. text/plain deb e'lon qilingan fayl ichida istalgan baytlar bo'lishi mumkin. 29-qismdagi multipart yo'lida sehrli baytlar tekshirilardi (Fayl yuklash xavfsizligi). Presigned yo'lda buni tayyor qadamida qilsa bo'ladi: faylning birinchi baytlarini Range bilan o'qib tekshirish. Kanonda bu yo'q.

7. Ko'p uchraydigan xatolar

7.1 Limitni qulfsiz sanash

SELECT count(*) va INSERT orasida boshqa so'rov yozadi. Sanash — qulf ichida, bitta tranzaksiyada.

7.2 coalesce bilan "null" va "yo'q" ni aralashtirish

"Tayinlovni olib tashla" (null) va "tegma" (maydon yo'q) — ikki xil buyruq. Alohida bayroq kerak.

7.3 Mijozning "yukladim" degan so'ziga ishonish

tayyor dan oldin omborga HeadObject bilan qarang: hajm va tur e'lon qilinganiga tengmi.

7.4 Fayl nomini kalitga qo'yish

Kalit — UUID. Nom — faqat bazada va Content-Disposition da.

7.5 Fon ishni API ichida setInterval bilan

Ikki nusxa — ikki marta. Alohida ishchi, jadval Redis'da, qator darajasida SKIP LOCKED.

7.6 "Ixtiyoriy" bog'liqlikni unutish

BullMQ'ga qaysi Redis klienti ishlatilishini aniq bering. Ishchini production Compose'da ko'tarib ko'ring — testdagi to'g'ridan chaqiruv buni ko'rsatmaydi.

8. Mashqlar

Mashqlar kurs/mashqlar/38/03-saas-yadro/ da. 2- va 3-mashq yechimlari Node 24.21.0 da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Boshqa kishi vazifani oldinroq o'zgartirgan bo'lsa, PATCH javobi —
  • Tayinlangan kishi jamoa a'zosi emas: Postgres xato kodi 23503, foydalanuvchiga —
  • 495 ta vazifa va 20 parallel so'rovdan keyin 201 javoblar soni —
  • Boshqa tranzaksiya qulflagan qatorni kutmasdan o'tkazib yuborish — FOR UPDATE SKIP
  • Fayl metama'lumotini yuklab olmasdan olish uchun S3 buyrug'i —
Yechim
  • 412 — Precondition Failed: If-Match dagi versiya eskirgan.
  • 422 — kompozit FK ishladi; 500 emas, tushunarli xabar.
  • 5 — chegara 500; qolgan 15 tasi 409.
  • LOCKED — parallel ishchilar qatorlarni bo'lib oladi.
  • HeadObject — hajm va turni tekshirish uchun yetarli.

2-mashq (o'rta): optimistik qulf

ozgartir(vazifa, ozgarish, ifMatch) funksiyasini yozing. ifMatch berilgan va joriy versiyaga teng bo'lmasa — 412: versiya X (siz Y yubordingiz). Aks holda o'zgarishni qo'llang, versiyani bittaga oshiring va 200: <vazifa JSON> qaytaring. Dilnoza va Jasur bir vaqtda 1-versiyani ko'rib, ketma-ket o'zgartirsin. Keyin If-Match siz o'zgartirishni ham sinang.

Ishora: obyektni yangilash uchun Object.assign (Object.* metodlarining to'liq sharhi).

Yechim
js
function vazifaYarat(matn) {
  return { matn, bajarildi: false, versiya: 1 };
}

function ozgartir(v, ozgarish, ifMatch) {
  if (ifMatch !== undefined && ifMatch !== v.versiya) {
    return `412: versiya ${v.versiya} (siz ${ifMatch} yubordingiz)`;
  }
  Object.assign(v, ozgarish, { versiya: v.versiya + 1 });
  return `200: ${JSON.stringify(v)}`;
}

const v = vazifaYarat("Hisobot");
const dilnoza = v.versiya; // ikkalasi ham 1-versiyani ko'rdi
const jasur = v.versiya;
console.log(ozgartir(v, { bajarildi: true }, dilnoza));
console.log(ozgartir(v, { matn: "Hisobot (tuzatildi)" }, jasur));
console.log(ozgartir(v, { matn: "If-Match'siz" }));

Konsolda:

text
200: {"matn":"Hisobot","bajarildi":true,"versiya":2}
412: versiya 2 (siz 1 yubordingiz)
200: {"matn":"If-Match'siz","bajarildi":true,"versiya":3}

Jasur 412 oldi va uning tuzatishi yozilmadi — lekin Dilnozaning "bajarildi" belgisi ham yo'qolmadi. Web ilova 412 da vazifani qayta o'qib, foydalanuvchiga ikkala variantni ko'rsatadi. Uchinchi qator — "oxirgi yozgan yutadi": If-Match siz so'rov tekshiruvsiz o'tadi. Kanon buni ataylab qoldirgan; qat'iyroq API 428 Precondition Required qaytaradi.

3-mashq (qiyin): SKIP LOCKED modeli

Uchta ishchi (A, B, C) bir vaqtda ishga tushadi. Har biri sikl ichida "davri tugagan, hali ishlanmagan birinchi obuna"ni oladi, uni qulflaydi, faktura ochadi (await — "tarmoq"), keyin ishlangan deb belgilab qulfni bo'shatadi. skip rejimida qulflangan obuna o'tkazib yuboriladi. Uch obuna uchun qulfsiz va SKIP LOCKED rejimlarini solishtiring.

Ishora: qulflarni Set da saqlang (Set); "tarmoq"ni setTimeout(…, 0) bilan modellang, ishchilarni Promise.all bilan ishga tushiring (Promise kombinatorlari).

Yechim
js
const kut = () => new Promise((r) => setTimeout(r, 0));

async function ishchi(nom, obunalar, qulflar, skip, fakturalar) {
  for (;;) {
    // davri tugagan, hali ishlanmagan birinchi obuna (LIMIT 1)
    const o = obunalar.find((x) =>
      !x.ishlandi && !(skip && qulflar.has(x.id)));
    if (o === undefined) return;
    qulflar.add(o.id);           // FOR UPDATE
    await kut();                 // faktura ochilmoqda
    fakturalar.push(`${nom}→${o.id}`);
    o.ishlandi = true;           // yangilangan_vaqt = hozir
    qulflar.delete(o.id);        // COMMIT
  }
}

async function sina(skip) {
  const obunalar = [1, 2, 3].map((id) => ({ id, ishlandi: false }));
  const fakturalar = [];
  const qulflar = new Set();
  await Promise.all(["A", "B", "C"].map((nom) =>
    ishchi(nom, obunalar, qulflar, skip, fakturalar)));
  return `${fakturalar.length} ta: ${fakturalar.join(" ")}`;
}
console.log("qulfsiz:", await sina(false));
console.log("SKIP LOCKED:", await sina(true));

Konsolda:

text
qulfsiz: 9 ta: A→1 B→1 C→1 A→2 B→2 C→2 A→3 B→3 C→3
SKIP LOCKED: 3 ta: A→1 B→2 C→3

Qulfsiz rejimda (skip — false, qulfga qaralmaydi) uchala ishchi bir vaqtda 1-obunani ko'radi — uch faktura. Uch obunaga to'qqizta. SKIP LOCKED da A 1-ni qulflaydi, B uni o'tkazib 2-ni oladi, C — 3-ni. Har obunaga bitta, ish uchga bo'lindi. Oddiy FOR UPDATE (kutish bilan) ham to'g'ri natija beradi — Postgres kutib bo'lgach WHERE ni qayta tekshiradi. Lekin ishchilar navbatga turadi va parallellik yo'qoladi. Kanonda ikkinchi himoya ham bor: ochiq_fakturalar jadvalining birlamchi kaliti ikkinchi ochiq fakturani yozdirmaydi.

9. O'zingiz qiling: yadro va fon ishlar

  1. vazifalar (jamoa kontekstida): ro'yxat (500 tagacha, id tartibida), yaratish (limit qulf ichida), tahrir (If-Match → 412), tayinlash (kompozit FK → 422). Kanon kodi yuqorida.
  2. fayllar: boshla, tayyor, havola va testi: katta fayl rad, yuklanmagan — 409, begona — 404. Lokal ombor — 33-qismdagi Compose'ga S3-mos servis.
  3. ishchi.ts: BullMQ jadvali, node-redis klienti (clientFactory), SIGTERM da yopish. Production Compose'da alohida servis sifatida ko'tarib, logda xat navbatda qatorini ko'ring.
  4. Xat navbatini ADR-0005 ga moslang: xat_navbati jadvali (yoki outbox), yozuv biznes tranzaksiyasi ichida, ishchi SKIP LOCKED bilan o'qib Nodemailer orqali yuboradi (Email yuborish: SMTP va Nodemailer). Kanonda bu yo'q — sizning qadamingiz.
  5. Yetim fayllar: kutilmoqda holatida 1 soatdan ortiq qolgan fayllarni o'chiradigan fon ish (bazadan va ombordan).
  6. Sahifalash: vazifalar ro'yxati kursor bilan (?kursor=…&soni=100), "jamoa" tarifida 501-vazifa ham ko'rinishini tekshiradigan test.
  7. Audit jurnali: rol o'zgarishi, a'zo chiqarilishi, fayl o'chirilishi — audit jadvaliga (Audit log). Kanon jamoa da yo'q; bozor capstone'ida audit jadvali o'zgartirib bo'lmaydigan qilib quriladi.
Yechim namunasi: xat navbati (kanonda yo'q — yo'nalish)

Kanonda sinalgan yechim yo'q, shuning uchun bu yerda faqat yo'nalish va tekshiruv mezonlari:

Qadam Mezon (test)
xat_navbati (id, jamoa_id, shablon, malumot jsonb, holat, urinishlar, yaratilgan_vaqt) migratsiya — yangi NNN-*.sql
Billing.hodisa() va faktura() xatni shu jadvalga INSERT qiladi (o'sha c bilan) faktura bor ↔ xat qatori bor (bitta tranzaksiya)
ishchi har daqiqada SELECT … FOR UPDATE SKIP LOCKED LIMIT 10 ikki ishchi — har xat bir marta
yuborilsa — holat = 'yuborildi'; yiqilsa — urinishlar + 1, 5 dan keyin xato SMTP o'chiq — xat yo'qolmaydi, keyin yuboriladi

Bu 29-qismdagi outbox naqshining aynan o'zi. U yerda o'lchangan edi: outbox'siz 100 tadan 10 tasi yo'qoldi, outbox bilan — 0.

10. Real ishda

  • Har SaaS'da limitlar bor: foydalanuvchilar, loyihalar, saqlash hajmi. Poyga bilan limitni aylanib o'tish — bug bounty dasturlarida tez-tez topiladigan "biznes mantiq" xatosi.
  • Presigned yuklash — S3, R2, Google Cloud Storage'da standart usul. Intervyuda "katta fayl yuklashni qanday qilasiz?" savoliga kutilgan javob — shu, tekshiruv qadami bilan.
  • Optimistik qulf — Google Docs'dan tortib bank tizimlarigacha. REST'da ETag / If-Match, GraphQL'da version maydoni.
  • Fon ishlar — "har soat", "har kecha" ishlari har loyihada bor. Ikki marta bajarilgan hisob-faktura — mijoz shikoyatining eng tez yo'li.

Xulosa

  • Biznes qoidasi parallel so'rovda ham ishlasin: limit — tenant qatori (obunalar) qulfi ichida; 495 + 20 → 5 × 201, 15 × 409.
  • Optimistik qulf: versiya + If-Match → 412; "null" va "yo'q" alohida.
  • Fayl: presigned PUT (tur va hajm imzoda, 5 daqiqa) → tayyor da HeadObject tekshiruvi → yuklab olish 60 s, attachment.
  • Fon ish: BullMQ jadvali bitta, ishchi alohida jarayon, siklda SKIP LOCKED — har obuna bir marta.
  • Kanon ADR-0005 dan chetlashgan: xat navbati jarayon xotirasida — production'dan oldin outbox'ga o'tkaziladi.

Keyingi dars: SaaS capstone 3: obuna to'lovi va billing — tariflar, 14 kunlik sinov, hisob-faktura, Payme va Click, dunning va 402.

Manbalar

38-qism. Yakuniy loyihalar (capstone) · 3-dars yakunlandi

SaaS capstone 2: yadro funksiyalar, fon ishlar, fayllar — vazifalar, S3 presigned yuklash va BullMQ

24 daqvaqt
0belgi
Keyingi dars: SaaS capstone 3: obuna to'lovi va billing — tarif, sinov, hisob-faktura, Payme/Click va dunning
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0