Ma'lumotlar bazasini masshtablash yo'l xaritasi: qaysi qadam qachon
Qisqacha: Bazani masshtablashning o'nta usuli bor, lekin ular bir xil emas: ba'zilari bir kunlik ish va oson qaytariladi, ba'zilari butun ilovani qayta yozishni talab qiladi. To'g'ri tartib — arzon va qaytariladigan qadamdan qimmat va qaytarilmasiga: o'lchov, so'rov va indeks, ulanishlar hovuzi, vertikal, kesh, o'qish modeli, replika, partitioning, sharding. Kurs tajribasida replika bo'sh paytda yozilgan qatorni 200 tadan 199 tasida darhol ko'rsatmadi. Primary'da 2 mln qatorli INSERT paytida esa ~568 MB va ~39 soniya orqada qoldi. Replika — bepul o'qish quvvati emas, eskirgan ma'lumot bilan to'lanadigan narx.
Bu darsda
- Bazani masshtablash qadamlarini narx va qaytarilish bo'yicha tartiblaysiz.
- Har qadam uchun "qachon kerak" signalini — qaysi metrika nima deyishini bilasiz.
- Replika lagini xom o'lchovdan o'qiysiz va uni formula bilan oldindan baholaysiz.
- Katta yozuv nega replikani o'nlab soniya orqada qoldirishini tushuntirasiz.
vazifalar-apiuchun bugun qaysi qadam kerak, qaysi biri kerak emasligini asoslaysiz.
Oldin bilishingiz kerak: Masshtablash: vertikal, gorizontal va stateless, Replikatsiya va read replica'lar, Partitioning, Sharding va taqsimlangan SQL, Connection pooling, Sekin so'rovlarni topish.
1. Nega bu kerak?
Oldingi darslarda API stateless bo'ldi va nusxalari ko'paydi. Endi tor joy pastga — bazaga — tushadi. Hamma API nusxasi bitta Postgres'ga boradi, uni esa ko'paytirish oson emas.
Siz bazani masshtablash vositalarining deyarli hammasini alohida o'rgangansiz. Replikatsiya va read replica'lar, Partitioning, Sharding va taqsimlangan SQL, PgBouncer, CDC — har birining o'z darsi va o'z o'lchovi bor. Lekin ular orasidagi savolga hali javob bermadik: qaysi birini qachon?
Bu savol muhim, chunki xato tartib qimmatga tushadi. Sekin so'rovni tuzatish o'rniga sharding qilgan jamoa bir yil ichida o'zi yaratgan murakkablik bilan kurashadi. Indeks qo'shishning o'zi yetarli edi. Bu dars — yo'l xaritasi: signal, qadam, narx.
Yana bir sabab bor. Bazadagi qarorlar API'dagidan ko'ra uzoqroq yashaydi. API nusxasini bir daqiqada o'chirib, boshqasini qo'yish mumkin. Ma'lumot esa yillar davomida yig'iladi va har sxema qarori shu yillar bilan birga ko'chadi. Shuning uchun bazani masshtablashda "keyin tuzatamiz" degan gap ayniqsa qimmat. Arzon va qaytariladigan qadamdan boshlash — ehtiyotkorlik emas, oddiy hisob: xato qilsangiz, uni tuzatish ham arzon bo'ladi.
2. Yo'l xaritasi
2.1 Tartib
Diagrammani yuqoridan pastga o'qing. Har savol — o'lchov bilan javob beriladigan signal. Pastga tushgan sari qadam qimmatlashadi va qaytarish qiyinlashadi.
flowchart TD
O["o'lchov: pg_stat_statements"] --> S{"sekin so'rovlar?"}
S -->|ha| I["so'rov va indeks"]
S -->|yo'q| U{"ulanishlar tugayapti?"}
U -->|ha| P["hovuz, PgBouncer"]
U -->|yo'q| C{"CPU yoki xotira to'lgan?"}
C -->|ha| V["vertikal, keyin kesh"]
C -->|yo'q| R{"o'qish ko'p, eskirishga chidaydi?"}
R -->|ha| RE["o'qish modeli yoki replika"]
R -->|yo'q| J{"jadval ulkan, eski qismi keraksiz?"}
J -->|ha| PA["partitioning"]
J -->|yo'q| SH["yozish sig'maydi: sharding"]Bu diagramma qoida emas, savollar tartibi. Real hayotda bir nechta signal birga keladi. Lekin tartib baribir to'g'ri: avval arzon savol.
2.2 Narx va qaytarilish
| Qadam | Signal | Narxi | Qaytarib bo'ladimi |
|---|---|---|---|
| so'rov, indeks | pg_stat_statements da og'ir so'rov |
soatlar | ha, bitta migratsiya |
| hovuz, PgBouncer | too many clients, ulanish kutish |
kun | ha |
| vertikal | CPU, xotira, disk navbati | pul | ha |
| kesh | qimmat va takroriy o'qish | kod + eskirish | ha |
| o'qish modeli | og'ir agregat, hisobot | yangilash jarayoni | o'rtacha |
| replika | o'qish ko'p, CPU to'lgan | server + lag | ha, lekin kod yo'naltirishni biladi |
| partitioning | ulkan jadval, eski qism o'chiriladi | sxema cheklovlari | qiyin |
| sharding | bitta server yozishni ko'tarmaydi | butun ilova | deyarli yo'q |
Oxirgi ustunga diqqat qiling. Sharding — "bir tomonlama eshik": kirish oson ko'rinadi, chiqish deyarli mumkin emas. Shuning uchun u oxirida.
Tekshirib ko'ring: Bazada CPU 90 %.
pg_stat_statementsda bitta so'rov umumiy vaqtning 70 % ini oladi — u har sahifa ochilganda butunvazifalarjadvalini hisoblaydi. Jamoa "replika qo'shamiz" deyapti. Siz nima taklif qilasiz?
Javob
Avval shu bitta so'rovni. U umumiy vaqtning 70 % ini olayotgan bo'lsa, uni tuzatish CPU'ni keskin tushiradi. Masalan, indeks, WHERE bilan toraytirish yoki natijani materialized view'da saqlash. Replika esa muammoni yashiradi: og'ir so'rov endi replikada CPU yeydi, primary'da esa yozuvlar bilan raqobatlashadi. Qolaversa, replikadan o'qilgan natija biroz eskirgan bo'ladi — ilova buni bilishi kerak. Bitta so'rovni tuzatish — bir soatlik ish va oson qaytariladi.
3. Qadamlar bitta-bitta
3.1 O'lchov, so'rov, indeks
Birinchi qadam har doim o'lchov. pg_stat_statements qaysi so'rov umumiy vaqtning qancha qismini olishini ko'rsatadi (Sekin so'rovlarni topish). Ko'p loyihada bitta-ikkita so'rov yukning yarmini beradi. Indeks, EXPLAIN ANALYZE va N+1 tuzatish — eng katta foyda va eng kichik narx.
Kanonda bunga misol bor: vazifa hodisalari jadvalida vaqt bo'yicha BRIN indeksi. U vaqt tartibida yoziladigan katta jadval uchun bir necha sahifalik kichik indeks — B-tree'dan ancha ixcham.
3.2 Ulanishlar
Postgres har ulanishga alohida jarayon ochadi. Connection pooling darsidagi kanon o'lchovi: yangi ulanish 12.7 ms, hovuzdan — 1.1 ms. Sukut bo'yicha max_connections — 100, shundan bir nechtasi administrator uchun ajratilgan; chegaradan keyingi ulanish rad etiladi. Oldingi darsda hisoblaganimizdek, har API nusxasi o'z hovuzini ochadi. O'nta nusxa — chegara. Signal: too many clients xatosi yoki ilovada "ulanish kutish" vaqtining o'sishi. Yechim — PgBouncer: ko'p ilova ulanishini oz baza ulanishiga yig'adi.
3.3 Vertikal va kesh
Baza — vertikal masshtabning eng yaxshi nomzodi. Postgres ko'p yadroni va katta xotirani o'zi ishlatadi, kod o'zgarmaydi. Xotira oshsa, Kesh qatlamlari darsidagi shared_buffers va OS keshi kattalashadi va disk o'qishlari kamayadi. Ko'p loyihada bitta yaxshi server yillar davomida yetadi.
Kesh esa bazadan yukni olib tashlaydi, lekin faqat qimmat va takroriy o'qishlarda. Kesh darsidagi formulani eslang: yengil so'rovda kesh foyda bermaydi.
3.4 O'qish modeli
Ba'zi o'qishlar og'ir, lekin eskirishga chidaydi: statistika, hisobot, "eng faol foydalanuvchilar". Ularni har safar xom jadvaldan hisoblash o'rniga natija oldindan saqlanadi. Kanondagi misol — foydalanuvchi statistikasi uchun materialized view (View va materialized view). Fon ishida REFRESH … CONCURRENTLY bilan yangilanadi va yangilangan ustuni eskirganini ochiq ko'rsatadi.
Bu CQRS g'oyasining o'zi — yozish va o'qish modeli alohida. Kurs tajribasida "TOP 10 balans" so'rovi voqealardan hisoblanganda p50 149 ms, proyeksiyadan 2.3 ms bo'lgan. Narxi — yangilash jarayoni va eskirish. Lekin u alohida server talab qilmaydi.
3.5 Denormalizatsiya
Denormalizatsiya — bir ma'lumotni ataylab ikki joyda saqlash, toki o'qishda JOIN yoki COUNT kerak bo'lmasin. Kanonda juft misol bor. vazifalar jadvalidagi izohlar_soni ustuni — counter cache: ro'yxatda har vazifa uchun izohlarni sanamaslik uchun trigger uni yangilab turadi. Migratsiya izohida narxi ham yozilgan: har izoh yozuvi vazifa qatorini ham yangilaydi, ya'ni qo'shimcha qulf.
Yordam bergan joy — ro'yxat sahifasi, u eng ko'p o'qiladi. Ongli qabul qilingan narx — mashhur vazifaga ko'p odam bir vaqtda izoh yozsa, ular bitta qator uchun navbatga turadi. Bu "issiq qator" muammosi. vazifalar da bitta vazifaga izohlar kam, shuning uchun narx kichik. Ijtimoiy tarmoqdagi "layk" hisoblagichi uchun esa bunday yechim yaramaydi — u yerda hisoblagich alohida, bo'laklab yig'iladi.
3.6 Replika, partitioning, CDC, sharding
Replika — o'qishni boshqa serverga ko'chiradi. U haqida keyingi bo'limda batafsil — chunki uning narxini kurs tajribasi yangi tomondan ko'rsatdi.
Partitioning — o'qishni tezlashtirish uchun emas, katta jadvalni boshqarish uchun. Partitioning darsidagi kanon o'lchovi: bir oylik ma'lumotni DELETE 442.8 ms da, bo'limni DETACH + DROP esa 26.4 ms da o'chirdi. Signal — jadval ulkan va uning eski qismi muntazam o'chiriladi.
CDC (change data capture) — o'zgarishlarni WAL'dan oqim sifatida olish (CDC). U qidiruv indeksi, analitika ombori yoki kesh kabi boshqa tizimlarni bazaga yuk qo'shmasdan yangilaydi. Ya'ni CDC o'qish yukini bazadan butunlay boshqa tizimga ko'chiradi.
Tekshirib ko'ring:
vazifa_hodisalarijadvali oyma-oy bo'limlangan. Hamkasbingizvazifalarjadvalini hamegasi_idbo'yicha HASH bilan 16 bo'limga bo'lishni taklif qilyapti: "so'rovlar tezlashadi". Nima deysiz?
Javob
Avval savol: vazifalar da qanday muammo bor? Hodisalar jadvali tez o'sadi va eski oylari o'chiriladi — partitioning aynan shu uchun. vazifalar da esa eski qism o'chirilmaydi va jadval kichik. Egasi bo'yicha so'rovlar allaqachon indeks bilan tez. HASH bo'limlar narxini qo'shadi: noyob cheklovlar bo'lim kalitini o'z ichiga olishi kerak, kalitsiz so'rovlar hamma bo'limga boradi. Signal yo'q — qadam ham kerak emas.
Sharding — oxirgi chora: yozish yoki hajm bitta serverga sig'maydi. Sharding va taqsimlangan SQL darsining xulosasi bugun ham to'g'ri: vazifalar uchun sharding hozircha kerak emas.
4. Replika: o'lchov yangi narxni ko'rsatdi
4.1 Tajriba
Kurs tajribasida lokal Postgres 18.6 ga streaming replika qo'shildi (pg_basebackup -R, asinxron). 689 MB'lik bazadan replika 66 soniyada tayyor bo'ldi. Ikki o'lchov o'tkazildi.
Birinchisi — bo'sh primary. 200 ta yakka INSERT, har biridan keyin replikadan darhol o'qish. Natijada topilmadi soniga va "ko'rinish kechikishi" ga qarang — ikkinchisi qator replikada necha millisekunddan keyin paydo bo'lganini ko'rsatadi:
(1) bo'sh primary: n=200, COMMIT'dan keyin DARHOL o'qishda
topilmadi: 199/200; ko'rinish kechikishi p50 11.25 ms,
p99 23.53 ms, max 25.29 msUzun qator uch qatorga bo'lindi. Nima bo'ldi? 200 tadan 199 tasida birinchi o'qish qatorni topmadi. Replikatsiya va read replica'lar darsidagi o'lchov ham shunday edi: 300 dan 298. Bu yangilik emas — bu replikaning tabiati.
Ikkinchisi yangi. Primary'da fonda 2 mln qatorli bitta INSERT boshlandi (har qatorda 200 belgilik matn). Shu paytda yana 100 ta yakka INSERT yozilib, replikadan kutildi. Har soniyada pg_stat_replication dan replika qancha orqada ekani yozib borildi.
4.2 Natija
Replika qancha bayt orqada qolgani, soniyalar bo'yicha:
| o'lchov | replay orqada |
|---|---|
| 1 | 54,5 |
| 8 | 568,5 |
| 15 | 476,7 |
| 22 | 377,5 |
| 29 | 275,5 |
| 36 | 175,8 |
| 43 | 72,1 |
| 47 | 13 |
| 48 | 0 |
Manba: Kurs tajribasi (IlmHamroh, 2026-11-09): PostgreSQL 18.6 (pgvector:pg18), asinxron streaming replika, bitta mashinadagi ikki Docker konteyneri; pg_stat_replication har ~1 s; xom qatorlardan tanlangan nuqtalar
Sakkiz soniyada replika 568.5 MB orqada qoldi. Keyin u soniyasiga o'rtacha 14.2 MB dan yetib ola boshladi va qirqinchi soniyalarda yetib oldi. Shu paytda replay_lag — replika qancha vaqt orqada — eng ko'pi bilan 39.4 soniyaga yetdi.
100 ta yakka INSERT'dan birinchisi replikada 38.9 soniyadan keyin ko'rindi. Replikaga yozishga urinish esa rad etildi: cannot execute INSERT in a read-only transaction.
4.3 Natijani halol o'qish
Birinchi: "100 ta INSERT'ning p99 i 38.9 s" degan yozuv chalg'itadi. 100 ta o'lchovda p99 — eng yomon qiymatning o'zi. Haqiqatda bitta INSERT 38.9 s kutdi, p50 esa 10.7 ms. Sabab — o'lchov ketma-ket: birinchi INSERT ko'ringuncha keyingisi yozilmadi. U ko'ringanda replika allaqachon yetib olgan edi, qolgan 99 tasi tez ko'rindi.
Ikkinchi: nega kichik INSERT 39 soniya kutdi? WAL — bitta navbat. Replika uni yozilgan tartibda qo'llaydi. Kichik INSERT'ning COMMIT yozuvi katta INSERT'ning yuzlab megabaytlik WAL'i ortida turibdi. Replika ularni o'tkazib yuborolmaydi. Bu — navbat boshidagi tiqilish (head-of-line blocking): bitta katta ish ortidagi hamma kichik ish kutadi.
Uchinchi: tezliklar. Primary WAL'ni soniyasiga ~88 MB dan yozdi, replika ~14 MB dan qo'lladi. Fizik replikatsiyada WAL'ni replikada bitta jarayon qo'llaydi. Qolaversa, ikkala konteyner bitta mashinada, bitta diskda edi — ular bir-biriga xalaqit bergan. Haqiqiy serverlarda nisbat boshqacha bo'ladi. Lekin yo'nalish o'zgarmaydi: katta yozuv — katta lag.
To'rtinchi — o'z xatoimiz. O'lchov skriptida write_lag maydonining faqat millisekund qismi chiqarilgan, soniyalari tushib qolgan. Shuning uchun darsda faqat replay_lag va baytlar ishlatildi.
4.4 Sinxron replikatsiya — lagning narxini yozishga ko'chirish
Lagdan butunlay qutulish mumkinmi? Ha — sinxron replikatsiya bilan. Primary COMMIT'ni faqat replika WAL'ni qabul qilgandan (yoki hatto qo'llagandan) keyin tasdiqlaydi. Postgres'da bu synchronous_standby_names va synchronous_commit sozlamalari bilan yoqiladi. remote_apply darajasida COMMIT sinxron replika yozuvni qo'llaganini kutadi. Shuning uchun aynan o'sha sinxron replikadan o'qilgan ma'lumot yangi bo'ladi; asinxron qolgan boshqa replikalarda esa lag saqlanadi.
Narxi — har yozuv sekinlashadi, chunki endi u tarmoq va replika tezligini kutadi. Yuqori mavjudlik va falokatdan tiklash darsidagi kanon o'lchovida sinxron rejim har commit'ni taxminan 35 % sekinlashtirgan. Yana bir xavf: replika yiqilsa, primary yozishni to'xtatadi, chunki tasdiqlovchi yo'q. Ya'ni sinxron replika bilan ishonchlilik uchun ikkita replika kerak bo'ladi.
Bu — taqsimlangan tizimlarning asosiy murosali tanlovi kichik shaklda: tezlik yoki izchillik. Keyingi darsda uni umumiy ko'rinishda — izchillik modellari va quorum orqali — ko'ramiz.
Tekshirib ko'ring: Bo'sh primary'da, hech qanday yuk yo'q paytda ham 200 tadan 199 ta yozuv replikada darhol topilmadi. Lag 11 ms atrofida edi. Nega bo'sh tizimda ham shunday?
Javob
COMMIT primary'da tugashi bilan ilova javob oladi va darhol replikaga so'rov yuboradi. Bu vaqtda WAL hali tarmoq orqali replikaga yetib borishi, diskka yozilishi va qo'llanishi kerak. Bu bosqichlar millisekundlar oladi, ilovaning keyingi so'rovi esa undan tezroq. Asinxron replikatsiya ta'rifi bo'yicha COMMIT replikani kutmaydi. Shuning uchun "yozdim — darhol replikadan o'qidim" deyarli har doim eski ma'lumot beradi. Bu xato emas, kelishuv. O'lchovdagi 11 ms — yuqori chegara: skript replikani har 1 ms taymer bilan qayta so'raydi, taymer va so'rovning o'zi ham vaqt oladi.
4.5 Lagni oldindan hisoblash
Lagni formula bilan baholash mumkin. Primary WAL'ni g MB/s dan yozsa, replika r MB/s dan qo'llasa va yuk T soniya davom etsa: cho'qqi = (g − r) × T, yetib olish = cho'qqi / r. Yuk oxirida yozilgan qator taxminan shuncha kutadi.
Raqamlar kurs o'lchovidan: sof o'sish 73.4 MB/s, qo'llash 14.2 MB/s, ya'ni g ≈ 87.6. Yuk taxminan 8 soniya.
Keling, avval qo'lda bir marta hisoblaymiz. Har soniyada primary 87.6 MB yozadi, replika 14.2 MB qo'llaydi — farq 73.4 MB. Sakkiz soniyada 73.4 × 8 ≈ 587 MB yig'iladi. Replika uni 14.2 MB/s dan qo'llasa, 587 / 14.2 ≈ 41 soniya kerak. Kod xuddi shu hisobni uch holat uchun qiladi. Chiqishda har holatning cho'qqisi va kechikishiga qarang.
// g — primary WAL yozish, r — replika qo'llash (MB/s), T — yuk (s)
function lag(g, r, T) {
if (g <= r) return { choqqi: 0, kechikish: 0 };
const choqqi = (g - r) * T;
return { choqqi, kechikish: choqqi / r };
}
const hajm = 87.6 * 8; // MB, bitta katta INSERT'ning WAL'i
const holatlar = [
["kurs tajribasi: birdan", 87.6, 14.2, 8],
["replika ikki baravar tez", 87.6, 28.4, 8],
["bo'laklab, 12 MB/s", 12, 14.2, hajm / 12],
];
for (const [nom, g, r, T] of holatlar) {
const n = lag(g, r, T);
const c = n.choqqi.toFixed(1);
const k = n.kechikish.toFixed(1);
console.log(`${nom}: cho'qqi ${c} MB, kechikish ${k} s`);
}
console.log(`bo'laklab yozish vaqti: ${(hajm / 12).toFixed(1)} s`);Konsolda:
kurs tajribasi: birdan: cho'qqi 587.2 MB, kechikish 41.4 s
replika ikki baravar tez: cho'qqi 473.6 MB, kechikish 16.7 s
bo'laklab, 12 MB/s: cho'qqi 0.0 MB, kechikish 0.0 s
bo'laklab yozish vaqti: 58.4 sNima bo'ldi? Formula o'lchovga yaqin: 587 MB va 568.5 MB, 41.4 s va 39.4 s. Farq — tezliklar o'rtacha va 1-nuqta yuk boshlanganidan ~1 s keyin olingan. Model aniq bashorat emas, tartibni beradi.
Uchinchi qatorga qarang. Xuddi shu 700 MB'ni replika tezligidan sekinroq, bo'laklab yozsak, lag deyarli nolda qoladi. Import 8 o'rniga 58 soniya davom etadi — lekin replikadan o'qiyotgan foydalanuvchilar eskirgan ma'lumot ko'rmaydi. Bu murosali tanlov: katta import tezligi yoki replika yangiligi.
Diqqat: Katta migratsiya, ommaviy
UPDATEyoki import replika bilan ishlaydigan tizimda alohida reja talab qiladi. Uni bo'laklarga bo'ling va lagni kuzating (pg_stat_replication). Aks holda replikadan o'qiydigan sahifalar o'nlab soniya eski ma'lumot ko'rsatadi — hech qanday xato xabarisiz.
5. Replikani ilova qanday ishlatadi
Replika qo'shish faqat server ishi emas. Ilova har o'qish uchun tanlaydi — primary yoki replika. Bu tanlovning uch yechimi Replikatsiya va read replica'lar darsida bor. Yozgan foydalanuvchini bir muddat primary'dan o'qitish, LSN bo'yicha kutish va sinxron replikatsiya.
vazifalar-api misolida o'qishlarni guruhlaymiz:
| O'qish | Replikaga bo'ladimi | Nega |
|---|---|---|
| vazifa yaratilgandan keyin ro'yxat | yo'q | foydalanuvchi o'z yozuvini kutadi |
| statistika sahifasi | ha | allaqachon materialized view, eskirgan |
| eksport (CSV) | ha, ogohlantirish bilan | uzoq so'rov primary'ni band qilmasin |
| auth, sessiya | yo'q | eskirgan sessiya — xavfsizlik muammosi |
Ko'rib turganingizdek, replikaga xavfsiz ketadigan o'qishlar kam va ular allaqachon og'ir emas. Shuning uchun kichik loyihada replika o'qish quvvati uchun emas, boshqa narsa uchun qo'yiladi. U primary yiqilsa o'rnini egallaydi (Yuqori mavjudlik va falokatdan tiklash). Bu ham to'g'ri sabab — faqat uni aniq ayting.
5.1 Har replika — yangi operatsion ish
Replikaning narxi faqat lag emas. U alohida server, alohida kuzatuv va alohida xato turlari. Replikatsiya sloti uzoq vaqt o'chiq replika uchun primary'da WAL'ni ushlab turadi va diskni to'ldirishi mumkin. Replikadagi uzoq so'rov qo'llanayotgan WAL bilan to'qnashib bekor qilinishi mumkin. Primary yangilanganda replika ham bir xil versiyaga yangilanishi kerak. Bularning har biri oldingi darslarda alohida uchragan — bu yerda ular bitta ro'yxatga yig'iladi: replika qo'shish = bitta qo'shimcha tizimni boshqarish.
Kichik jamoa uchun bu ish odatda managed bazaga topshiriladi (Managed va serverless Postgres). Provayder replikani bir tugma bilan beradi va slotlar, yangilanishlar bilan o'zi shug'ullanadi. Lekin ilova tomonidagi savol — qaysi o'qish qayerga — baribir sizda qoladi. Uni hech qaysi provayder siz uchun hal qilmaydi.
5.2 Bir tomonlama va ikki tomonlama eshik
Yo'l xaritasidagi tartibning chuqur sababi — qarorlarning ikki turi. Ba'zi qarorlar ikki tomonlama eshikka o'xshaydi: kirdingiz, yoqmadi — qaytib chiqasiz. Indeks qo'shish, hovuz hajmi, vertikal o'sish, kesh — shunday. Ularni tez qabul qilish va o'lchov bilan tekshirish mumkin.
Boshqalari bir tomonlama eshik: kirgandan keyin qaytish juda qimmat. Sharding, ma'lumot modelini bo'lish, alohida bazalarga ajratish — shunday. Ularni sekin, hujjat bilan va muqobillarni solishtirib qabul qilish kerak. Shuning uchun ular uchun Arxitektura qarorlari: ADR va C4 darsidagi ADR yoziladi, indeks uchun esa yo'q. Bu farqni bilish arxitektorning eng foydali odatlaridan biri.
6. Loyiha qadami
Bu darsda vazifalar-api kodi o'zgarmaydi. Yo'l xaritasi bo'yicha bugungi holat:
| Qadam | vazifalar-api da |
Qaror |
|---|---|---|
| so'rov, indeks | indekslar, BRIN, keyset sahifalash | qilingan |
| hovuz | PG_POOL_MAX, statement timeout |
qilingan |
| kesh | ixtiyoriy KeshliOmbor |
qilingan, o'lchov bilan |
| o'qish modeli | statistika materialized view | qilingan |
| partitioning | vazifa hodisalari oyma-oy | qilingan |
| replika | yo'q | kerak emas: yuk kichik, lag narxi bor |
| sharding | yo'q | kerak emas |
Ko'rinib turibdiki, arzon qadamlar allaqachon kurs davomida qo'yilgan. Keyingi tabiiy qadam — vertikal o'sish va HA uchun replika, o'qish quvvati uchun emas.
O'z loyihangizda shu jadvalni to'ldiring va docs/ARXITEKTURA.md ga qo'shing. Har qatorga signal qo'shing: "replika — agar primary CPU 70 % dan uzoq vaqt oshsa va og'ir o'qishlar eskirishga chidasa". Shunda keyingi qaror his bilan emas, metrika bilan qabul qilinadi.
Lag tajribasini o'z kompyuteringizda takrorlash mumkin: ikkinchi Postgres konteyneri, pg_basebackup -R va kichik Node skript. Xom chiqishni tahlil qiluvchi skript mashq papkasining olchov/ qismida. Tajribadan keyin replika konteynerini va replikatsiya slotini albatta o'chiring — aks holda primary WAL'ni ushlab turaveradi.
7. Ko'p uchraydigan xatolar
7.1 O'lchamasdan replika qo'shish
Replika sekin so'rovni tezlashtirmaydi — uni boshqa serverga ko'chiradi. Avval pg_stat_statements.
7.2 Replikani "bepul" deb bilish
Har replikadan o'qish — eskirgan bo'lishi mumkin bo'lgan o'qish. Kurs tajribasida bo'sh paytda ham 199/200 darhol topilmadi.
7.3 Katta importni birdan yurgizish
Bitta katta tranzaksiya replikani o'nlab soniya orqada qoldiradi. Bo'laklab, replika tezligidan sekinroq yozing.
7.4 Erta sharding
Sharding — bir tomonlama eshik. Undan oldingi hamma qadam tugamaguncha unga kirmang.
7.5 Partitioning'ni tezlik vositasi deb bilish
Partitioning bo'lim kalitisiz so'rovni tezlashtirmaydi, hatto sekinlashtirishi mumkin. Uning asosiy foydasi — eski ma'lumotni arzon o'chirish.
7.6 Lagni kuzatmaslik
Replika jim orqada qoladi — xato chiqmaydi. pg_stat_replication dagi replay_lag ni metrika qiling va chegaradan oshsa alert qo'ying (Uptime monitoring va alerting). Aks holda eskirgan ma'lumotdan foydalanuvchi shikoyati bilan xabar topasiz.
7.7 p99 ni kichik tanlovda o'qish
100 ta o'lchovda p99 — bitta eng yomon qiymat. U "1 % holatda" emas, "bitta holatda" degani. Kichik tanlovda maksimum va p50 ni alohida yozing.
8. Mashqlar
Mashqlar kurs/mashqlar/36/27-db-masshtablash/ da. 2- va 3-mashq yechimlari Node 24.21.0 da tekshirilgan (biz ishga tushirdik). Xom fayldan tahlil skripti — olchov/ papkasida.
1-mashq (oson): bo'shliqlarni to'ldiring
- Replika primary'dan qancha orqada ekani — replikatsiya
- Ko'p ilova ulanishini oz baza ulanishiga yig'adigan vosita —
- Katta jadvalni bo'limlarga bo'lish —
- WAL'dan o'zgarishlarni oqim sifatida olish —
- Bitta katta ish ortida kichiklar kutishi — navbat boshidagi
Yechim
- lagi — kurs tajribasida bo'sh paytda p50 11.25 ms, katta INSERT paytida ~39 s.
- PgBouncer — signal:
too many clients. - partitioning — asosiy foyda:
DETACH+DROP. - CDC — o'qishni boshqa tizimga ko'chiradi.
- tiqilish — head-of-line blocking; WAL bitta navbat.
2-mashq (o'rta): lag qatorlarini tahlil qilish
Kurs tajribasining xom chiqishidagi pg_stat_replication qatorlaridan "orqada" baytlari olindi. Jami 49 nuqta (har ~1 s), massivda — har to'rtinchisi va oxirgilari. tahlil(baytlar) funksiyasini yozing: cho'qqi qiymati (MB) va uning indeksi, cho'qqidan keyin nolga tushguncha o'rtacha kamayish tezligi (MB/nuqta).
Ishora: cho'qqi — Math.max(...), indeks — indexOf. Kamayish — (cho'qqi − oxirgi) / (nuqtalar orasidagi masofa).
Yechim
// har ~4 s dagi nuqta (bayt), xomdan
const baytlar = [
54526104, 323453104, 557199272, 503598536, 449727912,
391532176, 332287400, 275533240, 216681968, 159786952,
100814480, 42749312, 184, 0,
];
const qadam = [0, 4, 8, 12, 16, 20, 24, 28, 32, 36, 40, 44, 47, 48];
function tahlil(b, q) {
const choqqi = Math.max(...b);
const i = b.indexOf(choqqi);
const nol = b.findIndex((x, j) => j > i && x < 1000);
const tezlik = (choqqi - b[nol]) / (q[nol] - q[i]);
return { choqqi, i, nol, tezlik };
}
const t = tahlil(baytlar, qadam);
const mb = (x) => (x / 1e6).toFixed(1);
console.log(`cho'qqi: ${mb(t.choqqi)} MB, ${qadam[t.i] + 1}-nuqtada`);
console.log(`nol: ${qadam[t.nol] + 1}-nuqtada`);
console.log(`o'rtacha kamayish: ${mb(t.tezlik)} MB/nuqta`);Konsolda:
cho'qqi: 557.2 MB, 9-nuqtada
nol: 48-nuqtada
o'rtacha kamayish: 14.3 MB/nuqtaNatija to'liq xom ma'lumotdagidan biroz farq qiladi: haqiqiy cho'qqi 568.5 MB 8-nuqtada edi, bu siyrak tanlovga tushmadi. Tezlik esa deyarli bir xil — 14.3 va 14.2 MB/s. Siyrak nuqtalar cho'qqini "kesib" yuboradi, lekin yo'nalishni saqlaydi. Grafik chizishda ham shu: nuqtalar kamaysa, eng muhim qiymat tushib qolishi mumkin.
3-mashq (qiyin): keyingi qadam
keyingiQadam(m) funksiyasini yozing. Kirish — metrikalar: ogirUlush (eng og'ir so'rovning umumiy vaqtdagi ulushi), ulanishXatosi (true/false), cpu (foiz), oqishUlushi (o'qishlar ulushi), eskirishMumkin (true/false), jadvalGB, eskiOchiriladi (true/false). Yo'l xaritasidagi tartib bo'yicha birinchi mos qadamni qaytaring:
ogirUlush >= 0.3→"so'rov va indeks"ulanishXatosi→"PgBouncer"cpu >= 80vaoqishUlushi >= 0.8vaeskirishMumkin→"replika yoki o'qish modeli"cpu >= 80→"vertikal"jadvalGB >= 100vaeskiOchiriladi→"partitioning"- aks holda →
"hozircha hech narsa"
Ishora: shartlarni [shart, natija] juftlari massiviga yozing va find bilan birinchisini oling.
Yechim
function keyingiQadam(m) {
const qoidalar = [
[m.ogirUlush >= 0.3, "so'rov va indeks"],
[m.ulanishXatosi, "PgBouncer"],
[m.cpu >= 80 && m.oqishUlushi >= 0.8 && m.eskirishMumkin,
"replika yoki o'qish modeli"],
[m.cpu >= 80, "vertikal"],
[m.jadvalGB >= 100 && m.eskiOchiriladi, "partitioning"],
];
const mos = qoidalar.find(([shart]) => shart);
return mos?.[1] ?? "hozircha hech narsa";
}
const asos = {
ogirUlush: 0.1, ulanishXatosi: false, cpu: 40, oqishUlushi: 0.9,
eskirishMumkin: false, jadvalGB: 5, eskiOchiriladi: false,
};
const holatlar = [
["bitta og'ir so'rov", { ogirUlush: 0.7, cpu: 90 }],
["ulanish xatolari", { ulanishXatosi: true }],
["CPU to'la, o'qish eskirsa bo'ladi",
{ cpu: 85, eskirishMumkin: true }],
["CPU to'la, o'qish yangi bo'lishi shart", { cpu: 85 }],
["300 GB hodisalar", { jadvalGB: 300, eskiOchiriladi: true }],
["vazifalar-api bugun", {}],
];
for (const [nom, o] of holatlar) {
console.log(`${nom} → ${keyingiQadam({ ...asos, ...o })}`);
}Konsolda:
bitta og'ir so'rov → so'rov va indeks
ulanish xatolari → PgBouncer
CPU to'la, o'qish eskirsa bo'ladi → replika yoki o'qish modeli
CPU to'la, o'qish yangi bo'lishi shart → vertikal
300 GB hodisalar → partitioning
vazifalar-api bugun → hozircha hech narsaBirinchi holatda CPU ham 90 %, lekin javob — so'rov. Tartib aynan shuning uchun: arzon sabab topilsa, qimmat qadamga hojat qolmaydi. Chegaralar (0.3, 80 %, 100 GB) — mashq uchun tanlangan, universal qoida emas. Haqiqiy loyihada ularni o'z metrikalaringiz va SLO bilan belgilaysiz.
9. Real ishda
- Ko'p kompaniyalar bitta katta Postgres primary va bir nechta replika bilan juda katta yukni ko'taradi. Sharding'ga yetib borganlar kam va ular buni yillab rejalashtiradi.
- Managed bazalar replika, PITR va vertikal o'sishni bir tugma bilan beradi (Managed va serverless Postgres). Lag va eskirish esa baribir sizning muammoingiz bo'lib qoladi.
- Katta migratsiyalar replikali tizimda ko'pincha "bo'laklab, lagni kuzatib" bajariladi: skript lag chegaradan oshsa to'xtaydi va kutadi.
- Arxiv ham masshtab qadami. Eng arzon ma'lumot — bazada yo'q ma'lumot. Eski yozuvlarni arxivga yoki obyekt omboriga ko'chirish issiq qismni kichraytiradi va xotiraga sig'diradi. Ko'pincha bu partitioning bilan birga qilinadi: eski bo'lim eksport qilinadi va o'chiriladi.
- Intervyu savoli: "Bazangiz sekinlashdi — nima qilasiz?" Kuchli javob tartib bilan boshlanadi: o'lchov, so'rov, ulanishlar, vertikal, kesh; replika va sharding — signal va narxi bilan.
Xulosa
- Bazani masshtablash tartibi: o'lchov → so'rov va indeks → hovuz → vertikal → kesh → o'qish modeli → replika → partitioning → sharding.
- Tartib narx va qaytarilish bo'yicha: sharding — bir tomonlama eshik, u oxirida.
- Replika bo'sh paytda ham 200 tadan 199 tasida yozuvni darhol ko'rsatmadi; 2 mln qatorli INSERT paytida ~568 MB va ~39 s orqada qoldi.
- WAL — bitta navbat: kichik yozuv katta yozuv ortida kutadi; lag formulasi
(g − r) × T / ro'lchovga yaqin chiqdi. vazifalar-apida arzon qadamlar allaqachon qilingan; replika kerak bo'lsa — avvalo HA uchun.
Keyingi dars: Taqsimlangan tizimlar: 8 fallacies, consistency modellari va quorum — replika lagi bitta misol edi; endi "tarmoq ishonchli" kabi sakkizta yolg'on ishonchni va izchillik modellarini ko'ramiz.
Manbalar
- PostgreSQL 18 — Monitoring:
pg_stat_replication: https://www.postgresql.org/docs/18/monitoring-stats.html (tekshirildi, 2026-11) - PostgreSQL 18 — High Availability, Load Balancing, and Replication: https://www.postgresql.org/docs/18/high-availability.html (tekshirildi, 2026-11)
- PostgreSQL 18 —
pg_stat_statements: https://www.postgresql.org/docs/18/pgstatstatements.html (tekshirildi, 2026-11) - Kurs tajribasi (IlmHamroh, 2026-11): PostgreSQL 18.6 asinxron streaming replika (
pg_basebackup -R, 689 MB, 66 s). O'lchovlar: 200 yakka INSERT, 2 mln qatorli INSERT paytidagi lag,pg_stat_replicationhar ~1 s. Cho'qqi va tezliklar — xom qatorlardan bizning hisob (Node 24.21.0, 2026-11-09).
Izohlar · 0
Izoh yozish uchun kiring.