29.7-dars: Baza miqyosi — replikatsiya va sharding
29-QISM — MIQYOS VA UNUMDORLIK · 7-dars
1. Kirish va motivatsiya
Dastur serverlarini gorizontal miqyoslash oson (29.6 — ko'p server, holatsiz). Lekin ma'lumotlar bazasi — boshqa masala. Baza holatli (ma'lumot saqlaydi) — uni oddiy ko'paytirib bo'lmaydi (har nusxada boshqa ma'lumot bo'lsa — chalkashlik). Ko'p dastur serverlari bitta bazaga so'rov yuboradi — baza to'siq (bottleneck) bo'ladi: butun tizim shu bir bazaga bog'liq. Baza yuklansa — hamma sekinlashadi. Baza miqyosi buni hal qiladi, lekin o'ziga xos qiyinchiliklar bilan: replikatsiya (nusxalar — o'qishni taqsimlash), sharding (bo'lish — ma'lumotni serverlarga). Baza miqyosi — eng qiyin miqyoslash muammosi (holat tufayli).
Baza miqyosi — ma'lumotlar bazasini yukni ko'tarish uchun miqyoslash: replikatsiya (replication — bazaning nusxalari: primary yozadi, replica o'qiydi — o'qishni taqsimlash), sharding (bo'lish — ma'lumotni shardlarga ajratish, har shard bir server: yozishni ham taqsimlash), read/write ajratish (o'qish replica'dan, yozish primary'ga), CAP teoremasi (izchillik/mavjudlik savdosi), denormalizatsiya (o'qishni tezlatish). Qiyinchilik: baza holatli (dastur serveridan farqli — 29.6) — izchillik (consistency), replikatsiya kechikishi (lag), sharding murakkabligi. Bu 23-qism (bazalar), 29.6 (miqyoslash) bilan bog'liq. Baza miqyosi — holatni miqyoslash. Ma'lumot — eng qiyin qism.
Real vaziyat. Bir tizimda baza to'siq bo'lgandi — ko'p o'qish so'rovlari (mahsulot ko'rish) bazani yuklardi. Replikatsiya qo'llanildi: primary baza (yozish — buyurtma) + 3 replica (o'qish — mahsulot ko'rish). O'qish so'rovlari replica'larga taqsimlandi (yuk kamaydi), yozish primary'da qoldi. Tizim 4 barobar ko'p o'qish ko'tardi. Keyinroq, ma'lumot juda ko'paygach, sharding qo'shildi (foydalanuvchilarni ID bo'yicha shardlarga). Baza miqyosi — to'siqni ochdi.
Bu darsda baza miqyosini o'rganamiz.
Bu darsda:
- Nega baza miqyosi qiyin
- Replikatsiya (o'qishni taqsimlash)
- Replikatsiya kechikishi (lag)
- Sharding (bo'lish)
- Read/write ajratish
- CAP teoremasi (izchillik/mavjudlik)
- Baza miqyosi amaliyoti
- Amaliy: baza miqyosi modeli
ℹ Baza miqyosi infratuzilma; misollar Python bilan replikatsiya/sharding mantiqini modellashtiradi (deterministik).
2. Nazariya — chuqur tushuntirish
2.1. Nega baza miqyosi qiyin
Holat tufayli murakkab:
Dastur serveri: holatsiz (29.6) — oson ko'paytirish
Baza: HOLATLI (ma'lumot) — oson ko'paytirib bo'lmaydi
muammo: ko'p nusxa → qaysida to'g'ri ma'lumot?
izchillik (consistency) — barcha nusxa bir xilmi?Nega baza miqyosi qiyin — dastur serveri holatsiz (29.6 — oson ko'paytirish, har biri bir xil), lekin baza holatli (ma'lumot saqlaydi) — oson ko'paytirib bo'lmaydi: ko'p nusxa bo'lsa — qaysida to'g'ri ma'lumot? (izchillik muammosi — nusxalar bir xilmi?). Sabab: ma'lumot haqiqat (bir joyda — 28.14 source of truth); nusxalar sinxron bo'lishi kerak (biri o'zgarsa — boshqalar ham). Bu 29.6 (holatsiz — oson) dan farqli (holat — qiyin). Baza miqyosi — holatni miqyoslash (izchillik bilan). Holat — miqyoslashning eng qiyin qismi. Ma'lumot — murakkab.
2.2. Replikatsiya (o'qishni taqsimlash)
Bazaning nusxalari:
PRIMARY (asosiy) — yozadi (barcha o'zgarish)
↓ (replikatsiya — o'zgarishlar ko'chiriladi)
REPLICA 1, 2, 3 — o'qiydi (nusxalar)
o'qish so'rovlari → replica'larga (taqsimlanadi)
yozish so'rovlari → primary'ga (bitta)Replikatsiya (replication) — bazaning nusxalarini yaratish: primary (asosiy — barcha yozishni qabul qiladi), replica (nusxa — primary'dan o'zgarishlarni oladi, o'qishni qabul qiladi). O'qish so'rovlari replica'larga taqsimlanadi (ko'p replica — ko'p o'qish), yozish primary'ga (bitta). Sabab: ko'p tizimda o'qish yozishdan ko'p (mahsulot ko'rish >> buyurtma) — o'qishni taqsimlash yukni kamaytiradi. Replikatsiya o'qish miqyosi (write emas — yozish primary'da). Bu 27.11 (CQRS — o'qish/yozish ajratish) bilan bog'liq. Replikatsiya — o'qishni taqsimlash (nusxalar). Primary yozadi, replica o'qiydi.
2.3. Replikatsiya kechikishi (lag)
Nusxalar biroz orqada:
primary'ga yozildi → replica'ga ko'chirilishi VAQT oladi (lag)
muammo: yozildi (primary) → darrov o'qildi (replica) → eski!
(replica hali yangilanmagan — replication lag)
yechim: muhim o'qish primary'dan, yoki lag'ni kutishReplikatsiya kechikishi (replication lag) — primary'ga yozilgan o'zgarish replica'ga ko'chirilishi vaqt oladi (soniyalar) — replica biroz orqada (eski ma'lumot): masalan foydalanuvchi buyurtma berdi (primary yozdi), darrov "buyurtmalarim" so'radi (replica'dan o'qildi) — hali ko'chmagan (eski, buyurtma ko'rinmaydi!). Bu eventual consistency (27.11 — oxir-oqibat izchil, darhol emas). Yechim: muhim o'qishni primary'dan (yangi), yoki lag'ni hisobga olish (biroz kutish). Sabab: replikatsiya asinxron (tez, lekin lag). Lag — replikatsiya narxi (o'qish miqyosi uchun). Kechikish — biroz eski.
2.4. Sharding (bo'lish)
Ma'lumotni bo'lish:
Sharding — ma'lumotni SHARDLARga bo'lish (har shard bir server)
shard 1: user_id 1-1000
shard 2: user_id 1001-2000
shard 3: user_id 2001-3000
yozish HAM taqsimlanadi (har shard mustaqil)
shard kaliti (shard key) — qaysi shardgaSharding (bo'lish — partitioning) — ma'lumotni shardlarga (bo'laklar) ajratish, har shard alohida serverda: masalan foydalanuvchilar ID bo'yicha (1-1000 → shard 1, 1001-2000 → shard 2). Farqi replikatsiyadan: replikatsiya nusxa (har nusxada butun ma'lumot — o'qish miqyosi), sharding bo'lish (har shardda qism ma'lumot — yozish ham miqyoslanadi). Shard kaliti (shard key — masalan user_id) qaysi shardni belgilaydi. Sabab: ma'lumot juda katta (bir serverga sig'maydi) yoki yozish ko'p (primary yetmaydi) — sharding taqsimlaydi. Murakkab: shardlararo so'rov (join qiyin), shard kaliti tanlash. Sharding — ma'lumotni bo'lish (yozish miqyosi). Bo'lish — katta ma'lumot.
2.5. Read/write ajratish
Read/write ajratish — o'qish va yozishni turli bazaga yo'naltirish: yozish (write — INSERT, UPDATE, DELETE) → primary; o'qish (read — SELECT) → replica (29.7.2). Sabab: o'qish yozishdan ko'p — replica'larga taqsimlab, primary'ni bo'shatish (faqat yozish). Bu CQRS (27.11 — command/query ajratish) ning baza darajasi. Amalda: ORM/kutubxona so'rovni avtomatik yo'naltiradi (o'qish replica, yozish primary), yoki qo'lda. Ehtiyot: replikatsiya lag (29.7.3 — yozgach darrov o'qish primary'dan). Read/write ajratish — o'qish miqyosi (replica bilan). O'qish replica, yozish primary.
2.6. CAP teoremasi (izchillik/mavjudlik)
Taqsimlangan baza savdosi:
CAP teoremasi — taqsimlangan tizimda 3 dan 2 ni tanlash:
C (Consistency) — izchillik (barcha nusxa bir xil)
A (Availability) — mavjudlik (doim javob)
P (Partition tolerance) — bo'linishga chidamlilik (tarmoq)
tarmoq bo'linsa (P majburiy): C yoki A ni tanlash
CP — izchil, lekin javob bermasligi mumkin
AP — doim javob, lekin eski bo'lishi mumkinCAP teoremasi — taqsimlangan tizimda (baza nusxalari) uch xususiyatdan faqat ikkisini birga ta'minlash mumkin: C (Consistency — izchillik: barcha nusxa bir xil ma'lumot), A (Availability — mavjudlik: doim javob beradi), P (Partition tolerance — bo'linishga chidamlilik: tarmoq uzilsa ham ishlaydi). Taqsimlangan tizimda P majburiy (tarmoq uzilishi mumkin) — shuning uchun tarmoq bo'linganda C yoki A ni tanlash: CP (izchil, lekin bo'linishda javob bermasligi mumkin — bank), AP (doim javob, lekin eski bo'lishi mumkin — ijtimoiy tarmoq). Sabab: taqsimlangan tizimda har narsani birga bo'lmaydi (fizik cheklov). CAP — taqsimlangan baza savdosi. Izchillik yoki mavjudlik.
2.7. Baza miqyosi amaliyoti
Baza miqyosi amaliyotlari: avval oddiy (bir baza + indekslar 23-qism, so'rov optimizatsiyasi — ko'p tizimga yetadi); kesh (29.3 — o'qishni kamaytirish, baza yuki); replikatsiya (o'qish miqyosi — read replica); read/write ajratish (o'qish replica); sharding (oxirgi chora — juda katta ma'lumot/yozish, murakkab); denormalizatsiya (o'qishni tezlatish — takror ma'lumot, 29.3 kesh kabi savdo); monitoring (28.10 — baza yuki, lag). Tuzoqlar: erta sharding (murakkab — avval kesh/replika), lag'ni e'tiborsizlik (eski o'qish), N+1 so'rov (13-qism). Yaxshi baza miqyosi — bosqichma (indeks → kesh → replika → sharding). Amaliyot — bosqichma miqyos. Oddiydan boshla.
2.8. Baza miqyosi — holatning murakkabligi
Baza miqyosi asosiy g'oyasi — holatni miqyoslash murakkab (hisoblashdan farqli): dastur serveri holatsiz (29.6 — oson ko'paytirish), baza holatli (ma'lumot — izchillik, replikatsiya lag, sharding). Bu 29.6 (holatsiz — oson) va baza (holat — qiyin) farqini ko'rsatadi. Yechimlar savdo bilan: replikatsiya (o'qish miqyosi, lekin lag), sharding (yozish miqyosi, lekin murakkab), CAP (izchillik yoki mavjudlik). Bu 23-qism (bazalar), 27.11 (CQRS/ES), 29.3 (kesh) bilan bog'liq. "Ma'lumot — eng qimmatli va eng qiyin qism" (yo'qolsa falokat, miqyoslash murakkab). Baza miqyosi — holatni boshqarish. Holat — miqyoslashning yuragi va qiyinligi.
3. Tez ma'lumotnoma
BAZA MIQYOSI (bosqichma):
1. indeks + so'rov optimizatsiyasi (23-qism)
2. kesh (o'qishni kamaytirish — 29.3)
3. replikatsiya (o'qish miqyosi)
4. sharding (oxirgi chora — juda katta)
REPLIKATSIYA:
primary (yozish) → replica (o'qish, nusxa)
o'qish replica'ga, yozish primary'ga (read/write ajratish)
replication lag (replica biroz orqada — eventual consistency)
SHARDING:
ma'lumotni shardlarga (har shard bir server, qism ma'lumot)
shard kaliti (user_id) → qaysi shard · yozish ham miqyoslanadi
CAP TEOREMASI (taqsimlangan — 3 dan 2):
C (izchillik) · A (mavjudlik) · P (bo'linish — majburiy)
CP (izchil, javob bermasligi mumkin) · AP (javob, eski mumkin)Baza miqyosi xulosasi
Baza miqyosi — holatli (izchillik — hisoblashdan qiyin)
Replikatsiya (primary yozadi, replica o'qiydi) — o'qish miqyosi
Replication lag (replica orqada — eventual consistency)
Sharding (bo'lish — qism ma'lumot, yozish miqyosi, murakkab)
CAP (C/A/P — 3 dan 2) · bosqichma (indeks→kesh→replika→shard)4. Batafsil misollar
Baza miqyosi infratuzilma; misollar Python bilan replikatsiya/sharding mantiqini modellashtiradi.
Misol 1 — Replikatsiya (primary/replica)
"""Replikatsiya: primary yozadi, replica'lar o'qiydi (o'qish taqsimlanadi)."""
class BazaKlaster:
def __init__(self, replica_soni: int) -> None:
self.primary: dict = {}
self.replicalar: list = [{} for _ in range(replica_soni)]
self.keyingi_replica = 0
def yoz(self, kalit: str, qiymat: str) -> str:
# yozish — primary'ga
self.primary[kalit] = qiymat
# replikatsiya — replica'larga ko'chirish
for r in self.replicalar:
r[kalit] = qiymat
return f"'{kalit}' primary'ga yozildi (replica'larga ko'chirildi)"
def oqi(self, kalit: str) -> str:
# o'qish — replica'dan (round-robin)
replica = self.replicalar[self.keyingi_replica % len(self.replicalar)]
self.keyingi_replica += 1
return f"replica-{self.keyingi_replica}: {kalit} = {replica.get(kalit)}"
def main() -> None:
klaster = BazaKlaster(replica_soni=3)
print("=== 1. Yozish (primary) ===")
print(f" {klaster.yoz('narx', '100')}")
print("\n=== 2. O'qish so'rovlari (replica'larga taqsimlanadi) ===")
for _ in range(4):
print(f" {klaster.oqi('narx')}")
print("\n=== 3. O'qish yuki taqsimlangan ===")
print(" 4 o'qish — 3 replica orasida (yuk kam)")
print("\n=== 4. Read/write ajratish ===")
print(" yozish primary (bitta), o'qish replica (ko'p)")
print(" o'qish yozishdan ko'p → replica taqsimlaydi")
print(" ⭐ Replikatsiya — o'qishni taqsimlash")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Yozish (primary) ===
'narx' primary'ga yozildi (replica'larga ko'chirildi)
=== 2. O'qish so'rovlari (replica'larga taqsimlanadi) ===
replica-1: narx = 100
replica-2: narx = 100
replica-3: narx = 100
replica-4: narx = 100
=== 3. O'qish yuki taqsimlangan ===
4 o'qish — 3 replica orasida (yuk kam)
=== 4. Read/write ajratish ===
yozish primary (bitta), o'qish replica (ko'p)
o'qish yozishdan ko'p → replica taqsimlaydi
⭐ Replikatsiya — o'qishni taqsimlashNima ko'rsatdi: 2.2, 2.5-bo'limlar.
Misol 2 — Replikatsiya kechikishi (lag)
"""Replication lag: replica primary'dan biroz orqada (yozgach darrov eski)."""
class LaglBaza:
def __init__(self) -> None:
self.primary: dict = {}
self.replica: dict = {} # sun'iy ravishda orqada
def yoz(self, kalit: str, qiymat: str) -> None:
self.primary[kalit] = qiymat
# replica hali yangilanmaydi (lag)
def replikatsiya(self) -> None:
# lag'dan keyin replica yangilanadi
self.replica = dict(self.primary)
def oqi_replica(self, kalit: str) -> str:
return self.replica.get(kalit, "yo'q")
def oqi_primary(self, kalit: str) -> str:
return self.primary.get(kalit, "yo'q")
def main() -> None:
baza = LaglBaza()
print("=== 1. Primary'ga yozish ===")
baza.yoz("buyurtma-1", "yaratildi")
print(" buyurtma-1 primary'ga yozildi")
print("\n=== 2. Darrov replica'dan o'qish (lag!) ===")
print(f" replica: buyurtma-1 = {baza.oqi_replica('buyurtma-1')} (hali yo'q!)")
print(f" primary: buyurtma-1 = {baza.oqi_primary('buyurtma-1')} (bor)")
print("\n=== 3. Replikatsiyadan keyin ===")
baza.replikatsiya()
print(f" replica: buyurtma-1 = {baza.oqi_replica('buyurtma-1')} (yangilandi)")
print("\n=== 4. Yechim ===")
print(" muhim o'qish (yozgach) → primary'dan")
print(" eventual consistency (oxir-oqibat izchil)")
print(" ⭐ Replication lag — replica biroz orqada")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Primary'ga yozish ===
buyurtma-1 primary'ga yozildi
=== 2. Darrov replica'dan o'qish (lag!) ===
replica: buyurtma-1 = yo'q (hali yo'q!)
primary: buyurtma-1 = yaratildi (bor)
=== 3. Replikatsiyadan keyin ===
replica: buyurtma-1 = yaratildi (yangilandi)
=== 4. Yechim ===
muhim o'qish (yozgach) → primary'dan
eventual consistency (oxir-oqibat izchil)
⭐ Replication lag — replica biroz orqadaNima ko'rsatdi: 2.3-bo'lim.
Misol 3 — Sharding (ma'lumotni bo'lish)
"""Sharding: ma'lumotni shard kaliti bo'yicha serverlarga bo'lish."""
class ShardliBaza:
def __init__(self, shard_soni: int) -> None:
self.shardlar: list = [{} for _ in range(shard_soni)]
def shard_top(self, user_id: int) -> int:
# shard kaliti (user_id) → qaysi shard
return user_id % len(self.shardlar)
def yoz(self, user_id: int, malumot: str) -> str:
shard = self.shard_top(user_id)
self.shardlar[shard][user_id] = malumot
return f"user {user_id} → shard {shard}"
def oqi(self, user_id: int) -> str:
shard = self.shard_top(user_id)
return f"shard {shard}: user {user_id} = {self.shardlar[shard].get(user_id)}"
def main() -> None:
baza = ShardliBaza(shard_soni=3)
print("=== 1. Foydalanuvchilarni yozish (shardlarga) ===")
for uid in [1, 2, 3, 4, 5, 6]:
print(f" {baza.yoz(uid, f'data-{uid}')}")
print("\n=== 2. Shard yuklari ===")
for i, shard in enumerate(baza.shardlar):
print(f" shard {i}: {len(shard)} foydalanuvchi")
print("\n=== 3. O'qish (to'g'ri shardga) ===")
print(f" {baza.oqi(4)}")
print("\n=== 4. Sharding vs replikatsiya ===")
print(" replikatsiya: har nusxa BUTUN ma'lumot (o'qish miqyosi)")
print(" sharding: har shard QISM ma'lumot (yozish ham miqyos)")
print(" ⭐ Sharding — ma'lumotni bo'lish (yozish miqyosi)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Foydalanuvchilarni yozish (shardlarga) ===
user 1 → shard 1
user 2 → shard 2
user 3 → shard 0
user 4 → shard 1
user 5 → shard 2
user 6 → shard 0
=== 2. Shard yuklari ===
shard 0: 2 foydalanuvchi
shard 1: 2 foydalanuvchi
shard 2: 2 foydalanuvchi
=== 3. O'qish (to'g'ri shardga) ===
shard 1: user 4 = data-4
=== 4. Sharding vs replikatsiya ===
replikatsiya: har nusxa BUTUN ma'lumot (o'qish miqyosi)
sharding: har shard QISM ma'lumot (yozish ham miqyos)
⭐ Sharding — ma'lumotni bo'lish (yozish miqyosi)Nima ko'rsatdi: 2.4-bo'lim.
Misol 4 — CAP teoremasi (savdo)
"""CAP: taqsimlangan bazada tarmoq bo'linsa — izchillik yoki mavjudlik."""
def cap_qaror(rejim: str, tarmoq_bolindi: bool) -> dict:
if not tarmoq_bolindi:
return {"javob": True, "izchil": True, "izoh": "normal (C va A)"}
# tarmoq bo'lindi (P) — C yoki A tanlash
if rejim == "CP":
# izchillik — javob bermasligi mumkin
return {"javob": False, "izchil": True, "izoh": "izchil, lekin javob yo'q"}
else: # AP
# mavjudlik — eski bo'lishi mumkin
return {"javob": True, "izchil": False, "izoh": "javob bor, lekin eski mumkin"}
def main() -> None:
print("=== 1. Normal (tarmoq butun) ===")
r = cap_qaror("CP", tarmoq_bolindi=False)
print(f" javob: {r['javob']}, izchil: {r['izchil']} — {r['izoh']}")
print("\n=== 2. Tarmoq bo'lindi — CP rejim (bank) ===")
r = cap_qaror("CP", tarmoq_bolindi=True)
print(f" javob: {r['javob']}, izchil: {r['izchil']}")
print(f" {r['izoh']} (noto'g'ri balans emas)")
print("\n=== 3. Tarmoq bo'lindi — AP rejim (ijtimoiy) ===")
r = cap_qaror("AP", tarmoq_bolindi=True)
print(f" javob: {r['javob']}, izchil: {r['izchil']}")
print(f" {r['izoh']} (eski post ko'rsatish mayli)")
print("\n=== 4. Savdo ===")
print(" CP: izchillik muhim (bank — noto'g'ri emas)")
print(" AP: mavjudlik muhim (ijtimoiy — doim javob)")
print(" ⭐ CAP — izchillik yoki mavjudlik (3 dan 2)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Normal (tarmoq butun) ===
javob: True, izchil: True — normal (C va A)
=== 2. Tarmoq bo'lindi — CP rejim (bank) ===
javob: False, izchil: True
izchil, lekin javob yo'q (noto'g'ri balans emas)
=== 3. Tarmoq bo'lindi — AP rejim (ijtimoiy) ===
javob: True, izchil: False
javob bor, lekin eski mumkin (eski post ko'rsatish mayli)
=== 4. Savdo ===
CP: izchillik muhim (bank — noto'g'ri emas)
AP: mavjudlik muhim (ijtimoiy — doim javob)
⭐ CAP — izchillik yoki mavjudlik (3 dan 2)Nima ko'rsatdi: 2.6-bo'lim.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "Bazani oson ko'paytir" | Holatli (izchillik — qiyin) |
| "Replika hamma narsani yechadi" | O'qish miqyosi (yozish primary) |
| "Replika darrov yangilanadi" | Lag (biroz orqada) |
| "Replikatsiya = sharding" | Nusxa vs bo'lish |
| "Sharding avval" | Oxirgi chora (kesh, replika avval) |
| "CAP dan 3 ni ol" | 3 dan 2 (taqsimlangan) |
| "Izchillik bepul" | Mavjudlik bilan savdo |
| "Baza — oddiy server" | Eng qiyin miqyoslash |
6. Keng tarqalgan xatolar va yechimlari
1. Erta sharding
# darrov sharding (murakkab) # ⚠️
# avval: indeks, kesh, replika (bosqichma) # ✅2. Replication lag'ni e'tiborsiz
yoz(primary); oqi(replica) # eski (lag) # ⚠️
# muhim o'qish primary'dan (yoki lag'ni kut) # ✅3. O'qish/yozish ajratmasdan
# hamma so'rov primary'ga (yuklanadi) # ⚠️
# o'qish replica, yozish primary # ✅4. Noto'g'ri shard kaliti
# shard kaliti notekis (bir shard yuklanadi) # ⚠️
# teng taqsimlaydigan kalit (hash, ID) # ✅5. CAP ni tushunmaslik
# izchillik va mavjudlik ikkalasi (bo'linishda) # ⚠️
# CP yoki AP (ehtiyojga qarab) # ✅6. Kesh o'rniga darrov replika
# baza yuki → darrov replika (murakkab) # ⚠️
# kesh (29.3 — o'qishni kamaytir) avval # ✅7. Shardlararo so'rov (join)
# ko'p shard'dan join (sekin, murakkab) # ⚠️
# shard kaliti bo'yicha (bir shard) yoki denormalizatsiya # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 23-qism (o'tilgan): Bazalar, indekslar, so'rovlar
- 29.3-dars (o'tilgan): Kesh — o'qishni kamaytirish
- 29.6-dars (o'tilgan): Yuk taqsimlash — holatsiz vs holat
- 27.11-dars (o'tilgan): CQRS — o'qish/yozish ajratish
- 28.10-dars (o'tilgan): Monitoring — baza yuki, lag
8. Eng yaxshi amaliyotlar
Bosqichma (indeks → kesh → replika → sharding).
Kesh avval (o'qishni kamaytir — 29.3).
Replikatsiya (o'qish miqyosi — read replica).
Read/write ajratish (o'qish replica, yozish primary).
Lag'ni hisobga ol (muhim o'qish primary).
Sharding — oxirgi chora (juda katta).
Teng shard kaliti (notekis emas).
CAP — ehtiyojga qarab (CP/AP).
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # nega baza miqyosi qiyin?
2. # replikatsiya nima?
3. # primary nima?
4. # replica nima?
5. # replication lag nima?
6. # sharding nima?
7. # shard kaliti nima?
8. # replikatsiya vs sharding?
9. # read/write ajratish?
10. # CAP teoremasi nima?
11. # CP vs AP?
12. # baza miqyosi tartibi?Javoblar
- Holatli (izchillik — hisoblashdan qiyin)
- Bazaning nusxalari (o'qish taqsimlash)
- Yozadigan baza (barcha o'zgarish)
- O'qiydigan nusxa
- Replica primary'dan orqada (kechikish)
- Ma'lumotni shardlarga bo'lish
- Qaysi shardga (user_id)
- Replika nusxa (butun), sharding bo'lish (qism)
- O'qish replica, yozish primary
- Taqsimlangan — 3 dan 2 (C, A, P)
- CP izchil, AP mavjud (bo'linishda)
- Indeks → kesh → replika → sharding
Vazifa 2: Xatolarni tuzating
1. # darrov sharding
2. yoz(primary); oqi(replica) # lag
3. # hamma so'rov primary'ga
4. # notekis shard kaliti
5. # izchillik + mavjudlik (bo'linish)Javoblar
1. bosqichma (indeks, kesh, replika)
2. muhim o'qish primary'dan
3. o'qish replica, yozish primary
4. teng taqsimlaydigan kalit
5. CP yoki AP (tanlash)Vazifa 3: Replikatsiya
Modellang:
- Primary
- Replica
- Yozish
- O'qish
Vazifa 4: Lag
Modellang:
- Primary
- Yozish
- Lag
- Replikatsiya
Vazifa 5: Sharding
Modellang:
- Shardlar
- Shard kaliti
- Taqsimlash
- O'qish
Vazifa 6: CAP
Modellang:
- Normal
- Bo'linish
- CP
- AP
Vazifa 7: O'ylash
Baza miqyosi dastur serverlarini miqyoslashdan 29.6-bob ancha qiyin — sabab holat (ma'lumot). Nima uchun "holatni miqyoslash" tub jihatdan "hisoblashni miqyoslash" dan qiyinroq, va nega CAP teoremasi (izchillik, mavjudlik, bo'linishga chidamlilikning uchalasini birga olib bo'lmasligi) taqsimlangan tizimlarning "tabiat qonuni" — bu fizik cheklov haqida nima aytadi?
Javob
Qisqa javob: "Holatni miqyoslash" hisoblashni miqyoslashdan qiyinroq, chunki: hisoblash — holatsiz (dastur serveri — har biri bir xil, mustaqil, so'rovni qayta ishlaydi va unutadi; ko'paytirish — nusxa ol, LB qo'y — 29.6); holat — ma'lumot (baza — har nusxada ma'lumot bo'lishi kerak, va ular bir xil bo'lishi kerak — izchillik). Hisoblashni ko'paytirsang — muammo yo'q (har server mustaqil); holatni ko'paytirsang — sinxronizatsiya muammosi (nusxalar bir xil bo'lishi kerak — biri o'zgarsa boshqalar ham, lekin bu vaqt oladi — lag, poyga holati). Hisoblash "unutuvchan" (stateless — o'tmish yo'q), holat "eslaydigan" (ma'lumot — tarix, izchillik). Shuning uchun holatni miqyoslash — izchillik muammosi (bir haqiqat, ko'p nusxa — 29.3 kesh, 28.14 drift kabi). CAP teoremasi "tabiat qonuni", chunki u fizik cheklovni ifodalaydi: taqsimlangan tizimda tugunlar tarmoq orqali gaplashadi (ma'lumot yorug'lik tezligidan tez uzatilmaydi — fizik chegara), va tarmoq ishonchsiz (uzilishi mumkin — P majburiy). Tarmoq uzilganda: tugunlar bir-biri bilan gaplasholmaydi → ular kelishishi imkonsiz (izchillik uchun kelishuv kerak) → tanlov: yo kutish (izchillik — C, lekin javob yo'q — mavjudlik qurbon) yo javob berish (mavjudlik — A, lekin eski ma'lumot — izchillik qurbon). Uchalasini birga olib bo'lmaydi, chunki bu mantiqiy/fizik ziddiyat (bo'lingan tugunlar bir vaqtda izchil VA mavjud bo'la olmaydi — ular gaplasholmaydi). Bu "tabiat qonuni" (matematik isbotlangan — Gilbert & Lynch) — muhandis buni yenga olmaydi, faqat tanlashi mumkin (CP yoki AP, ehtiyojga qarab). Muhandislik saboqlari: holat — miqyoslashning qiyin qismi (izchillik, sinxronizatsiya); hisoblash unutuvchan (oson), holat eslaydigan (qiyin); CAP — fizik cheklov (tarmoq ishonchsiz, yorug'lik tezligi) — yengib bo'lmaydi, tanlanadi; taqsimlangan tizim — savdolar (fizika majbur qiladi).
1. Nega holat qiyinroq
Hisoblash: holatsiz (mustaqil, unutuvchan — oson ko'paytirish). Holat: ma'lumot (nusxalar bir xil bo'lishi kerak — sinxronizatsiya).
2. Sinxronizatsiya muammosi
Nusxalarni ko'paytirish → bir xil bo'lishi kerak (izchillik). Biri o'zgarsa → boshqalar (vaqt — lag, poyga).
3. Nega CAP tabiat qonuni
Fizik cheklov: tugunlar tarmoq orqali (yorug'lik tezligi chegarasi), tarmoq ishonchsiz (uziladi — P majburiy).
4. Nega 3 dan 2
| Tarmoq uzilganda | Tanlov |
|---|---|
| Kutish (kelishuv) | C (izchil), A yo'q |
| Javob berish | A (mavjud), C yo'q |
Bo'lingan tugunlar gaplasholmaydi → izchil VA mavjud imkonsiz (ziddiyat).
5. Muhandislik saboqlari
- Holat — miqyoslashning qiyin qismi
- Hisoblash unutuvchan, holat eslaydigan
- CAP — fizik cheklov (yengib bo'lmaydi)
- Taqsimlangan — savdolar (fizika majbur)
6. Xulosa
- Holat qiyin (izchillik, sinxronizatsiya)
- Hisoblash oson (holatsiz, mustaqil)
- CAP — fizik ziddiyat (3 dan 2)
- Tanlanadi (CP/AP), yengilmaydi
Nimani mustahkamlaydi: 2.1, 2.6-bo'limlar.
Xulosa
Bu darsda baza miqyosini o'rgandik.
Eng muhim uch fikr:
Nega qiyin va replikatsiya. Baza miqyosi qiyin, chunki baza holatli (ma'lumot saqlaydi — dastur serveri holatsiz 29.6 dan farqli): ko'p nusxa — izchillik muammosi (nusxalar bir xilmi?). Replikatsiya — bazaning nusxalari: primary (barcha yozishni qabul qiladi), replica (primary'dan o'zgarishlarni oladi, o'qishni qabul qiladi); o'qish so'rovlari replica'larga taqsimlanadi (o'qish yozishdan ko'p — o'qish miqyosi), yozish primary'ga. Read/write ajratish — o'qish replica, yozish primary (CQRS 27.11 ning baza darajasi).
Lag va sharding. Replikatsiya kechikishi (lag) — primary'ga yozilgan o'zgarish replica'ga ko'chirilishi vaqt oladi — replica biroz orqada (eski): yozgach darrov replica'dan o'qish — eski (buyurtma ko'rinmaydi); eventual consistency 27.11-bob; yechim — muhim o'qish primary'dan. Sharding (bo'lish) — ma'lumotni shardlarga (bo'laklar) ajratish, har shard alohida server (qism ma'lumot); farqi replikatsiyadan: replika nusxa (butun ma'lumot — o'qish miqyosi), sharding bo'lish (qism — yozish ham miqyoslanadi); shard kaliti (user_id) qaysi shardni belgilaydi; murakkab (shardlararo join qiyin).
CAP va bosqichma miqyos. CAP teoremasi — taqsimlangan tizimda uch xususiyatdan faqat ikkisini: C (izchillik — nusxalar bir xil), A (mavjudlik — doim javob), P (bo'linishga chidamlilik — tarmoq); P majburiy (tarmoq uzilishi) — tarmoq bo'linganda C yoki A: CP (izchil, javob bermasligi mumkin — bank), AP (doim javob, eski mumkin — ijtimoiy). Baza miqyosi bosqichma (indeks/so'rov 23-qism → kesh 29.3 → replikatsiya → sharding — oxirgi chora); erta sharding (murakkab) — tuzoq. Baza miqyosi — holatni miqyoslash (hisoblashdan qiyin — izchillik, lag, sharding); CAP — fizik cheklov (tarmoq ishonchsiz, yorug'lik tezligi — yengib bo'lmaydi, tanlanadi — CP/AP). "Ma'lumot — eng qimmatli va eng qiyin qism".
Keyingi darsda katta hajmdagi asyncni o'rganamiz: minglab bir vaqtda ulanishni asinxron kod bilan boshqarish — asyncio chuqurroq, concurrency naqshlari va I/O-bog'liq yuklarni samarali miqyoslash.
Izohlar · 0
Izoh yozish uchun kiring.