Python kursi29.7-dars: Baza miqyosi — replikatsiya va sharding
Python kursi · Miqyos va unumdorlik

29.7-dars: Baza miqyosi — replikatsiya va sharding

19 daqiqa7/10-dars

29-QISM — MIQYOS VA UNUMDORLIK · 7-dars


1. Kirish va motivatsiya

Dastur serverlarini gorizontal miqyoslash oson (29.6 — ko'p server, holatsiz). Lekin ma'lumotlar bazasi — boshqa masala. Baza holatli (ma'lumot saqlaydi) — uni oddiy ko'paytirib bo'lmaydi (har nusxada boshqa ma'lumot bo'lsa — chalkashlik). Ko'p dastur serverlari bitta bazaga so'rov yuboradi — baza to'siq (bottleneck) bo'ladi: butun tizim shu bir bazaga bog'liq. Baza yuklansa — hamma sekinlashadi. Baza miqyosi buni hal qiladi, lekin o'ziga xos qiyinchiliklar bilan: replikatsiya (nusxalar — o'qishni taqsimlash), sharding (bo'lish — ma'lumotni serverlarga). Baza miqyosi — eng qiyin miqyoslash muammosi (holat tufayli).

Baza miqyosi — ma'lumotlar bazasini yukni ko'tarish uchun miqyoslash: replikatsiya (replication — bazaning nusxalari: primary yozadi, replica o'qiydi — o'qishni taqsimlash), sharding (bo'lish — ma'lumotni shardlarga ajratish, har shard bir server: yozishni ham taqsimlash), read/write ajratish (o'qish replica'dan, yozish primary'ga), CAP teoremasi (izchillik/mavjudlik savdosi), denormalizatsiya (o'qishni tezlatish). Qiyinchilik: baza holatli (dastur serveridan farqli — 29.6) — izchillik (consistency), replikatsiya kechikishi (lag), sharding murakkabligi. Bu 23-qism (bazalar), 29.6 (miqyoslash) bilan bog'liq. Baza miqyosi — holatni miqyoslash. Ma'lumot — eng qiyin qism.

Real vaziyat. Bir tizimda baza to'siq bo'lgandi — ko'p o'qish so'rovlari (mahsulot ko'rish) bazani yuklardi. Replikatsiya qo'llanildi: primary baza (yozish — buyurtma) + 3 replica (o'qish — mahsulot ko'rish). O'qish so'rovlari replica'larga taqsimlandi (yuk kamaydi), yozish primary'da qoldi. Tizim 4 barobar ko'p o'qish ko'tardi. Keyinroq, ma'lumot juda ko'paygach, sharding qo'shildi (foydalanuvchilarni ID bo'yicha shardlarga). Baza miqyosi — to'siqni ochdi.

Bu darsda baza miqyosini o'rganamiz.

Bu darsda:

  • Nega baza miqyosi qiyin
  • Replikatsiya (o'qishni taqsimlash)
  • Replikatsiya kechikishi (lag)
  • Sharding (bo'lish)
  • Read/write ajratish
  • CAP teoremasi (izchillik/mavjudlik)
  • Baza miqyosi amaliyoti
  • Amaliy: baza miqyosi modeli

ℹ Baza miqyosi infratuzilma; misollar Python bilan replikatsiya/sharding mantiqini modellashtiradi (deterministik).


2. Nazariya — chuqur tushuntirish

2.1. Nega baza miqyosi qiyin

Holat tufayli murakkab:

Dastur serveri: holatsiz (29.6) — oson ko'paytirish
Baza: HOLATLI (ma'lumot) — oson ko'paytirib bo'lmaydi

muammo: ko'p nusxa → qaysida to'g'ri ma'lumot?
   izchillik (consistency) — barcha nusxa bir xilmi?

Nega baza miqyosi qiyin — dastur serveri holatsiz (29.6 — oson ko'paytirish, har biri bir xil), lekin baza holatli (ma'lumot saqlaydi) — oson ko'paytirib bo'lmaydi: ko'p nusxa bo'lsa — qaysida to'g'ri ma'lumot? (izchillik muammosi — nusxalar bir xilmi?). Sabab: ma'lumot haqiqat (bir joyda — 28.14 source of truth); nusxalar sinxron bo'lishi kerak (biri o'zgarsa — boshqalar ham). Bu 29.6 (holatsiz — oson) dan farqli (holat — qiyin). Baza miqyosi — holatni miqyoslash (izchillik bilan). Holat — miqyoslashning eng qiyin qismi. Ma'lumot — murakkab.

2.2. Replikatsiya (o'qishni taqsimlash)

Bazaning nusxalari:

PRIMARY (asosiy) — yozadi (barcha o'zgarish)
   ↓ (replikatsiya — o'zgarishlar ko'chiriladi)
REPLICA 1, 2, 3 — o'qiydi (nusxalar)

o'qish so'rovlari → replica'larga (taqsimlanadi)
yozish so'rovlari → primary'ga (bitta)

Replikatsiya (replication) — bazaning nusxalarini yaratish: primary (asosiy — barcha yozishni qabul qiladi), replica (nusxa — primary'dan o'zgarishlarni oladi, o'qishni qabul qiladi). O'qish so'rovlari replica'larga taqsimlanadi (ko'p replica — ko'p o'qish), yozish primary'ga (bitta). Sabab: ko'p tizimda o'qish yozishdan ko'p (mahsulot ko'rish >> buyurtma) — o'qishni taqsimlash yukni kamaytiradi. Replikatsiya o'qish miqyosi (write emas — yozish primary'da). Bu 27.11 (CQRS — o'qish/yozish ajratish) bilan bog'liq. Replikatsiya — o'qishni taqsimlash (nusxalar). Primary yozadi, replica o'qiydi.

2.3. Replikatsiya kechikishi (lag)

Nusxalar biroz orqada:

primary'ga yozildi → replica'ga ko'chirilishi VAQT oladi (lag)

muammo: yozildi (primary) → darrov o'qildi (replica) → eski!
   (replica hali yangilanmagan — replication lag)

yechim: muhim o'qish primary'dan, yoki lag'ni kutish

Replikatsiya kechikishi (replication lag) — primary'ga yozilgan o'zgarish replica'ga ko'chirilishi vaqt oladi (soniyalar) — replica biroz orqada (eski ma'lumot): masalan foydalanuvchi buyurtma berdi (primary yozdi), darrov "buyurtmalarim" so'radi (replica'dan o'qildi) — hali ko'chmagan (eski, buyurtma ko'rinmaydi!). Bu eventual consistency (27.11 — oxir-oqibat izchil, darhol emas). Yechim: muhim o'qishni primary'dan (yangi), yoki lag'ni hisobga olish (biroz kutish). Sabab: replikatsiya asinxron (tez, lekin lag). Lag — replikatsiya narxi (o'qish miqyosi uchun). Kechikish — biroz eski.

2.4. Sharding (bo'lish)

Ma'lumotni bo'lish:

Sharding — ma'lumotni SHARDLARga bo'lish (har shard bir server)
   shard 1: user_id 1-1000
   shard 2: user_id 1001-2000
   shard 3: user_id 2001-3000

yozish HAM taqsimlanadi (har shard mustaqil)
   shard kaliti (shard key) — qaysi shardga

Sharding (bo'lish — partitioning) — ma'lumotni shardlarga (bo'laklar) ajratish, har shard alohida serverda: masalan foydalanuvchilar ID bo'yicha (1-1000 → shard 1, 1001-2000 → shard 2). Farqi replikatsiyadan: replikatsiya nusxa (har nusxada butun ma'lumot — o'qish miqyosi), sharding bo'lish (har shardda qism ma'lumot — yozish ham miqyoslanadi). Shard kaliti (shard key — masalan user_id) qaysi shardni belgilaydi. Sabab: ma'lumot juda katta (bir serverga sig'maydi) yoki yozish ko'p (primary yetmaydi) — sharding taqsimlaydi. Murakkab: shardlararo so'rov (join qiyin), shard kaliti tanlash. Sharding — ma'lumotni bo'lish (yozish miqyosi). Bo'lish — katta ma'lumot.

2.5. Read/write ajratish

Read/write ajratish — o'qish va yozishni turli bazaga yo'naltirish: yozish (write — INSERT, UPDATE, DELETE) → primary; o'qish (read — SELECT) → replica (29.7.2). Sabab: o'qish yozishdan ko'p — replica'larga taqsimlab, primary'ni bo'shatish (faqat yozish). Bu CQRS (27.11 — command/query ajratish) ning baza darajasi. Amalda: ORM/kutubxona so'rovni avtomatik yo'naltiradi (o'qish replica, yozish primary), yoki qo'lda. Ehtiyot: replikatsiya lag (29.7.3 — yozgach darrov o'qish primary'dan). Read/write ajratish — o'qish miqyosi (replica bilan). O'qish replica, yozish primary.

2.6. CAP teoremasi (izchillik/mavjudlik)

Taqsimlangan baza savdosi:

CAP teoremasi — taqsimlangan tizimda 3 dan 2 ni tanlash:
   C (Consistency) — izchillik (barcha nusxa bir xil)
   A (Availability) — mavjudlik (doim javob)
   P (Partition tolerance) — bo'linishga chidamlilik (tarmoq)

tarmoq bo'linsa (P majburiy): C yoki A ni tanlash
   CP — izchil, lekin javob bermasligi mumkin
   AP — doim javob, lekin eski bo'lishi mumkin

CAP teoremasi — taqsimlangan tizimda (baza nusxalari) uch xususiyatdan faqat ikkisini birga ta'minlash mumkin: C (Consistency — izchillik: barcha nusxa bir xil ma'lumot), A (Availability — mavjudlik: doim javob beradi), P (Partition tolerance — bo'linishga chidamlilik: tarmoq uzilsa ham ishlaydi). Taqsimlangan tizimda P majburiy (tarmoq uzilishi mumkin) — shuning uchun tarmoq bo'linganda C yoki A ni tanlash: CP (izchil, lekin bo'linishda javob bermasligi mumkin — bank), AP (doim javob, lekin eski bo'lishi mumkin — ijtimoiy tarmoq). Sabab: taqsimlangan tizimda har narsani birga bo'lmaydi (fizik cheklov). CAP — taqsimlangan baza savdosi. Izchillik yoki mavjudlik.

2.7. Baza miqyosi amaliyoti

Baza miqyosi amaliyotlari: avval oddiy (bir baza + indekslar 23-qism, so'rov optimizatsiyasi — ko'p tizimga yetadi); kesh (29.3 — o'qishni kamaytirish, baza yuki); replikatsiya (o'qish miqyosi — read replica); read/write ajratish (o'qish replica); sharding (oxirgi chora — juda katta ma'lumot/yozish, murakkab); denormalizatsiya (o'qishni tezlatish — takror ma'lumot, 29.3 kesh kabi savdo); monitoring (28.10 — baza yuki, lag). Tuzoqlar: erta sharding (murakkab — avval kesh/replika), lag'ni e'tiborsizlik (eski o'qish), N+1 so'rov (13-qism). Yaxshi baza miqyosi — bosqichma (indeks → kesh → replika → sharding). Amaliyot — bosqichma miqyos. Oddiydan boshla.

2.8. Baza miqyosi — holatning murakkabligi

Baza miqyosi asosiy g'oyasi — holatni miqyoslash murakkab (hisoblashdan farqli): dastur serveri holatsiz (29.6 — oson ko'paytirish), baza holatli (ma'lumot — izchillik, replikatsiya lag, sharding). Bu 29.6 (holatsiz — oson) va baza (holat — qiyin) farqini ko'rsatadi. Yechimlar savdo bilan: replikatsiya (o'qish miqyosi, lekin lag), sharding (yozish miqyosi, lekin murakkab), CAP (izchillik yoki mavjudlik). Bu 23-qism (bazalar), 27.11 (CQRS/ES), 29.3 (kesh) bilan bog'liq. "Ma'lumot — eng qimmatli va eng qiyin qism" (yo'qolsa falokat, miqyoslash murakkab). Baza miqyosi — holatni boshqarish. Holat — miqyoslashning yuragi va qiyinligi.


3. Tez ma'lumotnoma

BAZA MIQYOSI (bosqichma):
   1. indeks + so'rov optimizatsiyasi (23-qism)
   2. kesh (o'qishni kamaytirish — 29.3)
   3. replikatsiya (o'qish miqyosi)
   4. sharding (oxirgi chora — juda katta)

REPLIKATSIYA:
   primary (yozish) → replica (o'qish, nusxa)
   o'qish replica'ga, yozish primary'ga (read/write ajratish)
   replication lag (replica biroz orqada — eventual consistency)

SHARDING:
   ma'lumotni shardlarga (har shard bir server, qism ma'lumot)
   shard kaliti (user_id) → qaysi shard · yozish ham miqyoslanadi

CAP TEOREMASI (taqsimlangan — 3 dan 2):
   C (izchillik) · A (mavjudlik) · P (bo'linish — majburiy)
   CP (izchil, javob bermasligi mumkin) · AP (javob, eski mumkin)

Baza miqyosi xulosasi

Baza miqyosi — holatli (izchillik — hisoblashdan qiyin)
Replikatsiya (primary yozadi, replica o'qiydi) — o'qish miqyosi
Replication lag (replica orqada — eventual consistency)
Sharding (bo'lish — qism ma'lumot, yozish miqyosi, murakkab)
CAP (C/A/P — 3 dan 2) · bosqichma (indeks→kesh→replika→shard)

4. Batafsil misollar

Baza miqyosi infratuzilma; misollar Python bilan replikatsiya/sharding mantiqini modellashtiradi.

Misol 1 — Replikatsiya (primary/replica)

python
"""Replikatsiya: primary yozadi, replica'lar o'qiydi (o'qish taqsimlanadi)."""


class BazaKlaster:
    def __init__(self, replica_soni: int) -> None:
        self.primary: dict = {}
        self.replicalar: list = [{} for _ in range(replica_soni)]
        self.keyingi_replica = 0

    def yoz(self, kalit: str, qiymat: str) -> str:
        # yozish — primary'ga
        self.primary[kalit] = qiymat
        # replikatsiya — replica'larga ko'chirish
        for r in self.replicalar:
            r[kalit] = qiymat
        return f"'{kalit}' primary'ga yozildi (replica'larga ko'chirildi)"

    def oqi(self, kalit: str) -> str:
        # o'qish — replica'dan (round-robin)
        replica = self.replicalar[self.keyingi_replica % len(self.replicalar)]
        self.keyingi_replica += 1
        return f"replica-{self.keyingi_replica}: {kalit} = {replica.get(kalit)}"


def main() -> None:
    klaster = BazaKlaster(replica_soni=3)

    print("=== 1. Yozish (primary) ===")
    print(f"  {klaster.yoz('narx', '100')}")

    print("\n=== 2. O'qish so'rovlari (replica'larga taqsimlanadi) ===")
    for _ in range(4):
        print(f"  {klaster.oqi('narx')}")

    print("\n=== 3. O'qish yuki taqsimlangan ===")
    print("  4 o'qish — 3 replica orasida (yuk kam)")

    print("\n=== 4. Read/write ajratish ===")
    print("  yozish primary (bitta), o'qish replica (ko'p)")
    print("  o'qish yozishdan ko'p → replica taqsimlaydi")
    print("  ⭐ Replikatsiya — o'qishni taqsimlash")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Yozish (primary) ===
  'narx' primary'ga yozildi (replica'larga ko'chirildi)

=== 2. O'qish so'rovlari (replica'larga taqsimlanadi) ===
  replica-1: narx = 100
  replica-2: narx = 100
  replica-3: narx = 100
  replica-4: narx = 100

=== 3. O'qish yuki taqsimlangan ===
  4 o'qish — 3 replica orasida (yuk kam)

=== 4. Read/write ajratish ===
  yozish primary (bitta), o'qish replica (ko'p)
  o'qish yozishdan ko'p → replica taqsimlaydi
  ⭐ Replikatsiya — o'qishni taqsimlash

Nima ko'rsatdi: 2.2, 2.5-bo'limlar.

Misol 2 — Replikatsiya kechikishi (lag)

python
"""Replication lag: replica primary'dan biroz orqada (yozgach darrov eski)."""


class LaglBaza:
    def __init__(self) -> None:
        self.primary: dict = {}
        self.replica: dict = {}   # sun'iy ravishda orqada

    def yoz(self, kalit: str, qiymat: str) -> None:
        self.primary[kalit] = qiymat
        # replica hali yangilanmaydi (lag)

    def replikatsiya(self) -> None:
        # lag'dan keyin replica yangilanadi
        self.replica = dict(self.primary)

    def oqi_replica(self, kalit: str) -> str:
        return self.replica.get(kalit, "yo'q")

    def oqi_primary(self, kalit: str) -> str:
        return self.primary.get(kalit, "yo'q")


def main() -> None:
    baza = LaglBaza()

    print("=== 1. Primary'ga yozish ===")
    baza.yoz("buyurtma-1", "yaratildi")
    print("  buyurtma-1 primary'ga yozildi")

    print("\n=== 2. Darrov replica'dan o'qish (lag!) ===")
    print(f"  replica: buyurtma-1 = {baza.oqi_replica('buyurtma-1')} (hali yo'q!)")
    print(f"  primary: buyurtma-1 = {baza.oqi_primary('buyurtma-1')} (bor)")

    print("\n=== 3. Replikatsiyadan keyin ===")
    baza.replikatsiya()
    print(f"  replica: buyurtma-1 = {baza.oqi_replica('buyurtma-1')} (yangilandi)")

    print("\n=== 4. Yechim ===")
    print("  muhim o'qish (yozgach) → primary'dan")
    print("  eventual consistency (oxir-oqibat izchil)")
    print("  ⭐ Replication lag — replica biroz orqada")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Primary'ga yozish ===
  buyurtma-1 primary'ga yozildi

=== 2. Darrov replica'dan o'qish (lag!) ===
  replica: buyurtma-1 = yo'q (hali yo'q!)
  primary: buyurtma-1 = yaratildi (bor)

=== 3. Replikatsiyadan keyin ===
  replica: buyurtma-1 = yaratildi (yangilandi)

=== 4. Yechim ===
  muhim o'qish (yozgach) → primary'dan
  eventual consistency (oxir-oqibat izchil)
  ⭐ Replication lag — replica biroz orqada

Nima ko'rsatdi: 2.3-bo'lim.

Misol 3 — Sharding (ma'lumotni bo'lish)

python
"""Sharding: ma'lumotni shard kaliti bo'yicha serverlarga bo'lish."""


class ShardliBaza:
    def __init__(self, shard_soni: int) -> None:
        self.shardlar: list = [{} for _ in range(shard_soni)]

    def shard_top(self, user_id: int) -> int:
        # shard kaliti (user_id) → qaysi shard
        return user_id % len(self.shardlar)

    def yoz(self, user_id: int, malumot: str) -> str:
        shard = self.shard_top(user_id)
        self.shardlar[shard][user_id] = malumot
        return f"user {user_id} → shard {shard}"

    def oqi(self, user_id: int) -> str:
        shard = self.shard_top(user_id)
        return f"shard {shard}: user {user_id} = {self.shardlar[shard].get(user_id)}"


def main() -> None:
    baza = ShardliBaza(shard_soni=3)

    print("=== 1. Foydalanuvchilarni yozish (shardlarga) ===")
    for uid in [1, 2, 3, 4, 5, 6]:
        print(f"  {baza.yoz(uid, f'data-{uid}')}")

    print("\n=== 2. Shard yuklari ===")
    for i, shard in enumerate(baza.shardlar):
        print(f"  shard {i}: {len(shard)} foydalanuvchi")

    print("\n=== 3. O'qish (to'g'ri shardga) ===")
    print(f"  {baza.oqi(4)}")

    print("\n=== 4. Sharding vs replikatsiya ===")
    print("  replikatsiya: har nusxa BUTUN ma'lumot (o'qish miqyosi)")
    print("  sharding: har shard QISM ma'lumot (yozish ham miqyos)")
    print("  ⭐ Sharding — ma'lumotni bo'lish (yozish miqyosi)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Foydalanuvchilarni yozish (shardlarga) ===
  user 1 → shard 1
  user 2 → shard 2
  user 3 → shard 0
  user 4 → shard 1
  user 5 → shard 2
  user 6 → shard 0

=== 2. Shard yuklari ===
  shard 0: 2 foydalanuvchi
  shard 1: 2 foydalanuvchi
  shard 2: 2 foydalanuvchi

=== 3. O'qish (to'g'ri shardga) ===
  shard 1: user 4 = data-4

=== 4. Sharding vs replikatsiya ===
  replikatsiya: har nusxa BUTUN ma'lumot (o'qish miqyosi)
  sharding: har shard QISM ma'lumot (yozish ham miqyos)
  ⭐ Sharding — ma'lumotni bo'lish (yozish miqyosi)

Nima ko'rsatdi: 2.4-bo'lim.

Misol 4 — CAP teoremasi (savdo)

python
"""CAP: taqsimlangan bazada tarmoq bo'linsa — izchillik yoki mavjudlik."""


def cap_qaror(rejim: str, tarmoq_bolindi: bool) -> dict:
    if not tarmoq_bolindi:
        return {"javob": True, "izchil": True, "izoh": "normal (C va A)"}
    # tarmoq bo'lindi (P) — C yoki A tanlash
    if rejim == "CP":
        # izchillik — javob bermasligi mumkin
        return {"javob": False, "izchil": True, "izoh": "izchil, lekin javob yo'q"}
    else:  # AP
        # mavjudlik — eski bo'lishi mumkin
        return {"javob": True, "izchil": False, "izoh": "javob bor, lekin eski mumkin"}


def main() -> None:
    print("=== 1. Normal (tarmoq butun) ===")
    r = cap_qaror("CP", tarmoq_bolindi=False)
    print(f"  javob: {r['javob']}, izchil: {r['izchil']} — {r['izoh']}")

    print("\n=== 2. Tarmoq bo'lindi — CP rejim (bank) ===")
    r = cap_qaror("CP", tarmoq_bolindi=True)
    print(f"  javob: {r['javob']}, izchil: {r['izchil']}")
    print(f"  {r['izoh']} (noto'g'ri balans emas)")

    print("\n=== 3. Tarmoq bo'lindi — AP rejim (ijtimoiy) ===")
    r = cap_qaror("AP", tarmoq_bolindi=True)
    print(f"  javob: {r['javob']}, izchil: {r['izchil']}")
    print(f"  {r['izoh']} (eski post ko'rsatish mayli)")

    print("\n=== 4. Savdo ===")
    print("  CP: izchillik muhim (bank — noto'g'ri emas)")
    print("  AP: mavjudlik muhim (ijtimoiy — doim javob)")
    print("  ⭐ CAP — izchillik yoki mavjudlik (3 dan 2)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Normal (tarmoq butun) ===
  javob: True, izchil: True — normal (C va A)

=== 2. Tarmoq bo'lindi — CP rejim (bank) ===
  javob: False, izchil: True
  izchil, lekin javob yo'q (noto'g'ri balans emas)

=== 3. Tarmoq bo'lindi — AP rejim (ijtimoiy) ===
  javob: True, izchil: False
  javob bor, lekin eski mumkin (eski post ko'rsatish mayli)

=== 4. Savdo ===
  CP: izchillik muhim (bank — noto'g'ri emas)
  AP: mavjudlik muhim (ijtimoiy — doim javob)
  ⭐ CAP — izchillik yoki mavjudlik (3 dan 2)

Nima ko'rsatdi: 2.6-bo'lim.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"Bazani oson ko'paytir" Holatli (izchillik — qiyin)
"Replika hamma narsani yechadi" O'qish miqyosi (yozish primary)
"Replika darrov yangilanadi" Lag (biroz orqada)
"Replikatsiya = sharding" Nusxa vs bo'lish
"Sharding avval" Oxirgi chora (kesh, replika avval)
"CAP dan 3 ni ol" 3 dan 2 (taqsimlangan)
"Izchillik bepul" Mavjudlik bilan savdo
"Baza — oddiy server" Eng qiyin miqyoslash

6. Keng tarqalgan xatolar va yechimlari

1. Erta sharding

python
# darrov sharding (murakkab)                          # ⚠️
# avval: indeks, kesh, replika (bosqichma)             # ✅

2. Replication lag'ni e'tiborsiz

python
yoz(primary); oqi(replica)   # eski (lag)             # ⚠️
# muhim o'qish primary'dan (yoki lag'ni kut)           # ✅

3. O'qish/yozish ajratmasdan

python
# hamma so'rov primary'ga (yuklanadi)                  # ⚠️
# o'qish replica, yozish primary                        # ✅

4. Noto'g'ri shard kaliti

python
# shard kaliti notekis (bir shard yuklanadi)           # ⚠️
# teng taqsimlaydigan kalit (hash, ID)                  # ✅

5. CAP ni tushunmaslik

python
# izchillik va mavjudlik ikkalasi (bo'linishda)        # ⚠️
# CP yoki AP (ehtiyojga qarab)                          # ✅

6. Kesh o'rniga darrov replika

python
# baza yuki → darrov replika (murakkab)                # ⚠️
# kesh (29.3 — o'qishni kamaytir) avval                 # ✅

7. Shardlararo so'rov (join)

python
# ko'p shard'dan join (sekin, murakkab)                # ⚠️
# shard kaliti bo'yicha (bir shard) yoki denormalizatsiya  # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 23-qism (o'tilgan): Bazalar, indekslar, so'rovlar
  • 29.3-dars (o'tilgan): Kesh — o'qishni kamaytirish
  • 29.6-dars (o'tilgan): Yuk taqsimlash — holatsiz vs holat
  • 27.11-dars (o'tilgan): CQRS — o'qish/yozish ajratish
  • 28.10-dars (o'tilgan): Monitoring — baza yuki, lag

8. Eng yaxshi amaliyotlar

  1. Bosqichma (indeks → kesh → replika → sharding).

  2. Kesh avval (o'qishni kamaytir — 29.3).

  3. Replikatsiya (o'qish miqyosi — read replica).

  4. Read/write ajratish (o'qish replica, yozish primary).

  5. Lag'ni hisobga ol (muhim o'qish primary).

  6. Sharding — oxirgi chora (juda katta).

  7. Teng shard kaliti (notekis emas).

  8. CAP — ehtiyojga qarab (CP/AP).


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # nega baza miqyosi qiyin?
2.  # replikatsiya nima?
3.  # primary nima?
4.  # replica nima?
5.  # replication lag nima?
6.  # sharding nima?
7.  # shard kaliti nima?
8.  # replikatsiya vs sharding?
9.  # read/write ajratish?
10. # CAP teoremasi nima?
11. # CP vs AP?
12. # baza miqyosi tartibi?
Javoblar
  1. Holatli (izchillik — hisoblashdan qiyin)
  2. Bazaning nusxalari (o'qish taqsimlash)
  3. Yozadigan baza (barcha o'zgarish)
  4. O'qiydigan nusxa
  5. Replica primary'dan orqada (kechikish)
  6. Ma'lumotni shardlarga bo'lish
  7. Qaysi shardga (user_id)
  8. Replika nusxa (butun), sharding bo'lish (qism)
  9. O'qish replica, yozish primary
  10. Taqsimlangan — 3 dan 2 (C, A, P)
  11. CP izchil, AP mavjud (bo'linishda)
  12. Indeks → kesh → replika → sharding

Vazifa 2: Xatolarni tuzating

python
1.  # darrov sharding

2.  yoz(primary); oqi(replica)   # lag

3.  # hamma so'rov primary'ga

4.  # notekis shard kaliti

5.  # izchillik + mavjudlik (bo'linish)
Javoblar
python
1.  bosqichma (indeks, kesh, replika)

2.  muhim o'qish primary'dan

3.  o'qish replica, yozish primary

4.  teng taqsimlaydigan kalit

5.  CP yoki AP (tanlash)

Vazifa 3: Replikatsiya

Modellang:

  1. Primary
  2. Replica
  3. Yozish
  4. O'qish

Vazifa 4: Lag

Modellang:

  1. Primary
  2. Yozish
  3. Lag
  4. Replikatsiya

Vazifa 5: Sharding

Modellang:

  1. Shardlar
  2. Shard kaliti
  3. Taqsimlash
  4. O'qish

Vazifa 6: CAP

Modellang:

  1. Normal
  2. Bo'linish
  3. CP
  4. AP

Vazifa 7: O'ylash

Baza miqyosi dastur serverlarini miqyoslashdan 29.6-bob ancha qiyin — sabab holat (ma'lumot). Nima uchun "holatni miqyoslash" tub jihatdan "hisoblashni miqyoslash" dan qiyinroq, va nega CAP teoremasi (izchillik, mavjudlik, bo'linishga chidamlilikning uchalasini birga olib bo'lmasligi) taqsimlangan tizimlarning "tabiat qonuni" — bu fizik cheklov haqida nima aytadi?

Javob

Qisqa javob: "Holatni miqyoslash" hisoblashni miqyoslashdan qiyinroq, chunki: hisoblash — holatsiz (dastur serveri — har biri bir xil, mustaqil, so'rovni qayta ishlaydi va unutadi; ko'paytirish — nusxa ol, LB qo'y — 29.6); holat — ma'lumot (baza — har nusxada ma'lumot bo'lishi kerak, va ular bir xil bo'lishi kerak — izchillik). Hisoblashni ko'paytirsang — muammo yo'q (har server mustaqil); holatni ko'paytirsang — sinxronizatsiya muammosi (nusxalar bir xil bo'lishi kerak — biri o'zgarsa boshqalar ham, lekin bu vaqt oladi — lag, poyga holati). Hisoblash "unutuvchan" (stateless — o'tmish yo'q), holat "eslaydigan" (ma'lumot — tarix, izchillik). Shuning uchun holatni miqyoslash — izchillik muammosi (bir haqiqat, ko'p nusxa — 29.3 kesh, 28.14 drift kabi). CAP teoremasi "tabiat qonuni", chunki u fizik cheklovni ifodalaydi: taqsimlangan tizimda tugunlar tarmoq orqali gaplashadi (ma'lumot yorug'lik tezligidan tez uzatilmaydi — fizik chegara), va tarmoq ishonchsiz (uzilishi mumkin — P majburiy). Tarmoq uzilganda: tugunlar bir-biri bilan gaplasholmaydi → ular kelishishi imkonsiz (izchillik uchun kelishuv kerak) → tanlov: yo kutish (izchillik — C, lekin javob yo'q — mavjudlik qurbon) yo javob berish (mavjudlik — A, lekin eski ma'lumot — izchillik qurbon). Uchalasini birga olib bo'lmaydi, chunki bu mantiqiy/fizik ziddiyat (bo'lingan tugunlar bir vaqtda izchil VA mavjud bo'la olmaydi — ular gaplasholmaydi). Bu "tabiat qonuni" (matematik isbotlangan — Gilbert & Lynch) — muhandis buni yenga olmaydi, faqat tanlashi mumkin (CP yoki AP, ehtiyojga qarab). Muhandislik saboqlari: holat — miqyoslashning qiyin qismi (izchillik, sinxronizatsiya); hisoblash unutuvchan (oson), holat eslaydigan (qiyin); CAP — fizik cheklov (tarmoq ishonchsiz, yorug'lik tezligi) — yengib bo'lmaydi, tanlanadi; taqsimlangan tizim — savdolar (fizika majbur qiladi).

1. Nega holat qiyinroq

Hisoblash: holatsiz (mustaqil, unutuvchan — oson ko'paytirish). Holat: ma'lumot (nusxalar bir xil bo'lishi kerak — sinxronizatsiya).

2. Sinxronizatsiya muammosi

Nusxalarni ko'paytirish → bir xil bo'lishi kerak (izchillik). Biri o'zgarsa → boshqalar (vaqt — lag, poyga).

3. Nega CAP tabiat qonuni

Fizik cheklov: tugunlar tarmoq orqali (yorug'lik tezligi chegarasi), tarmoq ishonchsiz (uziladi — P majburiy).

4. Nega 3 dan 2

Tarmoq uzilganda Tanlov
Kutish (kelishuv) C (izchil), A yo'q
Javob berish A (mavjud), C yo'q

Bo'lingan tugunlar gaplasholmaydi → izchil VA mavjud imkonsiz (ziddiyat).

5. Muhandislik saboqlari

  1. Holat — miqyoslashning qiyin qismi
  2. Hisoblash unutuvchan, holat eslaydigan
  3. CAP — fizik cheklov (yengib bo'lmaydi)
  4. Taqsimlangan — savdolar (fizika majbur)

6. Xulosa

  1. Holat qiyin (izchillik, sinxronizatsiya)
  2. Hisoblash oson (holatsiz, mustaqil)
  3. CAP — fizik ziddiyat (3 dan 2)
  4. Tanlanadi (CP/AP), yengilmaydi

Nimani mustahkamlaydi: 2.1, 2.6-bo'limlar.


Xulosa

Bu darsda baza miqyosini o'rgandik.

Eng muhim uch fikr:

  1. Nega qiyin va replikatsiya. Baza miqyosi qiyin, chunki baza holatli (ma'lumot saqlaydi — dastur serveri holatsiz 29.6 dan farqli): ko'p nusxa — izchillik muammosi (nusxalar bir xilmi?). Replikatsiya — bazaning nusxalari: primary (barcha yozishni qabul qiladi), replica (primary'dan o'zgarishlarni oladi, o'qishni qabul qiladi); o'qish so'rovlari replica'larga taqsimlanadi (o'qish yozishdan ko'p — o'qish miqyosi), yozish primary'ga. Read/write ajratish — o'qish replica, yozish primary (CQRS 27.11 ning baza darajasi).

  2. Lag va sharding. Replikatsiya kechikishi (lag) — primary'ga yozilgan o'zgarish replica'ga ko'chirilishi vaqt oladi — replica biroz orqada (eski): yozgach darrov replica'dan o'qish — eski (buyurtma ko'rinmaydi); eventual consistency 27.11-bob; yechim — muhim o'qish primary'dan. Sharding (bo'lish) — ma'lumotni shardlarga (bo'laklar) ajratish, har shard alohida server (qism ma'lumot); farqi replikatsiyadan: replika nusxa (butun ma'lumot — o'qish miqyosi), sharding bo'lish (qism — yozish ham miqyoslanadi); shard kaliti (user_id) qaysi shardni belgilaydi; murakkab (shardlararo join qiyin).

  3. CAP va bosqichma miqyos. CAP teoremasi — taqsimlangan tizimda uch xususiyatdan faqat ikkisini: C (izchillik — nusxalar bir xil), A (mavjudlik — doim javob), P (bo'linishga chidamlilik — tarmoq); P majburiy (tarmoq uzilishi) — tarmoq bo'linganda C yoki A: CP (izchil, javob bermasligi mumkin — bank), AP (doim javob, eski mumkin — ijtimoiy). Baza miqyosi bosqichma (indeks/so'rov 23-qism → kesh 29.3 → replikatsiya → sharding — oxirgi chora); erta sharding (murakkab) — tuzoq. Baza miqyosi — holatni miqyoslash (hisoblashdan qiyin — izchillik, lag, sharding); CAP — fizik cheklov (tarmoq ishonchsiz, yorug'lik tezligi — yengib bo'lmaydi, tanlanadi — CP/AP). "Ma'lumot — eng qimmatli va eng qiyin qism".

Keyingi darsda katta hajmdagi asyncni o'rganamiz: minglab bir vaqtda ulanishni asinxron kod bilan boshqarish — asyncio chuqurroq, concurrency naqshlari va I/O-bog'liq yuklarni samarali miqyoslash.

Miqyos va unumdorlik · 7-dars yakunlandi

29.7-dars: Baza miqyosi — replikatsiya va sharding

19 daqvaqt
0belgi
Keyingi dars: 29.8-dars: Katta hajmdagi async
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0