Backup strategiyasi va disaster recovery: 3-2-1, offsite, shifrlash va DR rejasi
Qisqacha: Zaxira (backup) haqidagi asosiy savol "zaxira bormi?" emas, "zaxiradan tiklab ko'rilganmi?". Strategiya uch savolga javob beradi. Qayerda saqlanadi: 3-2-1 — uch nusxa, ikki xil tashuvchi, bittasi boshqa provayderda. Kim o'qiy oladi: shifrlash serverdan chiqishdan oldin. Qancha turadi: 7 kunlik, 4 haftalik, 6 oylik. Kanon tajribasida
vazifalarbazasi boshqa provayderdagi nusxadan 5.4 soniyada tiklandi.
Bu darsda
- 33-qismdagi zaxira qaysi falokatlardan himoya qilmasligini aniqlaysiz.
vazifalaruchun 3-2-1 sxemasini quraysiz va uni kod bilan tekshirasiz.- Mijoz tomonida shifrlash, deduplikatsiya va saqlash siyosati nima berishini tushuntirasiz.
- Kanon o'lchagan RPO va RTO'ni o'qiysiz va ularning chegarasini ko'rasiz.
- DR rejasi va runbook'ning minimal shaklini yozasiz.
Oldin bilishingiz kerak: Backup va restore, Yuqori mavjudlik (HA) va falokatdan tiklash, Rejalashtirilgan vazifalar: cron va systemd timer, 12-factor ilova va konfiguratsiya.
O'tgan darsda ilovani sozlamadan ajratdik: image bir xil, .env har muhitda o'zgacha. Endi image'dan ham qimmatroq narsaga o'tamiz. Image'ni CI qayta quradi, foydalanuvchilarning vazifalarini esa hech kim qayta yozib bermaydi.
1. Nega bu kerak?
Rejalashtirilgan vazifalar darsida vazifalar bazasi har kuni 03:00 da /var/backups/vazifalar papkasiga zaxiralanadigan bo'ldi. Tiklash sinovi ham o'tdi: 50 = 50. Lekin o'sha dars oxirida bir gap ochiq qoldi: zaxira o'sha serverda turibdi.
Keling, bir necha voqeani tasavvur qilamiz:
- Server diski buzildi. Baza ham,
/var/backupsham bitta diskda edi. - Hosting provayder hisobingizni bloklab qo'ydi — to'lov kartasi muddati o'tdi yoki shubhali faollik.
- Siz
docker compose down -vni noto'g'ri papkada yozdingiz. Volume'lar o'chdi. - Hujumchi serverga root bo'lib kirdi va hamma narsani shifrlab, to'lov so'radi.
To'rtala holatda ham 33-qismdagi zaxira yordam bermaydi. U ishlab turgan bazaning yonida turibdi, demak u bilan birga yo'qoladi.
Hayotiy o'xshatish: uy kalitining zaxira nusxasini eshik oldidagi gilam ostiga qo'yish. Kalitni yo'qotsangiz — qutqaradi. Lekin uyga o't tushsa yoki o'g'ri gilamni ko'tarsa — yo'q. Haqiqiy zaxira kalit boshqa shahardagi qarindoshingizda turadi. U ham oddiy qutida emas, qulfli qutida.
Bu darsda strategiyani quramiz. Keyingi darsda uni skript bilan avtomatlashtiramiz va falokatni o'ynab ko'ramiz.
2. Nimadan himoyalanamiz
2.1 Tahdidlar xaritasi
Strategiya tahdidlardan boshlanadi. "Zaxira kerak" — juda umumiy gap. "Qaysi hodisada nimani qaytara olamiz?" — aniq savol.
| Hodisa | Replika | Shu serverdagi zaxira | Boshqa provayderdagi zaxira |
|---|---|---|---|
| jarayon yoki disk yiqildi | ha | disk bitta bo'lsa — yo'q | ha |
xato DELETE |
yo'q — u ham o'chadi | ha | ha |
| provayder hisobni yopdi | yo'q | yo'q | ha |
| hujumchi root bo'ldi | yo'q | yo'q | faqat u o'chira olmasa |
Birinchi ustunni HA va falokatdan tiklash darsidan bilasiz: replika — zaxira emas, u xatoni ham sodiqlik bilan takrorlaydi. Ikkinchi ustun — 33-qismdagi holatimiz. Uchinchi ustun — bu darsning maqsadi.
Oxirgi qatorga e'tibor bering: "faqat u o'chira olmasa". Bu shartga «Hujumchi nigohi» bo'limida qaytamiz. U kanonning ham zaif joyi.
2.2 Ikki savol: RPO va RTO
Backup va restore darsida ikki atamani o'rgangansiz. Qisqa eslatma:
- RPO — falokatda ko'pi bilan qancha ma'lumot yo'qotishga tayyormiz (vaqtda);
- RTO — qancha vaqtda qayta ishlashimiz kerak.
Strategiya shu ikki raqamdan kelib chiqadi. Kunlik zaxira — RPO 24 soatgacha. WAL arxivi bilan PITR — daqiqalar (Backup va restore). vazifalar kabi o'quv loyihasi uchun kunlik zaxira yetarli. To'lov tizimi uchun — yo'q.
Tekshirib ko'ring: Zaxira har kuni 03:00 da olinadi. Server 02:50 da butunlay yo'qoldi. Qancha ma'lumot yo'qoladi? Agar 03:10 da yo'qolsa-chi?
Javob
02:50 da — kechagi 03:00 dan beri yozilgan hamma narsa, ya'ni deyarli 24 soat. Bu eng yomon holat, RPO aynan shu bilan o'lchanadi. 03:10 da — atigi 10 daqiqa, agar 03:00 dagi zaxira muvaffaqiyatli tugagan va serverdan tashqariga chiqib ulgurgan bo'lsa. Ikkinchi shart muhim: zaxira faqat offsite'ga yetib borgandan keyin "bor" hisoblanadi.
3. 3-2-1: vazifalar uchun
3.1 Qoida amalda
3-2-1 qoidasini Backup va restore darsida ko'rgansiz: 3 nusxa, 2 xil tashuvchi, 1 tasi boshqa joyda. Endi uni aniq loyihaga qo'llaymiz. Kanon tajribasida (IlmHamroh, 2026-11) uch nusxa quyidagicha:
| Nusxa | Qayerda | Tashuvchi |
|---|---|---|
| 1 — ishlayotgan baza | VPS, Docker volume | server diski |
| 2 — asosiy zaxira | S3-mos obyekt ombori | obyekt saqlash |
| 3 — offsite | boshqa provayderdagi S3 | obyekt saqlash |
Obyekt ombori (object storage) — fayllarni papka va disk o'rniga "bucket" ichidagi obyekt sifatida saqlaydigan xizmat. Uni Object storage: S3 va MinIO darsidan bilasiz. Offsite nusxa (offsite copy) — asl ma'lumotdan jismonan va tashkiliy jihatdan uzoqdagi nusxa: boshqa ma'lumot markazi, yaxshisi boshqa provayder.
Nega 2-nusxa ham, 3-nusxa ham obyekt ombori? "2 xil tashuvchi" talabi 1-nusxa (server diski) va obyekt ombori bilan bajarildi. 3-nusxaning vazifasi boshqa — u boshqa kompaniyada. Bitta provayder xatosi, bitta hisob bloklanishi ikkalasini birga olib ketmaydi.
Diagrammaga qarang: ma'lumot faqat bir tomonga oqadi.
flowchart LR
DB["1: baza, Docker volume"] -->|"pg_dump, restic"| S3A["2: asosiy S3"]
S3A -->|"rclone sync"| S3B["3: offsite S3"]
S3B -.->|"tiklash mashqi"| T["yangi baza"]
K["kalit fayli"] -.-> S3AShifrlash 1-nusxadan chiqishda bo'ladi. Shuning uchun 2-nusxa ham, 3-nusxa ham faqat shifrlangan bloklarni saqlaydi. Tiklash esa ataylab offsite'dan sinaladi — eng uzoq va eng kam ishonchli zanjir.
Kanonda ikkala S3 lokal MinIO konteynerlari edi. Asosiy serverga zaxira stack'i qo'yilmadi — kurs tajribasi qoidasi. Haqiqiy loyihada bular ikki xil provayderning obyekt omborlari bo'ladi.
3.2 Qoidani kod bilan tekshirish
Nusxalar ro'yxatini funksiyaga beraylik. U uchta shartni va bitta qo'shimcha talabni tekshiradi: server tashqarisidagi har nusxa shifrlangan bo'lsin.
function qoida321(nusxalar, asosiyJoy) {
const xatolar = [];
const soni = nusxalar.length;
if (soni < 3) xatolar.push(`nusxa ${soni} ta (3 kerak)`);
const tashuvchilar = new Set(nusxalar.map((n) => n.tashuvchi));
if (tashuvchilar.size < 2) xatolar.push("tashuvchi bitta xil");
const tashqarida = nusxalar.filter((n) => n.joy !== asosiyJoy);
if (tashqarida.length === 0) {
xatolar.push("boshqa joyda nusxa yo'q");
}
for (const n of tashqarida) {
if (!n.shifrlangan) xatolar.push(`${n.nom}: shifrlanmagan`);
}
if (xatolar.length === 0) return "3-2-1 bajarildi";
return xatolar.join("; ");
}
const qism33 = [
{ nom: "baza", tashuvchi: "disk", joy: "VPS", shifrlangan: false },
{ nom: "dump", tashuvchi: "disk", joy: "VPS", shifrlangan: false },
];
const qism34 = [
...qism33.slice(0, 1),
{ nom: "asosiy", tashuvchi: "S3", joy: "A", shifrlangan: true },
{ nom: "offsite", tashuvchi: "S3", joy: "B", shifrlangan: true },
];
console.log(qoida321(qism33, "VPS"));
console.log(qoida321(qism34, "VPS"));Konsolda:
nusxa 2 ta (3 kerak); tashuvchi bitta xil; boshqa joyda nusxa yo'q
3-2-1 bajarildi33-qism holati uchta shartdan birortasini ham bajarmaydi. new Set(...) — takrorlanmaydigan qiymatlar to'plami, size — nechta xil tashuvchi borligi (Set). filter — server tashqarisidagilarni tanlaydi (filter).
Maslahat:
qism34dagi offsite'ningjoyqiymatini"A"ga o'zgartiring. Funksiya xato bermaydi — u "joy" ni faqat serverga solishtiradi. Uni "2 va 3-nusxa ham turli joyda bo'lsin" shartiga kengaytirib ko'ring.
4. Shifrlash: kalit sizda qoladi
4.1 Nega shifrlash kerak
Zaxira — butun bazaning nusxasi: email'lar, parol xeshlari, vazifalar matni. U boshqa kompaniyaning serverida yotadi. Provayder xodimi, buzilgan hisob, noto'g'ri ochiq qolgan bucket — har biri ma'lumot oqishi.
Shuning uchun kanon mijoz tomonida shifrlash (client-side encryption) ishlatadi. Ma'lumot serverdan chiqishdan oldin shifrlanadi, kalit esa faqat sizda. Provayderning "diskdagi shifrlash" xizmati (Ma'lumotlar bazasi xavfsizligi) boshqa narsa: u yerda kalit provayderda turadi.
Kanon vositasi — restic 0.19.1: zaxira dasturi, ma'lumotni bo'laklarga bo'ladi, shifrlaydi va S3 kabi omborga yozadi. Hujjatiga ko'ra u ombordagi hamma ma'lumotni AES-256 (counter rejimi) bilan shifrlaydi va Poly1305-AES bilan "muhrlaydi" (tekshirildi, 2026-11). Oddiy so'z bilan: AES-256 — mazmunni yashiradi, Poly1305 — kimdir bitta baytni o'zgartirsa, restic buni sezadi. Algoritm ichini bilish shart emas. Biz tekshirgan narsa — natija.
4.2 Kanon tajribasi: offsite nima ko'radi
Offsite omboridagi restic repo'sining config faylidan birinchi baytlar olindi va od -c bilan ko'rsatildi. od -c — faylni bayt-bayt chiqaradigan buyruq: harf bo'lsa harfni, bo'lmasa bayt kodini (sakkizlik sanoqda, masalan 211) ko'rsatadi. Chapdagi 0000000 — qator boshining fayldagi o'rni. Qarang: o'qiladigan so'z bormi?
0000000 211 247 252 304 k 201 270 = 305 233 H \a M { 263 _
0000020 @ 221 > 317 350 245 230 z 303 273 222 210 343 317 \a }Bu — tasodifiy baytlar. Na JSON, na matn. Offsite provayder repo'da nima borligini bilmaydi: jadval nomlari ham, fayl nomi ham ko'rinmaydi.
Noto'g'ri kalit bilan repo'ni ochishga urinish:
Fatal: wrong password or no key found"Xato parol yoki kalit topilmadi". Repo hech narsa bermadi.
4.3 Narxi: kalitni yo'qotish = zaxirani yo'qotish
Shifrlashning teskari tomoni bor. Kalit faylini yo'qotsangiz, zaxira hech kimga o'qilmaydi — sizga ham. restic'da "parolni tiklash" tugmasi yo'q.
Kanon skriptining izohida aynan shunday yozilgan: "kalitni YO'QOTMANG — zaxira o'qilmaydi". Amalda:
- kalit faylining nusxasi serverdan tashqarida saqlanadi: parol menejeri, qog'ozdagi nusxa seyfda;
- kalit va zaxira bitta joyda turmaydi — aks holda shifrlash ma'nosiz;
- tiklash mashqi kalitni ham sinaydi: mashqda kalit serverdagi fayldan emas, saqlangan nusxadan olinadi.
Tekshirib ko'ring: Jamoadoshingiz taklif qiladi: "Kalit faylini ham offsite bucket'ga qo'yaylik — server yonsa, kalit ham yo'qolmaydi". Bu nimaga olib keladi?
Javob
Offsite provayderda endi shifrlangan ma'lumot ham, uni ochadigan kalit ham bor. Bucket oqib ketsa yoki provayder xodimi qarasa — shifrlash hech narsadan himoya qilmaydi. Kalit zaxiradan alohida, boshqa kanal orqali saqlanadi: parol menejeri yoki qog'oz.
5. To'liq, inkremental va deduplikatsiya
5.1 Uch xil zaxira
Backup va restore darsida uch turni ko'rgansiz: to'liq (hammasi), differensial (oxirgi to'liq zaxiradan beri o'zgarganlar) va inkremental (oxirgi istalgan zaxiradan beri o'zgarganlar). Inkremental arzon, lekin tiklashda zanjir kerak: to'liq + har bir bo'lak. Zanjirning bitta halqasi buzilsa — undan keyingilar ham yaroqsiz.
restic boshqacha yo'l tutadi. Har snapshot to'liq ko'rinadi: undan alohida tiklash mumkin, zanjir yo'q. Snapshot — restic'da zaxiraning bir lahzadagi holati, o'z identifikatori bilan. Ichkarida esa omborga faqat yangi bo'laklar yoziladi. Bu — deduplikatsiya (deduplication): bir xil bo'lak bir marta saqlanadi, takroriy nusxalar unga havola qiladi.
5.2 Kanon o'lchovi: deduplikatsiya ishlamadi
Kanon ikki marta zaxira oldi. Birinchisi — namuna bazadan, ikkinchisi — 200 ta vazifa qo'shilgandan keyin. restic chiqishidan:
Added to the repository: 168.560 KiB (32.825 KiB stored)
Added to the repository: 174.494 KiB (37.773 KiB stored)"Added" — omborga qo'shilgan yangi ma'lumot, qavs ichida — siqilgandan keyin diskka yozilgani. Diqqat qiling: ikkinchi zaxira deyarli butun dump'ni (174 KiB) qaytadan qo'shdi. Deduplikatsiya sezilmadi.
- 1-zaxira, qo'shildi168,56 KiB
- 1-zaxira, yozildi32,825 KiB
- 2-zaxira, qo'shildi174,494 KiB
- 2-zaxira, yozildi37,773 KiB
Manba: Kurs tajribasi (IlmHamroh, 2026-11): restic 0.19.1, namuna baza 11 MB, pg_dump -Fc, har biri bitta o'lchov
Natijani halol o'qiylik. Ikkala zaxira offsite'ga ko'chirilgandan keyin omborda jami 10 ta obyekt, 72.754 KiB bo'ldi — deyarli 32.8 + 37.8 ning yig'indisi. Ya'ni ikki snapshot ikki alohida nusxa kabi joy oldi.
Nega? Ikki ehtimoliy sabab bor, ikkalasi ham hujjatga tayanadi va alohida o'lchanmadi:
- restic faylni 512 KiB dan 8 MiB gacha, o'rtacha 1 MiB lik bo'laklarga bo'ladi. 512 KiB dan kichik fayl esa umuman bo'linmaydi (hujjatga ko'ra, tekshirildi, 2026-11). 170 KiB lik dump — bitta bo'lak: bitta bayt o'zgarsa, butun bo'lak yangi.
pg_dump -Fcjadval ma'lumotini o'zi siqadi. Siqilgan oqimda kichik o'zgarish ko'p baytni siljitadi. Katta bazada ham bu deduplikatsiyani kamaytiradi.
Siqish esa ishladi: 168 KiB dan 33 KiB yozildi. Kichik loyiha uchun bu yetarli. Katta bazada deduplikatsiya muhim bo'lsa, siqilmagan dump formatini o'lchab ko'rish kerak — kanon buni sinamadi.
Saboq: "vosita deduplikatsiya qiladi" degan gap sizning ma'lumotingizda ishlashini anglatmaydi. O'lchang.
6. Saqlash siyosati
6.1 7 kunlik, 4 haftalik, 6 oylik
Zaxiralarni abadiy saqlash qimmat. Faqat oxirgisini saqlash xavfli: xato DELETE uch kundan keyin sezilsa, oxirgi zaxirada ham u o'chgan bo'ladi.
Saqlash siyosati (retention policy) — qaysi zaxira qancha turishini belgilaydigan qoida. Kanon siyosati klassik "bobo-ota-o'g'il" sxemasi (grandfather-father-son): oylik nusxa — "bobo", haftalik — "ota", kunlik — "o'g'il". Yoshroq nusxalar ko'p va qisqa yashaydi, keksalari kam va uzoq:
| Daraja | Nechta | Qamrov |
|---|---|---|
| kunlik | 7 | oxirgi bir hafta, har kun |
| haftalik | 4 | taxminan bir oy, har hafta |
| oylik | 6 | yarim yil, har oy |
Eng ko'pi bilan 7 + 4 + 6 = 17 snapshot. Ba'zi snapshot bir vaqtda ham kunlik, ham haftalik bo'ladi — shunda kamroq. Bugungi xatoni kechagi zaxiradan, o'tgan oy sezilmagan xatoni oylik zaxiradan tiklaysiz.
restic bu siyosatni forget buyrug'i bilan qo'llaydi. Kanonda ikki snapshot bilan sinov (--dry-run — faqat ko'rsatadi, o'chirmaydi):
Applying Policy: keep 7 daily, 4 weekly, 6 monthly snapshots
keep 2 snapshots:Ikkala snapshot ham saqlanadi — hali chegaradan ancha uzoqmiz. Qaysi biri qachon o'chishini keyingi darsda kod bilan modellaymiz.
6.2 Saqlash muddati va shaxsiy ma'lumot
Saqlash siyosatining yana bir tomoni bor. Ma'lumot saqlash muddati darsida foydalanuvchi hisobini o'chirishni qurdik. Lekin uning ma'lumoti oylik zaxirada yana yarim yil yotadi.
Bu odatiy holat, lekin uni yozib qo'yish kerak: maxfiylik siyosatida zaxiralarning saqlash muddati aytiladi. Tiklashda esa o'chirilgan hisoblar qaytib kelmasligi kerak — buni tiklash runbook'i hisobga oladi. Qonunchilik tafsiloti — Shaxsiy ma'lumotlar qonunchiligi darsida.
7. RPO va RTO: kanon raqamlari
7.1 O'lchangan qiymatlar
Kanon tiklash mashqini o'tkazdi: zaxira offsite'dan olinib, yangi bazaga tiklandi. Asl bazaga tegilmadi. Natija (to'liq chiqish keyingi darsda):
restic dump: 2158 ms, 178360 bayt
tiklash jami (RTO): 5354 ms
foydalanuvchilar: asl 8 / tiklangan 8
vazifalar: asl 250 / tiklangan 250
izohlar: asl 15 / tiklangan 15| Ko'rsatkich | Kanonda | Nimaga bog'liq |
|---|---|---|
| RPO | ≤ 24 soat | zaxira oralig'i (kunlik timer) |
| RTO (baza) | 5.4 s | baza hajmi, tarmoq tezligi |
| RTO (butun xizmat) | o'lchanmadi | yangi server, deploy, DNS |
7.2 Raqamni to'g'ri talqin qilish
5.4 soniya — chiroyli raqam. Lekin u nimani o'lchaganini aniq ayting.
- Baza kichik. Namuna baza 11 MB, dump 178 KB. Katta bazada
pg_restorevaqti hajm bilan birga o'sadi. 27-qismda 417 MB baza 20–33 soniyada tiklangan edi (Backup va restore). - Tarmoq lokal. Ikkala S3 bir kompyuterdagi konteyner edi. Haqiqiy offsite internet orqali — yuklab olish vaqti qo'shiladi.
- Faqat baza. Server butunlay yo'qolsa, avval yangi VPS kerak: VPS'ni noldan tayyorlash, keyin deploy (VPS'ga avtomatik deploy), keyin DNS. Bu zanjir o'lchanmadi.
Shuning uchun haqiqiy RTO'ni "5 soniya" deb yozmang. "Baza tiklash 5.4 s (11 MB, lokal tarmoq); to'liq xizmat — o'lchanmagan" — halol yozuv shu.
Tekshirib ko'ring: Rahbar so'raydi: "Server yonib ketsa, qancha vaqtda qaytamiz?" Siz faqat yuqoridagi jadvalga qarab nima deysiz?
Javob
Halol javob: "bazani tiklash bir necha soniya, lekin to'liq qaytish vaqtini hali o'lchamaganmiz". Keyin uni o'lchash rejasini taklif qiling: yangi server tayyorlash + deploy + offsite'dan tiklash + DNS — bitta mashqda, sekundomer bilan. O'lchanmagan RTO — taxmin, va u odatda optimistik bo'ladi.
8. DR rejasi va runbook
8.1 Reja nimadan iborat
Falokatdan tiklash (DR) rejasi — katta hodisada kim, nimani, qaysi tartibda qilishi yozilgan hujjat. Uni tinch kunda yozasiz, chunki falokat kuni o'ylashga vaqt bo'lmaydi.
Minimal DR rejasi besh savolga javob beradi:
- Nima yo'qolishi mumkin? «Tahdidlar xaritasi» bo'limidagi jadval.
- Maqsad raqamlari qanday? RPO va RTO.
- Zaxiralar qayerda, kalitlar qayerda? Ombor manzillari, kim kira oladi, kalit nusxasi qayerda.
- Tiklash qadamlari qanday? Runbook.
- Oxirgi mashq qachon bo'ldi va natijasi qanday? Sana, vaqt, topilgan muammolar.
8.2 Runbook
Runbook (amallar qo'llanmasi) bilan HA va falokatdan tiklash darsida tanishgansiz. Bu kechasi 03:00 da charchagan odam ham bajara oladigan qadamlar ro'yxati. Kanon tiklash mashqi asosida vazifalar bazasi uchun qisqa runbook:
1. Kalitni oling: parol menejeridan restic kaliti
2. Offsite repo'ni tekshiring: restic snapshots
3. Yangi baza yarating (asl bazaga tegmang)
4. Dump'ni oling: restic dump latest vazifalar.dump
5. Tiklang: pg_restore --no-owner -d <yangi baza>
6. Nazorat: foydalanuvchilar, vazifalar, izohlar soni
7. Ilovani yangi bazaga ulang, /v1/vazifalar 401 qaytsin
8. Vaqtni va muammolarni yozingBuyruqlarning to'liq shakli keyingi darsda. 3-qadam muhim: tiklashni ishlab turgan bazaning ustiga emas, yangisiga qiling. To'liq --clean bilan tiklash qaysi qatorlarni o'chirishini Backup va restore darsida ko'rgansiz.
7-qadam ko'p unutiladi. Rollar va parollar pg_dump ga tushmaydi. Ilova tiklangan bazaga ulana olmasa — RTO hali tugamagan.
8.3 Provayder snapshotlari
Ko'p VPS provayderlari serverning disk snapshotini taklif qiladi: bir tugma bilan butun serverning nusxasi. Bu qulay, lekin uchta cheklovi bor (umumiy holda, kanonda sinalmagan — pullik xizmat):
- snapshot o'sha provayderda turadi — hisob bloklansa, u ham yo'q;
- ishlab turgan bazaning disk nusxasi har doim ham izchil emas — baza tiklashda tekshiruv qiladi, lekin buni sinab ko'rish kerak;
- RPO — snapshot oralig'i, odatda kunlik.
Xulosa: provayder snapshoti — tez qayta tiklashning yaxshi qo'shimchasi. U offsite zaxira o'rnini bosmaydi.
9. Hujumchi nigohi
Hujumchi serverga root bo'lib kirdi deylik. U zaxiralar haqida nimani biladi?
/etc/vazifalar/zaxira.envfaylida asosiy S3 kaliti bor — u bilan zaxirani o'chira oladi.- rclone sozlamasida offsite S3 kaliti bor — u bilan offsite'ni ham o'chira oladi.
- Hatto o'chirmasa ham: navbatdagi
rclone syncasosiy ombordagi o'chirilganlarni offsite'dan ham o'chiradi.syncikki omborni bir xil qiladi, o'chirishni ham ko'chiradi (rclone hujjatiga ko'ra, tekshirildi, 2026-11).
Ya'ni kanon sxemasi provayder yoki disk falokatidan himoya qiladi. Lekin serverni to'liq egallagan hujumchidan — yo'q. Bu kanonning halol chegarasi.
Himoya variantlari — hammasi kanonda sinalmagan (hujjat bo'yicha, 2026-11):
| Usul | G'oya | Narxi |
|---|---|---|
| faqat qo'shish huquqi | server kaliti yozadi, lekin o'chira olmaydi | eskilarini tozalash alohida, ishonchli joydan |
| bucket versiyalash yoki Object Lock | o'chirilgan obyekt muddat tugaguncha qoladi | joy ko'proq ketadi |
| offsite'ni boshqa mashina tortadi | server offsite kalitini umuman bilmaydi | ikkinchi mashina kerak |
Masalan, restic'ning rest-server dasturida --append-only rejimi bor: yangi zaxira yaratish mumkin, mavjudlarini o'chirish va o'zgartirish — yo'q. Amazon S3'dagi Object Lock obyektni belgilangan muddat davomida o'chirish va ustidan yozishdan himoya qiladi; u faqat versiyalash yoqilgan bucket'da ishlaydi (ikkalasi ham hujjatga ko'ra, tekshirildi, 2026-11). Boshlang'ich loyiha uchun eng sodda qadam — offsite kalitini serverda saqlamaslik va offsite'ni boshqa kompyuterdan tortish. Xavfsizlik chuqur — 35-qismda.
10. Loyiha qadami
Bu dars — strategiya. Kod keyingi darsda.
O'z loyihangiz uchun qisqa hujjat yozing, masalan docs/ZAXIRA.md:
- Uch nusxa: qayerda, qaysi provayder, qaysi tashuvchi.
- RPO va RTO maqsadi — raqam bilan.
- Saqlash siyosati: 7 kunlik, 4 haftalik, 6 oylik (yoki o'zingizniki, sababi bilan).
- Kalit qayerda saqlanadi va kimda nusxasi bor.
- Runbook — yuqoridagi sakkiz qadam.
- Oxirgi tiklash mashqi: sana va natija — hozircha bo'sh.
Offsite uchun ikkinchi provayderni hozirdan tanlang. Kursda ikkala ombor lokal MinIO bilan sinaladi, shuning uchun bu qadam ixtiyoriy. Hali commit qilmang — Backup'ni avtomatlashtirish darsida skript bilan birga bitta commit.
11. Ko'p uchraydigan xatolar
11.1 Zaxira o'sha serverda
33-qismdagi holat. Disk, provayder yoki hujumchi — uchala holatda ham baza bilan birga yo'qoladi.
11.2 Shifrlanmagan offsite
"Provayder ishonchli" — lekin bucket noto'g'ri sozlansa, butun baza internetda. Shifrlash serverdan chiqishdan oldin.
11.3 Kalit zaxira bilan bir joyda
Kalit bucket'da yoki faqat serverda — birinchi holatda shifrlash ma'nosiz, ikkinchisida server bilan birga kalit ham ketadi.
11.4 Faqat oxirgi zaxirani saqlash
Xato bir necha kundan keyin sezilsa, hamma zaxirada xato bor. Saqlash siyosati bir necha "orqaga qaytish nuqtasi" beradi.
11.5 O'lchanmagan RTO
"Bir soatda tiklaymiz" — tiklab ko'rilmaguncha taxmin. Har mashqda vaqtni yozing.
11.6 Tiklashni asl bazaga qilish
Mashqda asl bazaning ustiga tiklash — mashqning o'zini falokatga aylantiradi. Har doim yangi bazaga.
12. Mashqlar
Mashqlar kurs/mashqlar/34/10-zaxira/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).
1-mashq (oson): bo'shliqlarni to'ldiring
- 3-2-1 da "1" — nechta nusxa boshqa joyda bo'lishi —
- Ma'lumot serverdan chiqishdan oldin shifrlanishi — mijoz shifrlash
- Bir xil bo'lakni bir marta saqlash —
- Kanon siyosati: 7 kunlik, 4 haftalik va nechta oylik? —
- Kechasi bajariladigan qadamlar ro'yxati —
Yechim
- 1 — boshqa provayder yoki ma'lumot markazi.
- tomonida — kalit faqat sizda, provayder shifrlangan bloklarni ko'radi.
- deduplikatsiya — kanonda kichik dump'da sezilmadi: bitta bo'lak.
- 6 — eng ko'pi 7 + 4 + 6 = 17 snapshot.
- runbook — DR rejasining "qanday" qismi.
2-mashq (o'rta): falokatda qancha yo'qoladi
yoqotish(zaxiralar, falokat) funksiyasini yozing. zaxiralar — muvaffaqiyatli offsite zaxiralarining vaqtlari (ISO satrlar, tartibsiz). falokat — falokat vaqti. Funksiya obyekt qaytarsin: oxirgi — falokatdan oldingi eng so'nggi zaxira (yo'q bo'lsa null), daqiqa — yo'qotilgan daqiqalar soni (zaxira yo'q bo'lsa null). Yana bitta funksiya: engYomonRpo(zaxiralar) — ketma-ket zaxiralar orasidagi eng katta oraliq, soatda.
Ishora: vaqtni songa Date.parse(satr) aylantiradi (millisoniya). Tartiblash — [...zaxiralar].sort(): ISO satrlar matn sifatida ham to'g'ri tartiblanadi (sort).
Yechim
function yoqotish(zaxiralar, falokat) {
const f = Date.parse(falokat);
const oldin = zaxiralar.filter((z) => Date.parse(z) <= f).sort();
if (oldin.length === 0) return { oxirgi: null, daqiqa: null };
const oxirgi = oldin[oldin.length - 1];
const daqiqa = (f - Date.parse(oxirgi)) / 60000;
return { oxirgi, daqiqa };
}
function engYomonRpo(zaxiralar) {
const t = [...zaxiralar].sort().map((z) => Date.parse(z));
let eng = 0;
for (let i = 1; i < t.length; i++) {
eng = Math.max(eng, (t[i] - t[i - 1]) / 3600000);
}
return eng;
}
const zaxiralar = [
"2026-11-06T22:00:00Z",
"2026-11-04T22:00:00Z",
"2026-11-07T22:00:00Z",
];
console.log(yoqotish(zaxiralar, "2026-11-07T21:50:00Z"));
console.log(yoqotish(zaxiralar, "2026-11-04T10:00:00Z"));
console.log(engYomonRpo(zaxiralar), "soat");Konsolda:
{ oxirgi: '2026-11-06T22:00:00Z', daqiqa: 1430 }
{ oxirgi: null, daqiqa: null }
48 soatBirinchi holat — «RPO va RTO» savolidagi 02:50 voqeasi: Toshkentda 02:50 = UTC 21:50, oxirgi zaxira bir kun oldingi 03:00 (UTC 22:00). Yo'qotish 1 430 daqiqa — 24 soatdan atigi 10 daqiqa kam. Ikkinchi holatda hali bitta ham zaxira yo'q. engYomonRpo esa 48 soat qaytardi: 5-noyabrdagi zaxira tushib qolgan. Rejadagi RPO 24 soat, haqiqiysi — ikki baravar. Shuning uchun zaxira yiqilsa, kimdir bilishi kerak — bu Uptime monitoring va alerting mavzusi.
3-mashq (qiyin): inventarni tekshirish
Bash skript yozing. U avval nusxalar.txt faylini yaratsin: har qatorda nom|tashuvchi|joy|shifr (shifr — ha yoki yoq). Keyin awk bilan: nusxalar soni, xil tashuvchilar soni, VPS dan tashqaridagi nusxalar soni va shifrlanmagan tashqi nusxalar ro'yxatini chiqarsin. Oxirgi qator — XULOSA: 3-2-1 bajarildi yoki XULOSA: bajarilmadi.
Ishora: -F'|' — ajratgich |. Xil qiymatlarni sanash uchun massiv: if (!($2 in t)) { t[$2] = 1; xil++ } (Fayl va matn qidirish). awk ichida apostrof ishlatmang.
Yechim
cat > nusxalar.txt <<'TXT'
baza|disk|VPS|yoq
asosiy|S3|provayder-A|ha
offsite|S3|provayder-B|ha
eski-dump|disk|noutbuk|yoq
TXT
awk -F'|' '
{
jami++
if (!($2 in t)) { t[$2] = 1; xil++ }
if ($3 != "VPS") {
tashqi++
if ($4 != "ha") ochiq = ochiq " " $1
}
}
END {
print "nusxalar: " jami
print "xil tashuvchi: " xil
print "tashqarida: " tashqi
print "shifrlanmagan tashqi:" (ochiq == "" ? " yoq" : ochiq)
ok = (jami >= 3 && xil >= 2 && tashqi >= 1 && ochiq == "")
print "XULOSA: " (ok ? "3-2-1 bajarildi" : "bajarilmadi")
}
' nusxalar.txtBiz ishga tushirdik:
nusxalar: 4
xil tashuvchi: 2
tashqarida: 3
shifrlanmagan tashqi: eski-dump
XULOSA: bajarilmadiRaqamlar bo'yicha 3-2-1 bajarilgan: 4 nusxa, 2 tashuvchi, 3 tasi tashqarida. Lekin noutbukdagi eski dump shifrlanmagan. Bu real hayotdagi eng ko'p uchraydigan teshik: "bir marta tekshirish uchun" yuklab olingan dump unutilib qoladi. Noutbuk o'g'irlansa — butun baza ketadi. ochiq == "" ? … : … — ternar operator (Ternary).
13. Real ishda
- Zaxira — ishga qabul savoli. "Ma'lumotlar bazangizni oxirgi marta qachon tiklab ko'rgansiz?" — DevOps va backend intervyularida tez-tez beriladi. Yaxshi javob: sana, vaqt va topilgan muammo.
- Vositalar: restic, Borg, Kopia — mijoz tomonida shifrlovchi zaxira dasturlari. Postgres uchun — pgBackRest va WAL-G (Backup va restore). Boshqariladigan bazalarda zaxirani provayder qiladi, lekin offsite va tiklash mashqi baribir sizning ishingiz.
- Kompaniyalarda DR rejasi audit talabi: bank va to'lov tizimlarida mashq natijalari hujjatlashtiriladi.
- Intervyu savollari: "3-2-1 nima?", "RPO va RTO farqi?", "Replika nega zaxira emas?", "Zaxirani hujumchidan qanday himoya qilasiz?"
Xulosa
- Zaxira o'sha serverda bo'lsa, disk, provayder va hujumchi falokatlaridan himoya qilmaydi.
- 3-2-1 kanonda: baza (server diski) + asosiy S3 + boshqa provayderdagi offsite S3.
- Shifrlash serverdan chiqishdan oldin; kalit zaxiradan alohida saqlanadi, uni yo'qotish = zaxirani yo'qotish.
- Deduplikatsiyani o'lchang: kanonda kichik dump'da u ishlamadi, siqish esa 5 baravar tejadi.
- Saqlash siyosati 7/4/6; RPO ≤ 24 soat; baza RTO 5.4 s (kichik baza, lokal) — to'liq xizmat RTO'si hali o'lchanmagan.
rclone synco'chirishni ham ko'chiradi: serverni egallagan hujumchidan alohida himoya kerak.
Keyingi dars: Backup'ni avtomatlashtirish: cron, restic/rclone va tiklash mashqi — strategiyani skriptga aylantiramiz va falokatni o'ynab, offsite'dan tiklaymiz.
Manbalar
- restic hujjati — References, Design (shifrlash, bo'laklash): https://restic.readthedocs.io/en/stable/100_references.html (tekshirildi, 2026-11)
- restic hujjati — Removing backup snapshots (
forget, saqlash siyosati): https://restic.readthedocs.io/en/stable/060_forget.html (tekshirildi, 2026-11) - rclone hujjati —
rclone sync: https://rclone.org/commands/rclone_sync/ (tekshirildi, 2026-11) - restic rest-server — append-only rejimi: https://github.com/restic/rest-server (tekshirildi, 2026-11)
- Amazon S3 hujjati — Object Lock: https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lock.html (tekshirildi, 2026-11)
- Kurs tajribasi (IlmHamroh, 2026-11): restic 0.19.1 + rclone 1.75.2, ikkita lokal S3-mos ombor (MinIO), namuna baza 11 MB — zaxira, noto'g'ri kalit, offsite nusxa, offsite'dan yangi bazaga tiklash. Mashq yechimlari — biz ishga tushirdik (2026-11-08).
Izohlar · 0
Izoh yozish uchun kiring.