JavaScript Full-stackBackup'ni avtomatlashtirish: restic, rclone va tiklash mashqi
JavaScript Full-stack · 34-qism. CI/CD, monitoring, bulut

Backup'ni avtomatlashtirish: restic, rclone va tiklash mashqi

22 daqiqa11/30-dars

Qisqacha: Kunlik zaxira bitta skriptda: pg_dump natijasi to'g'ridan restic'ga oqadi (diskda ochiq fayl qolmaydi), restic uni shifrlab S3'ga yozadi, forget --prune eskilarni siyosat bo'yicha tozalaydi, check ombor butunligini sinaydi, rclone sync offsite'ga ko'chiradi. Muhim detal: --stdin-from-command bilan pg_dump yiqilsa, snapshot yaratilmaydi. Tiklash mashqi — offsite'dan yangi bazaga, vaqt bilan; kanonda 5.4 soniya, qatorlar soni aynan.

Bu darsda

  • restic repo'sini yaratasiz, zaxira olasiz va snapshotlarni ko'rasiz.
  • pg_dump | restic quvuri nega xavfli va --stdin-from-command nimani to'g'rilashini tushuntirasiz.
  • Kanon skripti zaxira-restic.sh ni qatorma-qator o'qiysiz.
  • Saqlash siyosatini kod bilan modellaysiz: 60 kunlik zaxiradan qaysilari qoladi.
  • Offsite'dan tiklash mashqini o'tkazasiz va natijani raqam bilan yozasiz.

Oldin bilishingiz kerak: Backup strategiyasi va disaster recovery, Rejalashtirilgan vazifalar: cron va systemd timer, Bash skriptlar chuqur, Backup va restore.

O'tgan darsda strategiyani tuzdik: uch nusxa, shifrlash, 7/4/6 siyosat, runbook. Endi uni qog'ozdan skriptga ko'chiramiz. Har kuni o'zi ishlaydigan, xato bo'lsa "muvaffaqiyat" demaydigan skriptga.

1. Nega bu kerak?

Qo'lda olinadigan zaxira bir kun albatta unutiladi. Bayram, kasallik, ta'til — va aynan o'sha hafta disk buziladi.

Avtomatik zaxiraning ham o'z tuzog'i bor: u jim yiqiladi. Skript har kuni "ishladi", lekin bir oy oldin parol o'zgargan va pg_dump bo'sh fayl chiqaryapti. Yoki zaxira olinadi, lekin offsite'ga yetib bormaydi.

Shuning uchun bu darsda uch narsani birga quramiz:

  1. Skript — har qadami tekshiriladigan.
  2. Jadval — systemd timer, Rejalashtirilgan vazifalar darsidagidek.
  3. Tiklash mashqi — zaxira haqiqatan tiklanishini isbotlaydigan.

O'xshatish: o't o'chirish mashqi. Maktabda signal chalinadi, hamma chiqadi, kimdir sekundomer ushlaydi. Haqiqiy yong'in kuni hamma eshik qayerdaligini allaqachon biladi.

2. Ikki vosita: restic va rclone

2.1 Kim nima qiladi

Vosita Vazifasi Kanon versiyasi
restic shifrlash, deduplikatsiya, snapshot, saqlash siyosati, tekshiruv 0.19.1
rclone omborlar orasida fayl ko'chirish (S3, Google Drive va boshqalar) 1.75.2

restic'ni Backup strategiyasi darsida ko'rdik. rclone — "bulut uchun rsync": ikki ombor orasida fayllarni nusxalaydi va sinxronlaydi. U restic repo'sining ichini tushunmaydi — shifrlangan obyektlarni boricha ko'chiradi. Aynan shu kerak: offsite provayder kalitni ham, mazmunni ham bilmaydi.

Ikkalasi ham bitta binar fayl. Kanon ularni rasmiy relizdan yuklab, sha256 nazorat yig'indisini tekshirib o'rnatdi. Ubuntu'ning apt omboridagi restic versiyasi ancha eski bo'lishi mumkin. Rasmiy reliz yoki provayder paketini tanlashdan oldin versiyani solishtiring.

2.2 restic repo'si

restic sozlamani muhit o'zgaruvchilaridan oladi:

O'zgaruvchi Nima
RESTIC_REPOSITORY repo manzili, masalan s3:https://<s3-manzil>/<bucket>/vazifalar
RESTIC_PASSWORD_FILE kalit fayli — parolni buyruq qatoriga yozmaslik uchun
AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY S3 kaliti (S3-mos har qanday ombor uchun shu nom)

Repo bir marta restic init bilan yaratiladi. Kanon tajribasida (IlmHamroh, 2026-11), lokal S3-mos omborda:

text
created restic repository 54f4711976 at s3:http://127.0.0.1:4990/zaxira/vazifalar
init: 2033 ms

Shu lahzadan repo shifrlangan. Kalit fayli yo'qolsa — repo ham yo'qolgan hisoblanadi (Backup strategiyasi, «Shifrlash» bo'limi).

3. pg_dump dan restic'ga

3.1 Quvur yolg'on gapiradi

Eng sodda yo'l — quvur (anti-naqsh, ishga tushirilmadi):

bash
pg_dump -Fc vazifalar | restic backup --stdin \
  --stdin-filename vazifalar.dump

Muammo Bash skriptlar chuqur darsidan tanish. pg_dump yarim yo'lda yiqilsa ham, restic o'qigan baytlarini "muvaffaqiyatli snapshot" qilib saqlaydi. Quvurning chiqish kodi — oxirgi buyruqniki. pipefail skriptni to'xtatadi, lekin yarim snapshot omborda allaqachon turibdi. Keyinchalik siz uni "oxirgi zaxira" deb tiklaysiz.

restic hujjati ham shuni ochiq yozadi: stdin'dan kelgan ma'lumot to'liqmi yoki yo'qmi, restic bila olmaydi. Quvur buyruq xatosini yashiradi va buzilgan zaxiraga olib keladi (hujjatga ko'ra, tekshirildi, 2026-11).

3.2 --stdin-from-command

restic dump buyrug'ini o'zi ishga tushirishi mumkin:

bash
restic backup --tag vazifalar --stdin-filename vazifalar.dump \
  --stdin-from-command -- \
  docker exec <db-konteyner> pg_dump -Fc -U postgres vazifalar

-- dan keyingi hamma narsa — dump buyrug'i. restic uning chiqishini o'qiydi va chiqish kodini kutadi. Kod 0 bo'lmasa — zaxira bekor qilinadi, snapshot yaratilmaydi, restic esa 1 bilan chiqadi (hujjatga ko'ra, tekshirildi, 2026-11).

Kanon buni ataylab sinadi: mavjud bo'lmagan bazani zaxiralashga urindi (konteyner nomi qisqartirildi). Chiqishda ikki narsaga qarang: [exit 1] qatori va pastdagi snapshotlar soni.

text
error: failed to save /yoq.dump: Fatal: command failed: exit status 1
Fatal: unable to save snapshot: failed to save /yoq.dump: Fatal: command failed: exit status 1
[exit 1]
6e579b07  2026-11-07 22:28:43  login      vazifalar  168.245 KiB
e0e92993  2026-11-07 22:28:45  login      vazifalar  174.180 KiB
----------------------------------------------------------------
Timestamps shown in local time
2 snapshots

"Buyruq yiqildi: chiqish kodi 1" → "snapshotni saqlab bo'lmadi". restic o'zi ham exit 1 qaytardi, ro'yxatda esa avvalgi 2 ta snapshot qoldi — yangisi qo'shilmadi. Uchinchi ustun — zaxira olingan kompyuter foydalanuvchisi, restic uni avtomatik yozadi (haqiqiy nom login ga almashtirildi).

Ikki detal:

  • docker compose exec da -T bayrog'i — terminal ajratilmasin (Compose sukut bo'yicha terminal ajratadi). Oddiy docker exec da esa shunchaki -t bermang. Terminal rejimida ikkilik chiqish buzilishi mumkin. Skriptdagi sukut buyruq exec -T ni ishlatadi.
  • gzip kerak emas: -Fc formati o'zi siqilgan, restic ham siqadi. Ustidan gzip qo'shish faqat protsessor vaqtini yeydi.

Tekshirib ko'ring: Nega pg_dump > /tmp/dump && restic backup /tmp/dump varianti ham quvurdan yaxshi, lekin --stdin-from-command dan yomonroq?

Javob

&& tufayli pg_dump yiqilsa restic ishga tushmaydi — yarim zaxira yo'q. Lekin shifrlanmagan dump bir muddat diskda yotadi: umask, /tmp tozalanmasa — butun baza ochiq faylda. Disk joyi ham ikki baravar kerak. --stdin-from-command da dump diskka umuman tushmaydi va xato ham ushlanadi.

4. Kanon skripti: zaxira-restic.sh

4.1 Butun skript

Skript deploy/skriptlar/ papkasida, 33-qismdagi zaxira.sh yonida. Quyida izohlar olib tashlangan, uzun qatorlar \ bilan bo'lingan — mazmuni aynan.

deploy/skriptlar/zaxira-restic.sh (to'liq)
bash
#!/usr/bin/env bash
set -euo pipefail
umask 077
: "${RESTIC_REPOSITORY:?RESTIC_REPOSITORY kerak}" \
  "${RESTIC_PASSWORD_FILE:?RESTIC_PASSWORD_FILE kerak}"
RESTIC=${RESTIC:-restic}
RCLONE=${RCLONE:-rclone}
read -r -a DUMP <<< "${PG_DUMP_CMD:-docker compose -p vazifalar \
exec -T db pg_dump -Fc -U postgres vazifalar}"

log() { printf '%s zaxira: %s\n' "$(date -u +%FT%TZ)" "$*"; }

log "zaxira: ${DUMP[*]}"
"$RESTIC" backup --quiet --tag vazifalar \
  --stdin-filename vazifalar.dump --stdin-from-command \
  -- "${DUMP[@]}"
log "saqlash siyosati: 7 kunlik, 4 haftalik, 6 oylik"
"$RESTIC" forget --quiet --tag vazifalar \
  --keep-daily 7 --keep-weekly 4 --keep-monthly 6 --prune
"$RESTIC" check --quiet --read-data-subset=5%
if [[ -n ${OFFSITE:-} ]]; then
  log "offsite: $OFFSITE"
  "$RCLONE" sync --quiet \
    "${RCLONE_ASOSIY:?RCLONE_ASOSIY kerak - asosiy repo \
rclone manzili}" \
    "$OFFSITE"
fi
log "tayyor: $("$RESTIC" snapshots --tag vazifalar --latest 1 \
  --compact | grep -cE '^[0-9a-f]{8} ') ta oxirgi snapshot"

4.2 Qatorma-qator

Qism Nima qiladi Nega
set -euo pipefail xato — to'xtash Bash skriptlar chuqur
umask 077 yaratilgan fayllar faqat egasiga dump va kesh boshqalarga ochilmasin
: "${…:?…}" majburiy sozlama yo'q — darhol chiqish yarim sozlangan skript ishlamasin
read -r -a DUMP dump buyrug'i massivga lokal sinovda boshqa buyruq berish mumkin
log() vaqt belgisi + zaxira: + xabar journald'da qidirish oson

read -r -a DUMP <<< "…" qatorini sekin o'qiymiz. <<< — satrni buyruqning kirishiga beradi (here-string). -a DUMP — kirgan satrni bo'shliqlar bo'yicha so'zlarga bo'lib, DUMP massiviga yozadi. Keyin "${DUMP[@]}" shu so'zlarni alohida argument qilib uzatadi (Bash skriptlar chuqur).

PG_DUMP_CMD bo'lmasa, sukut — Compose ichidagi db xizmati. Kurs tajribasida u lokal Postgres konteyneriga qaratildi. Server va noutbukda bir xil skript, faqat muhit o'zgaruvchisi farq qiladi — 12-factor darsidagi g'oya.

Keyingi to'rt qadam — zaxira sikli:

Qadam Buyruq Xato bo'lsa
1. zaxira backup --stdin-from-command snapshot yo'q, exit 1
2. tozalash forget … --prune eski snapshotlar qoladi
3. tekshiruv check --read-data-subset=5% buzilgan obyekt — exit ≠ 0
4. offsite rclone sync (faqat OFFSITE bo'lsa) offsite eskirib qoladi

3-qadamni alohida tushuntiramiz. check sukut bo'yicha faqat ombor tuzilmasini tekshiradi. --read-data-subset=5% esa har safar ma'lumotning 5 foizini haqiqatan o'qib, nazorat yig'indisini solishtiradi. Disk yoki provayder xatosi tufayli buzilgan bayt shunday topiladi. Foiz bilan berilganda qism har safar tasodifiy tanlanadi, shuning uchun 20 kunda ham butun ombor albatta o'qilgan bo'lmaydi. Hujjatda --read-data-subset=n/t shakli ham bor: ombor t ta teng guruhga bo'linadi, har yurishda n-guruh o'qiladi. Birinchi kuni 1/20, ikkinchi kuni 2/20 — 20 kunda hammasi (hujjatga ko'ra, tekshirildi, 2026-11; kanonda sinalmagan).

Oxirgi qator — xulosa: "1 ta oxirgi snapshot". snapshots --latest 1 --compact eng so'nggi snapshotni bitta qatorda chiqaradi, grep -cE '^[0-9a-f]{8} ' esa 8 belgili ID bilan boshlangan qatorlarni sanaydi. Zaxira bor bo'lsa — 1. U journald'ga tushadi va keyinchalik monitoring o'qiydi (Uptime monitoring va alerting).

4.3 Sozlama fayli

Kalitlar skriptda emas, alohida faylda: /etc/vazifalar/zaxira.env, egasi root, ruxsat 600. Skript izohidagi o'zgaruvchilar bo'yicha namuna (qiymatlar soxta):

text
RESTIC_REPOSITORY=s3:https://s3.example.uz/zaxira/vazifalar
RESTIC_PASSWORD_FILE=/etc/vazifalar/restic-parol
AWS_ACCESS_KEY_ID=<asosiy-s3-kaliti>
AWS_SECRET_ACCESS_KEY=<asosiy-s3-siri>
RCLONE_CONFIG=/etc/vazifalar/rclone.conf
RCLONE_ASOSIY=asosiy:zaxira
OFFSITE=offsite:zaxira

asosiy va offsite — rclone sozlamasidagi ikki ombor nomi (remote). Fayl git'ga tushmaydi.

5. Skript sinovi

5.1 To'liq sikl

Kurs tajribasida skript lokal omborlar bilan to'liq yurgizildi. PG_DUMP_CMD — lokal Postgres konteyneri (nomi qisqartirildi), OFFSITE — ikkinchi ombordagi sinov papkasi:

text
init ok
2026-11-08T05:05:31Z zaxira: zaxira: docker exec <db-konteyner> pg_dump -Fc -U postgres vazifalar
2026-11-08T05:05:34Z zaxira: saqlash siyosati: 7 kunlik, 4 haftalik, 6 oylik
2026-11-08T05:05:39Z zaxira: offsite: asosiy:offsite/skript-sinov2
2026-11-08T05:05:42Z zaxira: tayyor: 1 ta oxirgi snapshot
[exit 0] 11658 ms
offsite: Total objects: 6 Total size: 32.950 KiB (33741 Byte)

Butun sikl — 11.7 soniya, exit 0. Vaqtlarga qarang: zaxira 3 s, forget + check 5 s, offsite 3 s. Kichik bazada ko'p vaqt tarmoq so'rovlariga ketadi.

5.2 Yiqiladigan dump

Endi PG_DUMP_CMD mavjud bo'lmagan bazaga qaratildi:

text
error: failed to save /vazifalar.dump: Fatal: command failed: exit status 1
Fatal: unable to save snapshot: failed to save /vazifalar.dump: Fatal: command failed: exit status 1
[exit 1]
snapshotlar soni: 1

Skript exit 1 bilan to'xtadi: forget, check va rclone sync ishga tushmadi. Eng muhimi — chiqish kodi. Skript "tayyor" yozmadi va 1 qaytardi. systemd bunday xizmatni failed deb belgilaydi, monitoring esa uni ko'radi. Agar skript xatoni yutib, 0 qaytarganida, zaxira har kuni jim yiqilib yotgan bo'lardi.

5.3 Biz shunday xato qildik: ikki tuzoq bir urinishda

Skriptning birinchi versiyasi lokal sinovda ikki joyda yiqildi. Ikkalasi ham kursda allaqachon uchragan tuzoqlar edi.

Birinchisi — apostrof. Offsite xabarida ${RCLONE_ASOSIY:?… yo'li} ko'rinishidagi matn bor edi. ${…} ichidagi apostrof bash uchun qo'shtirnoq ochilishi — skript oxirigacha yopilmadi (yo'l qisqartirildi):

text
deploy/skriptlar/zaxira-restic.sh: line 31: syntax error: unexpected end of file from `if' command on line 25
[exit 2] 4339 ms

"Faylning kutilmagan oxiri: 25-qatordagi if yopilmagan". Bu Bash skriptlar chuqur darsidagi «O'zbekcha apostrof tuzog'i»ning aynan takrori. shellcheck uni ushlaydi (SC1046, SC1073) — lekin skript shellcheck'dan o'tkazilmay yurgizildi. Tuzatish: xabarda apostrofsiz so'z, skriptda esa ogohlantiruvchi izoh.

E'tibor bering: xato 25-qatorda, lekin bash undan oldingi qatorlarni bajarib ulgurgan. Zaxira va forget ishladi, offsite qadami esa ishlamadi. Bash skriptni qatorma-qator o'qiydi — sintaksis xatosi faqat o'sha joyga yetganda chiqadi. Shuning uchun bash -n skript.sh (faqat sintaksis tekshiruvi) va shellcheck yurgizishdan oldin.

Ikkinchisi — Windows'dagi rclone nomi. Sinovda offsite ombor nomi bitta harf edi: a. Windows'da rclone a:offsite ni A: diskidagi papka deb tushundi:

text
2026/11/08 10:04:41 NOTICE: Failed to mkdir: mkdir \\?\A:\offsite: The system cannot find the path specified.

Linux serverda bunday muammo yo'q. Lekin skriptni Windows'da sinasangiz — ombor nomini kamida ikki harfli qiling (asosiy, offsite).

Saboq: o'z tuzog'ingizni bir marta topish yetmaydi. Uni vosita ushlashi kerak — shellcheck CI'da yoki pre-commit'da.

6. Saqlash siyosatini modellash

forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6 aniq nimani qoldiradi? restic hujjatidagi qoida (tekshirildi, 2026-11): snapshoti bor oxirgi n kun (hafta, oy) olinadi va har biridan faqat eng so'nggi snapshot qoladi. Snapshoti yo'q kunlar sanalmaydi. Hafta — dushanba 00:00 dan yakshanba 23:59 gacha. Snapshot bitta turga mos kelsa ham, saqlanadi — turlar "yoki" bilan birlashadi.

Buni kod bilan modellaymiz. 60 kun davomida har kuni 22:00 UTC (03:00 Toshkent) da zaxira olingan:

js
function haftaBoshi(iso) {
  const d = new Date(iso.slice(0, 10) + "T00:00:00Z");
  const kun = (d.getUTCDay() + 6) % 7;
  d.setUTCDate(d.getUTCDate() - kun);
  return d.toISOString().slice(0, 10);
}

const kalit = {
  kunlik: (s) => s.slice(0, 10),
  haftalik: haftaBoshi,
  oylik: (s) => s.slice(0, 7),
};

function saqlanadi(snapshotlar, siyosat) {
  const yangidan = [...snapshotlar].sort().reverse();
  const qoladi = new Set();
  for (const [tur, soni] of Object.entries(siyosat)) {
    const korildi = new Set();
    for (const s of yangidan) {
      if (korildi.size === soni) break;
      const k = kalit[tur](s);
      if (korildi.has(k)) continue;
      korildi.add(k);
      qoladi.add(s);
    }
  }
  return yangidan.filter((s) => qoladi.has(s));
}

const snapshotlar = [];
for (let i = 0; i < 60; i++) {
  const d = new Date(Date.UTC(2026, 8, 9 + i, 22));
  snapshotlar.push(d.toISOString().slice(0, 16));
}
const siyosat = { kunlik: 7, haftalik: 4, oylik: 6 };
const qolgan = saqlanadi(snapshotlar, siyosat);
const ochadi = 60 - qolgan.length;
console.log(qolgan.length, "ta qoladi,", ochadi, "o'chadi");
console.log(qolgan.map((s) => s.slice(5, 10)).join(" "));

Konsolda:

text
11 ta qoladi, 49 o'chadi
11-07 11-06 11-05 11-04 11-03 11-02 11-01 10-31 10-25 10-18 09-30

O'qiymiz. Kunlik qoida oxirgi yetti kunni oldi: 11-07 dan 11-01 gacha. Haftalik qoida to'rt haftaning eng so'nggi kunini oldi: 11-07 va 11-01 allaqachon bor, yangi qo'shilgani — 10-25 va 10-18. Oylik qoida — har oyning oxirgi zaxirasi: noyabrdan 11-07 (bor), oktyabrdan 10-31, sentyabrdan 09-30. Oylik chegara 6, lekin 60 kunda faqat uch oy bor.

Natijada 60 snapshotdan 11 tasi qoladi. Eng ko'pi 17 bo'lishi mumkin, lekin turlar bir-birini qoplaydi. Koddagi yordamchilar:

  • Object.entries(siyosat) — obyektni [kalit, qiymat] juftlariga aylantiradi.
  • Set — bitta snapshotni ikki marta sanamaydi (Set).
  • haftaBoshi — sanani o'sha haftaning dushanbasiga aylantiradi. getUTCDay() yakshanbani 0 deb beradi, (… + 6) % 7 esa dushanbani 0 qiladi. restic haftasi ham dushanbadan boshlanadi.

Maslahat: siyosat ga kunlik: 0 bering. Qancha qoladi? Keyin haftaBoshi ni (s) => s.slice(0, 10) ga almashtiring — haftalik qoida endi kunlik bilan bir xil ishlaydi va natija o'zgaradi.

Modelimiz kunni UTC bo'yicha oladi: Toshkentdagi 03:00 — UTC bo'yicha oldingi kunning 22:00 i. restic esa snapshot vaqtini o'z vaqt zonasi bilan ko'rsatadi ("Timestamps shown in local time"). Kunlar chegarasi zonaga qarab siljishi mumkin — sanalarni solishtirishda yodda tuting (sinalmagan). forget ni haqiqiy repo'da avval --dry-run bilan yurgizing — u faqat ko'rsatadi.

7. Tiklash mashqi

7.1 Qoidalar

Backup strategiyasi darsidagi runbook'ni endi bajaramiz. Kanon mashqining uch qoidasi:

  1. Tiklash offsite'dan — eng uzoq zanjir. Asosiy ombor "yo'qolgan" deb hisoblanadi.
  2. Tiklash yangi bazaga (vazifalar_tiklash) — ishlab turgan bazaga tegilmaydi.
  3. Hammasi vaqt bilan o'lchanadi va natija raqam bilan solishtiriladi.

Mashqdan oldin bazaga 200 ta vazifa qo'shilib, ikkinchi zaxira olingan edi. Demak tiklangan bazada 250 ta vazifa bo'lishi kerak.

7.2 Buyruqlar

Kanon tajriba skriptidan. Yo'llar, konteyner nomi va offsite kaliti qisqartirildi, psql — konteynerdagi psql -X -U postgres -Atq ni chaqiruvchi qisqa funksiya:

bash
psql -d postgres -c "DROP DATABASE IF EXISTS vazifalar_tiklash" \
  -c "CREATE DATABASE vazifalar_tiklash"
RESTIC_REPOSITORY=s3:http://127.0.0.1:4995/zaxira/vazifalar \
  restic dump latest vazifalar.dump > tiklash.dump
docker exec -i <db-konteyner> pg_restore -U postgres \
  -d vazifalar_tiklash --no-owner < tiklash.dump
for t in foydalanuvchilar vazifalar izohlar; do
  echo "$t: asl $(psql -d vazifalar -c "SELECT count(*) FROM $t")" \
    "/ tiklangan $(psql -d vazifalar_tiklash \
    -c "SELECT count(*) FROM $t")"
done

restic dump latest vazifalar.dump — oxirgi snapshotdan bitta faylni stdout'ga chiqaradi. Kalit — o'sha RESTIC_PASSWORD_FILE: offsite repo — asosiy repo'ning nusxasi, kaliti ham bir xil. --no-owner — dump'dagi egalik buyruqlarini tashlab ketadi: yangi bazaning egasi boshqa bo'lishi mumkin (Backup va restore).

7.3 Natija

Kanon tajriba chiqishi aynan. Uch narsaga qarang: RTO qatori, "asl / tiklangan" sonlari va restic check natijasi.

text
=== 7) TIKLASH MASHQI (RTO): OFFSITE'dan, yangi bazaga (vazifalar_tiklash), mavjud bazaga TEGILMAYDI
NOTICE:  database "vazifalar_tiklash" does not exist, skipping
restic dump: 2158 ms, 178360 bayt
tiklash jami (RTO): 5354 ms
foydalanuvchilar: asl 8 / tiklangan 8
vazifalar: asl 250 / tiklangan 250
izohlar: asl 15 / tiklangan 15
=== 8) tekshiruv va saqlash siyosati
no errors were found
Applying Policy: keep 7 daily, 4 weekly, 6 monthly snapshots
keep 2 snapshots:

Nima bo'ldi? === bilan boshlangan qatorlar — tajriba skriptining bosqich sarlavhalari. NOTICE — normal: birinchi mashqda eski tiklash bazasi yo'q edi. Keyin: offsite'dan dump 2.2 s da olindi, butun tiklash 5.4 s. Uchala jadvalda son aynan. restic check — "xato topilmadi", forget --dry-run — ikkala snapshot qoladi.

Butun tajriba qadamlari quyidagicha vaqt oldi:

Zaxira va tiklash mashqi qadamlari
  • restic init2 033 ms
  • 1-zaxira1 525 ms
  • 2-zaxira1 586 ms
  • rclone sync692 ms
  • restic dump (offsite)2 158 ms
  • tiklash jami5 354 ms

Manba: Kurs tajribasi (IlmHamroh, 2026-11): restic 0.19.1, rclone 1.75.2, lokal S3-mos ombor (MinIO), namuna baza 11 MB, har biri bitta o'lchov

Grafikka qarang: eng uzun qadam — tiklash, zaxira emas. Zaxira olish tez bo'lishi tiklash ham tez bo'lishini anglatmaydi. RTO'ni faqat tiklashning o'zi ko'rsatadi.

7.4 Mashq natijasini yozish

Mashq hisobotsiz yarim ish. Kamida shu qatorlar (HA va falokatdan tiklash darsidagi rejaga mos):

text
Sana: 2026-11-07
Manba: offsite, oxirgi snapshot
RTO (baza): 5.4 s
Nazorat: foydalanuvchilar 8/8, vazifalar 250/250, izohlar 15/15
Sinalmagan: ilovani tiklangan bazaga ulash, yangi serverda tiklash
Keyingi mashq: 2026-12-07

"Sinalmagan" qatori — eng foydali qator. Keyingi mashq aynan shu bo'shliqlarni yopadi.

8. Tanlab tiklash va PITR

Har falokat butun bazani talab qilmaydi. Ko'pincha bitta foydalanuvchi "vazifalarim yo'qoldi" deydi.

  • Bitta jadval yoki qatorlar. Butun dump'ni alohida bazaga tiklang, kerakli qatorlarni ishlab turgan bazaga ko'chiring. Usullar — Ma'lumotni qisman ko'chirish darsida. To'liq dump'ni --clean bilan asl bazaga tiklash boshqa foydalanuvchilarning bugungi ishini ham o'chiradi (Backup va restore).
  • Daqiqalar aniqligida. Kunlik dump RPO'si 24 soat. Undan yaxshisi kerak bo'lsa — WAL arxivi va PITR (Backup va restore, HA va falokatdan tiklash). Bu qismning kanonida PITR ishlatilmadi: vazifalar uchun kunlik zaxira yetarli deb qabul qilindi.

9. Jadvalga ulash: systemd timer

33-qismdagi timer har kuni 03:00 (Toshkent) da vazifalar-zaxira.service ni ishga tushiradi (Rejalashtirilgan vazifalar). Yangi skript uning ExecStart qatoriga qo'yilishi kerak.

Halol cheklov: kanon bu qismda service faylini o'zgartirmadi. Skript lokal sinaldi, asosiy serverga zaxira stack'i qo'yilmadi. Loyihadagi service fayli hali eski zaxira.sh ni chaqiradi. O'z serveringizda ulashda quyidagilarni hal qilishingiz kerak (sinalmagan, 2026-11):

  • ExecStart — zaxira-restic.sh ga; EnvironmentFile — /etc/vazifalar/zaxira.env.
  • Foydalanuvchi. Eski service postgres-zaxira nomidan, tarmoq orqali pg_dump qilardi. Yangi skriptning sukut buyrug'i docker compose exec — Docker'ga kirish esa root huquqiga teng (Docker debug va xavfsiz tozalash). Yaxshiroq yo'l: PG_DUMP_CMD ni eski usuldagi pg_dump ga qaratib, postgres-zaxira foydalanuvchisini saqlab qolish.
  • restic keshi. Eski service ProtectSystem=strict bilan faqat /var/backups/vazifalar ga yoza oladi. restic esa keshni uy papkasiga yozadi. Kesh uchun CacheDirectory= yoki --cache-dir kerak bo'ladi.
  • Bir vaqtda ikki nusxa. Eski skriptda flock bor edi. restic repo'ni o'zi qulflaydi, lekin ikkinchi nusxa qulf xatosi bilan yiqiladi.

Ulagandan keyin systemctl start vazifalar-zaxira.service bilan qo'lda yurgizing va systemctl show -p Result bilan natijani tekshiring. Zaxira yiqilganini kimdir bilishi kerak: xizmat failed bo'lsa — alert. Bu Uptime monitoring va alerting darsida.

10. Loyiha qadami

Loyihaga bitta fayl qo'shiladi:

Fayl Nima
deploy/skriptlar/zaxira-restic.sh darsdagi skript (izohlari bilan), 755

O'z kompyuteringizda sinab ko'ring — server shart emas:

  1. restic va rclone'ni rasmiy relizdan o'rnating, sha256 ni tekshiring.
  2. Ikki S3-mos ombor: masalan, ikkita lokal MinIO konteyneri (Object storage: S3 va MinIO).
  3. Kalit faylini yarating (umask 077), restic init.
  4. PG_DUMP_CMD ni lokal bazangizga qaratib, skriptni yurgizing — exit 0.
  5. Mavjud bo'lmagan bazaga qaratib yana yurgizing — exit 1, snapshotlar soni o'zgarmasin.
  6. Offsite'dan yangi bazaga tiklang va qatorlarni sanang. Natijani docs/ZAXIRA.md ga yozing.

Avval bash -n va shellcheck. Commit (o'tgan darsdagi docs/ZAXIRA.md bilan birga):

text
feat(deploy): restic + rclone zaxira skripti (shifrlangan, saqlash siyosati, tekshiruv, offsite)

11. Ko'p uchraydigan xatolar

11.1 pg_dump | restic --stdin

Yarim dump "muvaffaqiyatli" snapshot bo'ladi. --stdin-from-command ishlating.

11.2 Fatal: wrong password or no key found

"Xato parol yoki kalit topilmadi". Kalit fayli boshqa repo'niki yoki tiklashda eskirgan nusxa olingan. Tiklashda aynan parol menejeridagi nusxadan foydalaning va uni har mashqda sinang.

11.3 docker exec da -t

Terminal rejimi ikkilik dump'ni buzishi mumkin. Compose'da exec -T, oddiy docker exec da -t siz.

11.4 Faqat "skript ishladi" deb tekshirish

Exit 0 — zaxira tiklanishining isboti emas. check --read-data-subset va oyma-oy tiklash mashqi.

11.5 Shellcheck'siz skript

Apostrof ${…} ichida — bash sintaksis xatosi, va u faqat o'sha qatorga yetganda chiqadi. bash -n va shellcheck — yurgizishdan oldin.

11.6 forget siz --prune

forget faqat snapshot yozuvini o'chiradi, joy bo'shatmaydi. Joyni --prune (yoki alohida restic prune) bo'shatadi.

12. Mashqlar

Mashqlar kurs/mashqlar/34/11-restic/ da. 2-mashq Node 24.21.0 da, 3-mashq Git Bash'da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Dump buyrug'ini restic o'zi ishga tushiradigan bayroq — --stdin-from-
  • Har safar ma'lumotning 5 foizini o'qib tekshirish — restic check --read-data-=5%
  • Eski snapshotlarni o'chirib, joyni bo'shatish — forget va --
  • Ikki omborni bir xil qiladigan rclone buyrug'i — rclone
  • Kanon mashqida offsite'dan tiklash necha soniya oldi? —
Yechim
  • command — pg_dump yiqilsa, snapshot yaratilmaydi.
  • subset — har safar tasodifiy 5 %; to'liq qamrov uchun n/t shakli.
  • prune — forget faqat yozuvni o'chiradi.
  • sync — o'chirishni ham ko'chiradi (hujumchi xavfi — o'tgan darsda).
  • 5.4 — 11 MB baza, lokal tarmoq; to'liq xizmat RTO'si emas.

2-mashq (o'rta): mashq hisobotini tekshirish

Tiklash mashqi chiqishidan xulosa chiqaradigan mashqXulosasi(matn) funksiyasini yozing. matn — kanon chiqishidagi kabi qatorlar. Funksiya qaytarsin: rtoMs — tiklash jami (RTO): N ms qatoridagi son, farqlar — asl va tiklangan soni farq qiladigan jadvallar nomlari massivi, otdi — RTO topilgan, kamida bitta jadval bor va farq yo'q.

Ishora: matn.split("\n") — qatorlarga bo'lish. Jadval qatori — ^(\w+): asl (\d+) \/ tiklangan (\d+)$ regex'i, match natijasida guruhlar m[1], m[2], m[3] (Guruhlar va alternation). Satrni songa — Number(…).

Yechim
js
function mashqXulosasi(matn) {
  let rtoMs = null;
  let jadvallar = 0;
  const farqlar = [];
  for (const q of matn.split("\n")) {
    const r = q.match(/^tiklash jami \(RTO\): (\d+) ms$/);
    if (r) rtoMs = Number(r[1]);
    const m = q.match(/^(\w+): asl (\d+) \/ tiklangan (\d+)$/);
    if (m) {
      jadvallar++;
      if (m[2] !== m[3]) farqlar.push(m[1]);
    }
  }
  const otdi =
    rtoMs !== null && jadvallar > 0 && farqlar.length === 0;
  return { rtoMs, farqlar, otdi };
}

const kanon = `restic dump: 2158 ms, 178360 bayt
tiklash jami (RTO): 5354 ms
foydalanuvchilar: asl 8 / tiklangan 8
vazifalar: asl 250 / tiklangan 250
izohlar: asl 15 / tiklangan 15`;
console.log(mashqXulosasi(kanon));
const buzuq = kanon.replace("tiklangan 15", "tiklangan 0");
console.log(mashqXulosasi(buzuq));
console.log(mashqXulosasi("restic dump: 2158 ms"));

Konsolda:

text
{ rtoMs: 5354, farqlar: [], otdi: true }
{ rtoMs: 5354, farqlar: [ 'izohlar' ], otdi: false }
{ rtoMs: null, farqlar: [], otdi: false }

Ikkinchi holat — real hayotda uchraydigan tuzoq: tiklash "tez" tugadi, lekin bitta jadval bo'sh. Masalan, dump olinayotganda zaxira foydalanuvchisida o'sha jadvalni o'qish huquqi bo'lmagan. Faqat vaqtga qarasangiz — mashq o'tdi. Uchinchi holat: chiqish yarim — RTO qatori yo'q, jadval yo'q. "Xato yo'q" degani "o'tdi" degani emas, shuning uchun jadvallar > 0 sharti bor.

3-mashq (qiyin): qaysi kuni zaxira tushib qoldi

Zaxira skripti har ishga tushganda zaxira: zaxira: qatorini, muvaffaqiyatli tugaganda zaxira: tayyor: qatorini yozadi (kanon chiqishidagi format). Bash skript yozing. U avval bir necha kunlik zaxira.log yaratsin, keyin awk bilan har kun uchun KUN: OK yoki KUN: YIQILDI chiqarsin (kunlar log tartibida). Oxirida muvaffaqiyat: N/M.

Ishora: kun — birinchi maydonning dastlabki 10 belgisi, substr($1, 1, 10). Kunlar tartibini saqlash uchun alohida massiv: yangi kun kelganda tartib[++n] = kun. index($0, "zaxira: tayyor:") > 0 — qatorda shu matn bormi (Fayl va matn qidirish). awk ichida apostrof ishlatmang.

Yechim
bash
cat > zaxira.log <<'LOG'
2026-11-04T22:00:05Z zaxira: zaxira: pg_dump -Fc vazifalar
2026-11-04T22:00:16Z zaxira: tayyor: 1 ta oxirgi snapshot
2026-11-05T22:00:03Z zaxira: zaxira: pg_dump -Fc vazifalar
Fatal: unable to save snapshot: command failed: exit status 1
2026-11-06T22:00:04Z zaxira: zaxira: pg_dump -Fc vazifalar
2026-11-06T22:00:15Z zaxira: tayyor: 1 ta oxirgi snapshot
2026-11-07T22:00:02Z zaxira: zaxira: pg_dump -Fc vazifalar
2026-11-07T22:00:14Z zaxira: tayyor: 1 ta oxirgi snapshot
LOG
awk '
/zaxira: zaxira:/ {
  kun = substr($1, 1, 10)
  if (!(kun in holat)) { tartib[++n] = kun }
  holat[kun] = "YIQILDI"
}
index($0, "zaxira: tayyor:") > 0 {
  holat[substr($1, 1, 10)] = "OK"
}
END {
  for (i = 1; i <= n; i++) {
    print tartib[i] ": " holat[tartib[i]]
    if (holat[tartib[i]] == "OK") ok++
  }
  print "muvaffaqiyat: " ok "/" n
}
' zaxira.log

Biz ishga tushirdik:

text
2026-11-04: OK
2026-11-05: YIQILDI
2026-11-06: OK
2026-11-07: OK
muvaffaqiyat: 3/4

Har ishga tushish avval "YIQILDI" deb belgilanadi va faqat tayyor qatori uni "OK" ga o'zgartiradi. Bu muhim tanlov: skript yarim yo'lda o'lsa (masalan, server o'chdi), yakun qatori yozilmaydi — va kun "YIQILDI" bo'lib qoladi. Aksincha qilsangiz ("xato qatori bo'lsa — yiqildi"), jim o'lgan zaxira "OK" ko'rinardi. Lekin bu skript bitta narsani ko'rmaydi: timer umuman ishga tushmagan kun logda yo'q. Buni faqat tashqi kuzatuv ushlaydi — "kecha zaxira bo'lmadi" alert'i (Uptime monitoring va alerting).

13. Real ishda

  • restic, Borg, Kopia — VPS loyihalarida eng ko'p uchraydigan zaxira dasturlari. Ko'p jamoalar ustidan qulay qobiq ham ishlatadi (masalan, resticprofile — sinalmagan).
  • Obyekt omborlari: Backblaze B2, Cloudflare R2, Hetzner Object Storage, Wasabi va boshqalar — S3-mos, restic s3: manzili bilan ishlaydi (kanonda faqat MinIO sinaldi). R2 — Cloudflare darsida.
  • Tiklash mashqi kompaniyalarda kalendarga qo'yiladi: oyiga yoki choragiga bir marta, navbatchi muhandis bajaradi, hisobot ichki wiki'ga yoziladi.
  • Intervyu savollari: "Zaxira skriptingiz yiqilganini qanday bilasiz?", "pg_dump | gzip | aws s3 cp sxemasining zaif joyi nima?", "Saqlash siyosatini qanday tanlaysiz?"

Xulosa

  • zaxira-restic.sh: backup --stdin-from-command → forget --prune (7/4/6) → check --read-data-subset=5% → rclone sync offsite.
  • --stdin-from-command da pg_dump yiqilsa snapshot yaratilmaydi, skript exit 1 bilan to'xtaydi va keyingi qadamlar ishlamaydi.
  • Kalitlar — /etc/vazifalar/zaxira.env (600), skriptda emas; dump diskka ochiq holda tushmaydi.
  • Saqlash siyosati turlari bir-birini qoplaydi: 60 kunlik zaxiradan 11 tasi qoladi.
  • Tiklash mashqi: offsite'dan, yangi bazaga, vaqt bilan — 5.4 s, qatorlar aynan; natija va "sinalmagan" qismlar yozib qo'yiladi.
  • Biz qilgan xato: ${…} ichidagi apostrof — 33-qism tuzog'i qaytdi; shellcheck uni ushlaydi.

Keyingi dars: Observability asoslari: metrics, logs, traces — zaxira yiqilganini, sayt sekinlashganini va xatolar ko'payganini qanday ko'rishni boshlaymiz.

Manbalar

34-qism. CI/CD, monitoring, bulut · 11-dars yakunlandi

Backup'ni avtomatlashtirish: restic, rclone va tiklash mashqi

22 daqvaqt
0belgi
Keyingi dars: Observability asoslari: metrics, logs, traces — golden signals va kuzatuv stack'i
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0