JavaScript Full-stackVideo va fayl saqlash dizayni: bo'laklab yuklash, transkod va HLS streaming
JavaScript Full-stack · 36-qism. Arxitektura va system design

Video va fayl saqlash dizayni: bo'laklab yuklash, transkod va HLS streaming

22 daqiqa42/44-dars

Qisqacha: Video platforma — katta fayllarni qabul qilib, ularni bir nechta sifatga o'giradigan va tomoshabinga bo'laklab yetkazadigan tizim. Baytlar ilova serveridan o'tmaydi: mijoz object storage'ga to'g'ridan yuklaydi, transkod navbatdagi ishchilarda bajariladi, tomosha esa CDN orqali kichik segmentlar bilan boradi. Ilova serverida faqat metama'lumot qoladi. Hisob-kitobda eng katta raqam — saqlash emas, chiquvchi trafik.

Bu darsda

  • Video platforma uchun saqlash, trafik va transkod ishlarini formula bilan hisoblaysiz va farazlar bir-biriga mos kelishini tekshirasiz.
  • Nega baytlar ilova serveridan o'tmasligi kerakligini va presigned yuklash qanday ishlashini tushuntirasiz.
  • Bo'laklab va davom ettiriladigan yuklashni rejalashtirasiz.
  • Transkod navbati, HLS segmentlari va CDN o'rnini dizaynda ko'rsatasiz.
  • Deduplikatsiya qachon foydali va qachon ma'lumot sizdirishini misolda ko'rasiz.

Oldin bilishingiz kerak: Dizayn: to'lov tizimi, Object storage: S3 va MinIO, Presigned URL'lar, Video va audio: ffmpeg.

1. Nega bu kerak?

Dizayn: to'lov tizimi darsida yuk kichik, xato esa qimmat edi. Bu darsda teskari manzara: har bir alohida xato arzon (bitta video sekin yuklandi), lekin hajmlar ulkan. Bitta foydalanuvchi bir necha yuz megabaytlik faylni yuklaydi, minglab odam esa uni bir vaqtda ko'radi.

vazifalar-api da fayllar 29-qismdan beri bor: vazifaga rasm yoki PDF biriktiriladi. Baytlar S3 mos omborda (lokal kurs muhitida RustFS), bazada esa faqat metama'lumot. Fayl 10 MB dan oshmaydi. Video platformada esa fayl gigabaytlab, va u bir marta yuklanib, millionlab marta o'qiladi.

Hayotiy o'xshatish: kitob nashriyoti. Muallif qo'lyozmani topshiradi (yuklash). Nashriyot uni turli formatlarda chiqaradi: qalin muqovali, yumshoq muqovali, cho'ntak hajmida (transkod). Kitoblar markaziy ombordan emas, shahar bo'ylab do'konlardan sotiladi (CDN). Nashriyot ofisida faqat katalog turadi (metama'lumot), kitoblarning o'zi emas.

2. Talablar va hisob-kitob

2.1 Nimani quramiz

Funksional talablar:

  • Video yuklash, uzilgandan keyin davom ettirish bilan.
  • Bir nechta sifatga o'girish (240p dan 1080p gacha).
  • Tomosha: tarmoq tezligiga qarab sifat o'zgaradi.
  • Metama'lumot: nom, egasi, davomiylik, holat ("qayta ishlanmoqda", "tayyor").

Nofunksional talablar:

  • Ilova serverlari baytlarni tashimaydi.
  • Tomosha boshlanishi bir-ikki soniyada.
  • Yuklangan video yo'qolmaydi; transkod yiqilsa, qayta uriniladi.

2.2 Raqamlar

Farazlar dars uchun, ular real kompaniya raqami emas. Kuniga 500 ming video, har biri 5 daqiqa. To'rt sifat birgalikda daqiqasiga taxminan 6 MB. Kuniga 20 million ko'rish, har biri 5 daqiqa, o'rtacha 3 Mbit/s.

js
// Farazlar dars uchun, real kompaniya raqami emas
const yangiVideo = 500e3;    // kuniga yuklanadigan video
const daqiqa = 5;            // har video uzunligi
const mbDaqiqa = 6;          // 4 sifat jami, MB/daqiqa (faraz)
const korish = 20e6;         // kuniga ko'rishlar
const bitrate = 3e6;         // tomosha, bit/s

const kunlikTB = (yangiVideo * daqiqa * mbDaqiqa) / 1e6;
const trafik = (korish * daqiqa * 60 * bitrate) / 86_400;
const transkod = (yangiVideo * 4) / 86_400;

console.log("kunlik saqlash:", `${kunlikTB.toFixed(1)} TB`);
console.log("yillik:", `${(kunlikTB * 365).toFixed(1)} TB`);
const gbit = (trafik / 1e9).toFixed(1);
console.log("chiquvchi trafik:", `${gbit} Gbit/s`);
console.log("transkod ishlari/s:", Math.round(transkod));

Konsolda:

text
kunlik saqlash: 15.0 TB
yillik: 5475.0 TB
chiquvchi trafik: 208.3 Gbit/s
transkod ishlari/s: 23
Kattalik Formula Natija
kunlik saqlash 500e3 × 5 × 6 MB 15.0 TB
yillik kunlik × 365 5 475 TB
chiquvchi trafik 20e6 × 300 s × 3e6 bit / 86400 208.3 Gbit/s
transkod ishlari/s 500e3 × 4 / 86400 23

Eng katta raqam — trafik. O'rtacha 208 Gbit/s, cho'qqida undan ham ko'p. Hech qanday bitta server yoki bitta ma'lumot markazi buni foydalanuvchilarga yaqin joydan bera olmaydi. Shuning uchun video platforma CDN'siz bo'lmaydi. Saqlash ham katta (yiliga 5.5 petabayt), lekin u object storage uchun odatiy masala.

2.3 Natijani halol o'qish: farazlar bir-biriga mosmi

Jadvalni qayta o'qing. Bitta faraz boshqasiga zid. Tomosha uchun 3 Mbit/s oldik. Bu daqiqasiga 3 × 60 / 8 = 22.5 MB. Ya'ni bitta sifatning o'zi daqiqasiga 22.5 MB, saqlashda esa to'rt sifat birgalikda 6 MB deb oldik. Ikki faraz bir vaqtda to'g'ri bo'lolmaydi.

Tekshirish uchun sifatlar zinasini aniq yozamiz. Bitrate'lar ham o'quv faraz, lekin ular bir-biriga mos:

js
// Sifatlar zinasi (bitrate, Mbit/s) — o'quv faraz
const zina = { "240p": 0.4, "480p": 1.0, "720p": 2.5, "1080p": 5.0 };
const mbDaqiqa = (mbit) => (mbit * 60) / 8;  // Mbit/s → MB/daqiqa

let jami = 0;
for (const [nom, mbit] of Object.entries(zina)) {
  jami += mbDaqiqa(mbit);
  console.log(nom, `${mbDaqiqa(mbit).toFixed(1)} MB/daqiqa`);
}
console.log("4 sifat jami:", `${jami.toFixed(1)} MB/daqiqa`);
const kunlik = (500e3 * 5 * jami) / 1e6;
console.log("kunlik saqlash:", `${kunlik.toFixed(1)} TB`);
console.log("segmentlar (6 s, 5 daqiqa):", (5 * 60) / 6, "× 4 sifat");

Konsolda:

text
240p 3.0 MB/daqiqa
480p 7.5 MB/daqiqa
720p 18.8 MB/daqiqa
1080p 37.5 MB/daqiqa
4 sifat jami: 66.8 MB/daqiqa
kunlik saqlash: 166.9 TB
segmentlar (6 s, 5 daqiqa): 50 × 4 sifat

Mos farazlar bilan kunlik saqlash 15 TB emas, 167 TB — o'n barobardan ko'p. Bu hisob-kitobning eng muhim saboqlaridan biri: har raqam alohida "o'rinli" ko'rinishi mumkin, lekin ular bir-birini tekshirishi kerak. Biz birinchi jadvalni o'chirmadik — uni qanday xato qilish mumkinligining namunasi sifatida qoldirdik.

Trafik bahosi esa o'zgarmaydi: u tomosha bitrate'idan hisoblangan. Ikkinchi hisobda ham asosiy xulosa bir xil — trafik CDN talab qiladi, saqlash esa yanada kattaroq.

Tekshirib ko'ring: Ko'rishlarning 80 foizi faqat eng mashhur 20 foiz videoga to'g'ri keladi deb faraz qiling. Bu saqlash va CDN uchun nimani anglatadi?

Javob

CDN keshi hamma videoni emas, mashhur qismini ushlasa yetadi: trafikning katta qismi kichik to'plamdan keladi. Bu Taxminiy hisob-kitob darsidagi 80/20 qoidasi. Saqlashda esa teskari xulosa: ko'pchilik videolar kamdan-kam ko'riladi. Ularni arzonroq, sekinroq saqlash sinfiga o'tkazish yoki kam ko'riladiganlarning yuqori sifatlarini hatto o'chirib, kerak bo'lganda qayta transkod qilish mumkin. Bu ham murosali tanlov (trade-off): saqlash puli va tomosha boshlanishidagi kechikish.

3. Yuqori darajadagi dizayn

3.1 Oqim

flowchart LR
  M[Mijoz] -->|1. ruxsat so'rash| API[ilova API]
  API --> DB[(metama'lumot)]
  M -->|2. presigned PUT| S3X[(xom fayllar)]
  S3X -->|3. hodisa| Q[transkod navbati]
  Q --> W[ishchilar: ffmpeg]
  W --> S3H[(HLS segmentlar)]
  W -->|4. tayyor| DB
  T[Tomoshabin] --> CDN[CDN]
  CDN --> S3H

Diagrammani raqamlar bo'yicha o'qing. Mijoz avval API'dan ruxsat oladi — API bazaga "kutilmoqda" yozuvini qo'yadi va muddatli imzolangan manzil qaytaradi. Keyin mijoz baytlarni to'g'ridan object storage'ga yuboradi. Fayl tushgach, hodisa navbatga tushadi va ishchilar uni sifatlarga o'giradi. Oxirida bazadagi holat "tayyor" bo'ladi. Tomoshabin esa API'ga emas, CDN'ga boradi.

3.2 Nega baytlar API'dan o'tmaydi

vazifalar-api da fayl hozir server orqali yuklanadi: fayl/yuklash.ts multipart oqimini xotiraga to'plamasdan S3 multipart yuklashiga uzatadi. Xotira fayl hajmidan qat'i nazar taxminan 10 MB (5 MB qism × navbatda 2 ta). Bu 10 MB lik fayllar uchun to'g'ri tanlov: server baytlarni o'zi ko'radi, sehrli baytlar bo'yicha turni aniqlaydi va SHA-256 ni hisoblaydi (Fayl yuklash xavfsizligi).

Video uchun bu yo'l qimmat. Kuniga 15–167 TB kiruvchi trafik API serverlari orqali o'tsa, ular faqat bayt tashish bilan band bo'ladi. Shuning uchun video platformalarda mijoz presigned URL bilan to'g'ridan yuklaydi (Presigned URL'lar). Kanonda ham bu yo'l bor: s3.ts da presigned POST, bazada esa kutilmoqda holati — "baytlar hali server tomonidan tasdiqlanmagan".

Juft misol:

  • Yordam bergan joy: server orqali oqim bilan yuklash. Kichik fayllarda server tekshiruvi to'liq: tur, hajm, hash — hammasi yozilishdan oldin. Limit oshsa, S3 yuklash bekor qilinadi va bucket'da chala qism qolmaydi.
  • Ongli voz kechilgan joy: presigned yuklashda server baytlarni ko'rmaydi. Shuning uchun tekshiruv keyinga suriladi: fayl "kutilmoqda", server uni keyin o'qib tekshiradi va faqat shundan so'ng "tayyor" qiladi. Bu bazadagi cheklovda ham yozilgan: tayyor holati faqat sha256 va tasdiqlangan vaqt bor bo'lganda mumkin.

4. Bo'laklab va davom ettiriladigan yuklash

4.1 Nega bo'laklab

2 GB lik videoni bitta so'rov bilan yuklash xavfli: 95 foizda internet uzilsa, hammasi qaytadan. Bo'laklab yuklash (chunked upload) faylni qismlarga bo'ladi va har qismni alohida yuboradi (Fayl yuklash). Uzilishdan keyin faqat yetishmagan qismlar yuboriladi — bu davom ettirish (resume).

S3 protokolida buning tayyor mexanizmi bor — multipart upload: yuklash ochiladi, qismlar raqam bilan yuboriladi (parallel ham mumkin), oxirida "yakunla" so'rovi. S3 hujjatidagi cheklovlar: har qism 5 MiB dan 5 GiB gacha (oxirgi qismga pastki chegara yo'q), qismlar soni ko'pi bilan 10 000. Hujjat taxminan 100 MB dan katta faylda multipart'ni o'ylab ko'rishni maslahat beradi. Bu raqamlar qism hajmini tanlashga ta'sir qiladi — 2-mashqda ko'rasiz.

Mijoz uchun bo'laklab yuklashning boshqa standarti ham bor — tus protokoli: server bitta manzil beradi, mijoz HEAD so'rovi bilan "qaysi baytgacha yetib keldi" deb so'raydi va PATCH bilan o'sha joydan davom etadi. Ikkalasi ham bir g'oya: baytlar oralig'i va server tomonidagi holat.

4.2 Qism hajmini fayldan hisoblash

Qism hajmi qat'iy son bo'lmasligi kerak. Ikki chegara bor: pastdan 5 MiB, yuqoridan esa 10 000 qism. Demak eng kichik qism — hajm / 10 000, lekin 5 MiB dan kam emas. Qanday fayllarda nima chiqishiga qarang:

js
// Fayl hajmidan eng kichik ruxsat etilgan qism hajmi (MiB, butun)
const MiB = 1024 * 1024;
const GiB = 1024 * MiB;

function qismTanla(hajm) {
  const kamida = Math.ceil(hajm / 10_000 / MiB); // 10 000 qism
  const qism = Math.max(5, kamida);              // kamida 5 MiB
  if (qism * MiB > 5 * GiB) return "xato: qism 5 GiB dan katta";
  const soni = Math.ceil(hajm / (qism * MiB));
  return `${qism} MiB × ${soni} qism`;
}

for (const [nom, hajm] of [
  ["47 MiB", 47 * MiB],
  ["2 GiB", 2 * GiB],
  ["60 GiB", 60 * GiB],
  ["500 GiB", 500 * GiB],
]) {
  console.log(nom, "→", qismTanla(hajm));
}

Konsolda:

text
47 MiB → 5 MiB × 10 qism
2 GiB → 5 MiB × 410 qism
60 GiB → 7 MiB × 8778 qism
500 GiB → 52 MiB × 9847 qism

Nima bo'ldi? Kichik va o'rta fayllarda pastki chegara (5 MiB) hal qiladi. 60 GiB dan boshlab esa yuqori chegara ishga tushadi: qism kattalashadi, soni 10 000 ga yaqinlashadi. Narxi ham bor: katta qism uzilganda ko'proq bayt qayta yuboriladi. 500 GiB lik faylda bitta uzilish 52 MiB ni yo'qotadi, 47 MiB lik faylda — 5 MiB.

4.3 Kim nimani eslab qoladi

Davom ettirish uchun ikki joyda holat kerak:

Joy Nima saqlanadi Yo'qolsa
object storage yuklangan qismlar ro'yxati boshidan yuklanadi
metama'lumot bazasi yuklash ID, fayl, egasi, holat "yetim" qismlar qoladi
mijoz (brauzer) yuklash ID, qism hajmi serverdan so'raladi

Yakunlanmagan multipart yuklashlar joy egallaydi va pul turadi. Kanonda shunga o'xshash muammo yechilgan: hech bir vazifaga biriktirilmagan, 24 soatdan eski "yetim" fayllarni tozalash vazifasi avval S3 dan, keyin bazadan o'chiradi (Fayl metama'lumotini DB'da boshqarish). Video uchun ham xuddi shunday tozalovchi kerak: muddati o'tgan chala yuklashlarni bekor qilish.

Tekshirib ko'ring: Mijoz qismlarni parallel yuboradi: 3-qism 5-qismdan keyin yetib keldi. Bu muammomi?

Javob

Yo'q. Har qism o'z raqami bilan keladi va "yakunla" so'rovida mijoz qismlar ro'yxatini tartib bilan beradi. Ombor faylni raqamlar tartibida yig'adi, kelish tartibida emas. Bu chat darsidagi seq g'oyasiga o'xshaydi: tartib kelish vaqtidan emas, raqamdan olinadi. Parallel yuborish sekin tarmoqda ham, tez tarmoqda ham yuklashni tezlashtiradi. Narxi — mijoz tomonida ko'proq holat va bir vaqtda ko'proq ulanish. Telefonda 3–4 parallel qism odatda yetadi.

5. Transkod va HLS

5.1 Navbat orqali

Transkod — videoni boshqa formatga, o'lchamga yoki bitrate'ga o'girish. Bu og'ir CPU ishi: 5 daqiqalik videoni to'rt sifatga o'girish daqiqalar olishi mumkin. Shuning uchun u so'rov ichida emas, navbatdagi fon ishi (Nega navbat kerak). ffmpeg buyruqlarini 29-qismda ko'rgansiz (Video va audio: ffmpeg).

Hisob-kitobda 23 transkod ishi soniyasiga chiqdi. Har ish bir necha daqiqa davom etsa, bir vaqtda bir necha ming ish ketayotgan bo'ladi. Bu ishchilar soni yuk bilan o'zgarishi kerak: kunduzi ko'p, kechasi kam. Ishchilar holatsiz, video esa object storage'da — istalgan ishchi istalgan ishni oladi.

Bitta transkod ishini qanchalik mayda bo'lish ham qaror. Butun videoni bitta ishchiga berish sodda, lekin 2 soatlik video bitta ishchini soatlab band qiladi va u qulasa, hammasi qaytadan. Videoni bir necha daqiqalik bo'laklarga ajratib, har bo'lakni alohida ishchiga berish tezroq va chidamliroq. Narxi: bo'laklarni keyin birlashtirish va chegaralarda tasvir sakrab qolmasligi uchun qo'shimcha ehtiyot. Kichik platformada birinchi yo'l yetadi.

Transkod tugaguncha foydalanuvchi nimani ko'radi? Odatda "qayta ishlanmoqda" belgisi. Ba'zi platformalar avval eng past sifatni tayyorlab, videoni darhol ochadi, yuqori sifatlar esa keyinroq qo'shiladi. Bu ham ustuvorlik masalasi: navbatda past sifat ishlari oldinda turadi.

Ish idempotent bo'lishi kerak. Ishchi 80 foizda qulasa, ish qayta beriladi va natija fayllari ustidan qayta yoziladi. Fayl nomlari tasodifiy emas, video_id/sifat/segment dan tuzilsa, takror ish chalkashlik qilmaydi.

5.2 HLS: video bo'laklarda

HLS (HTTP Live Streaming) — videoni bir necha soniyalik segmentlarga bo'lib, har sifat uchun alohida ro'yxat (playlist) bilan beradigan protokol. Pleyer avval asosiy ro'yxatni oladi: qanday sifatlar bor. Keyin tarmoq tezligiga qarab sifatni tanlaydi va segmentlarni ketma-ket yuklaydi. Tezlik tushsa, keyingi segment pastroq sifatda. Bu moslashuvchan bitreyt (adaptive bitrate) — 21-qismda brauzer tomonidan ko'rgansiz (Video va audio). DASH — xuddi shu g'oyaning boshqa standarti.

Yuqoridagi hisobda 5 daqiqalik video 6 soniyalik segmentlarda 50 ta segment, to'rt sifatda 200 ta fayl. Segment uzunligi ham murosali tanlov. Qisqa segment — sifat tezroq moslashadi va tomosha tezroq boshlanadi, lekin so'rovlar va fayllar ko'p. Uzun segment — teskari.

HLS'ning arxitektura uchun eng katta foydasi: segmentlar oddiy statik fayllar. Ularni istalgan HTTP kesh va CDN ushlay oladi. Video serveri degan maxsus narsa kerak emas.

Moslashuvchan sifatning narxini o'z raqamlarimizdan hisoblash mumkin. Sifatlar zinasida to'rt sifat jami daqiqasiga 66.8 MB, faqat 720p esa 18.8 MB. Ya'ni to'rt sifat saqlashni taxminan 3.6 barobar oshiradi (66.8 / 18.8), transkod ishi ham to'rt barobar. Evaziga sekin internetdagi tomoshabin video to'xtab qolishini emas, pastroq sifatni ko'radi. Kam ko'riladigan videolar ko'p bo'lgan kichik platformada bu narx foydadan katta bo'lishi mumkin. Shunda bitta yoki ikki sifat bilan boshlab, zinani faqat mashhur videolar uchun to'ldirish mumkin.

6. CDN va yetkazish

CDN (content delivery network) — dunyo bo'ylab tarqalgan kesh serverlari tarmog'i. Tomoshabin eng yaqin serverdan oladi, faqat u yerda yo'q bo'lsa — markaziy omborga murojaat (Kesh qatlamlari). Segmentlar o'zgarmas (bir marta yozilgan segment boshqa o'zgarmaydi), shuning uchun ularni uzoq muddat keshlash xavfsiz.

Bu kursda haqiqiy CDN sinalmagan — hisob ochilmadi. Hisob-kitob va keshlash sarlavhalari (Code splitting va hash bilan keshlash dagi immutable fayllar) bilan cheklandik.

Shaxsiy videolar alohida masala. Hamma ko'radigan video CDN'da ochiq bo'lishi mumkin. Pullik yoki shaxsiy video uchun esa CDN ham muddatli imzolangan havola bilan ishlaydi: havolani faqat huquqi bor foydalanuvchi oladi. Kanonda fayl berishning ikki yo'li bor: server orqali (har so'rovda huquq tekshiruvi, Range bilan qisman javob — 206) yoki presigned GET (server trafigi yo'q). Video uchun ikkinchisi, kichik shaxsiy fayl uchun birinchisi qulayroq.

Tekshirib ko'ring: Kanondagi fayl berish Range sarlavhasini qo'llaydi (206 javob). HLS bo'lsa, Range ham kerakmi?

Javob

HLS'da har segment alohida kichik fayl. Pleyer odatda butun segmentni so'raydi, shuning uchun Range majburiy emas. Range bitta katta MP4 faylni o'rtasidan ochish uchun kerak: foydalanuvchi videoning 30-daqiqasiga sakraydi va brauzer faqat o'sha baytlarni so'raydi. Kichik platformada HLS'siz, bitta MP4 va Range bilan boshlash mumkin — bu soddaroq. Narxi: moslashuvchan sifat yo'q, sekin internetda video to'xtab-to'xtab o'ynaydi.

7. Metama'lumot va deduplikatsiya

7.1 Bazada nima turadi

Bazada baytlar emas, katalog: video ID, egasi, nomi, davomiylik, holat, qaysi sifatlar tayyor, object storage kalitlari. Kanonda xuddi shu tamoyil: fayllar jadvalida S3 kaliti, tur, hajm va SHA-256. S3 kaliti foydalanuvchi bergan nomdan mustaqil (fayllar/<egasi>/<uuid>.<kengaytma>), shuning uchun nomdagi ../ kabi hiylalar kalitga tushmaydi.

Video uchun jadval quyidagicha bo'lishi mumkin (taklif, sinalmagan):

Ustun Izoh
id, egasi_id ichki ID va egasi
holat yuklanmoqda, qayta ishlanmoqda, tayyor, xato
davomiylik_s, asl_kalit asl fayl va uning uzunligi
sifatlar qaysi sifatlar tayyor (masalan, JSON massiv)

holat — yana holat mashinasi, to'lov darsidagidek. Transkod yiqilsa — "xato", qayta urinish ishchi tomonidan, foydalanuvchi esa aniq xabar oladi. Tomosha sahifasi faqat "tayyor" sifatlarni ko'rsatadi.

7.2 Deduplikatsiya

Deduplikatsiya — bir xil faylni ikki marta saqlamaslik. Fayl mazmunidan hash olinadi, shu hash'li fayl bor bo'lsa — yangi nusxa yozilmaydi. Video platformada bu sezilarli tejaydi: bitta mashhur rolikni minglab odam qayta yuklaydi.

Kanon bu yerda ongli qaror qilgan. Deduplikatsiya faqat bitta egasi ichida: UNIQUE (egasi_id, sha256). Foydalanuvchilararo deduplikatsiya yo'q. Sabab — migratsiya izohida yozilgan: "bu fayl tizimda bormi?" degan savolga javob boshqa odamning fayli haqida ma'lumot sizdiradi. Agar Malika yuklagan fayl "darhol" yuklansa, demak kimdadir aynan shu fayl bor. Bu yon kanal (side channel) — 3-mashqda modellashtirasiz.

Bu "qachon kerak emas" ning yana bir ko'rinishi. Ommaviy video platformada foydalanuvchilararo deduplikatsiya foydali bo'lishi mumkin — videolar baribir ochiq. Shaxsiy hujjatlar saqlanadigan joyda esa u maxfiylikni buzadi.

8. Loyiha qadami: jamoa fayllari

jamoa RFC'sida "vazifa: fayl" bor — vazifalar-api fayl moduli ko'chiriladi. Video yo'q va "maqsad emas". Qaror:

  • 10 MB limit va server orqali oqim bilan yuklash qoladi. Hisob: kichik jamoa, kuniga o'nlab fayl — server trafigi sezilmaydi, to'liq tekshiruv esa muhim.
  • Yangi narsa — jamoa bo'yicha deduplikatsiya chegarasi: UNIQUE (jamoa_id, sha256) mi yoki (egasi_id, sha256) mi? Jamoa a'zolari baribir bir-birining fayllarini ko'radi, shuning uchun jamoa ichida yon kanal xavfi yo'q. Bu RFC'ga ochiq savol sifatida yozilsin.
  • Video, transkod, HLS va CDN — "maqsad emas" ro'yxatiga, o'tish sharti bilan (masalan, "o'quv markazlari dars videolarini yuklashni so'rasa").

Uch savol bilan:

  • Yutuq: server orqali yuklash bilan har fayl yozilishdan oldin to'liq tekshiriladi, kod esa bitta yo'lda.
  • Narx: fayl hajmi cheklangan va server trafigi fayllar bilan o'sadi.
  • Qachon kerak emas: fayllar katta (yuzlab MB) yoki ko'p bo'lsa. Unda presigned yuklash va keyingi tekshiruv — kanondagi "kutilmoqda → tayyor" yo'li.

Bu tahlil loyihaga kod sifatida kiritilmadi. Hisob-kitobning qayta tekshiruvi (sifatlar zinasi) mashqlar papkasidagi olchov/ da saqlangan.

9. Hujumchi nigohi

  • Presigned manzil bilan noto'g'ri fayl. Server baytlarni ko'rmagani uchun hujumchi "video" deb HTML yoki bajariladigan fayl yuklaydi. Himoya: imzoda tur va hajm cheklovi, keyin serverda sehrli baytlar tekshiruvi, tasdiqlanmaguncha "kutilmoqda".
  • Transkodni hujumga aylantirish. Media fayllarni tahlil qiluvchi kutubxonalarda zaifliklar tarixi bor. ffmpeg ishchilari alohida, tarmoqqa chiqmaydigan, eng kam huquqli konteynerda ishlaydi (Noto'g'ri sozlash va konteyner xavfsizligi).
  • Bepul CDN. Shaxsiy video havolasi muddatsiz bo'lsa, u forumlarda tarqaladi va trafik puli sizga tushadi. Havolalar muddatli bo'ladi.

9.1 Qachon o'z video infratuzilmangiz kerak emas

Bu darsdagi dizayn — yuz minglab video uchun. Ko'p loyihada savol boshqacha: tayyor video xizmatidan foydalanamizmi yoki o'zimiz quramizmi? Hisob-kitob shu yerda ham yordam beradi. Agar platformada kuniga o'nlab video yuklansa va minglab ko'rish bo'lsa, trafik soniyasiga megabitlarda o'lchanadi, gigabitlarda emas. Bunday hajmda transkod ishchilari, CDN shartnomasi va segmentlarni boshqarish — tasodifiy murakkablik. Tayyor xizmat esa oyiga aniq narx va tayyor pleyer beradi.

O'zingiz qurishga o'tish sharti — raqam bilan yoziladi: xizmat narxi o'z infratuzilmangiz narxidan (odamlar vaqtini ham qo'shib) oshganda yoki xizmat sizga kerak bo'lgan nazoratni bermaganda. Narxlarni bu yerda keltirmaymiz: ular provayderga va sanaga bog'liq, va biz ularni tekshirmadik.

10. Ko'p uchraydigan xatolar

10.1 Katta fayllarni API serveri orqali o'tkazish

Server bayt tashuvchiga aylanadi. Katta fayl — presigned va to'g'ridan object storage.

10.2 Farazlarni bir-biri bilan tekshirmaslik

Tomosha 3 Mbit/s, saqlash esa daqiqasiga 6 MB — ikkalasi bir vaqtda to'g'ri emas. Har faraz boshqasidan qayta hisoblansin.

10.3 Transkodni so'rov ichida qilish

Foydalanuvchi daqiqalab kutadi, server CPU'si to'ladi. Navbat va holat: "qayta ishlanmoqda".

10.4 Chala yuklashlarni tozalamaslik

Yakunlanmagan multipart qismlar ko'rinmaydi, lekin joy egallaydi. Muddat va tozalovchi vazifa.

10.5 Hamma uchun umumiy deduplikatsiya

Shaxsiy fayllarda u boshqalarning fayllari haqida ma'lumot sizdiradi. Chegara — egasi yoki jamoa.

10.6 Qism hajmini kodga qat'iy yozib qo'yish

const QISM = 5 * MiB — kichik fayllarda ishlaydi, testlarda ham o'tadi. 60 GiB lik faylda esa 12 288 qism chiqadi va ombor yuklashni rad etadi. Xato faqat katta mijoz paydo bo'lganda, production'da ko'rinadi. Qism hajmi fayl hajmidan hisoblanadi («Qism hajmini fayldan hisoblash» bo'limidagi formula), testga esa chegaraga yaqin hajmlar ham qo'shiladi.

11. Mashqlar

Mashqlar kurs/mashqlar/36/42-video/ da. 2- va 3-mashq yechimlari Node 24.21.0 da tekshirilgan (biz ishga tushirdik).

1-mashq (oson): bo'shliqlarni to'ldiring

  • Mijoz baytlarni server orqali emas, to'g'ridan yuklashi uchun beriladigan muddatli manzil — URL
  • Videoni bir necha soniyalik segmentlarga bo'lib beradigan protokol —
  • Mos farazlar bilan qayta hisoblangan kunlik saqlash, TB —
  • S3 multipart'da qismlar soni ko'pi bilan —
  • Kanonda deduplikatsiya kim ichida —
Yechim
  • presigned — server trafigi yo'q, tekshiruv keyin.
  • HLS — sifat tarmoqqa moslashadi, segmentlar CDN'da keshlanadi.
  • 166.9 — 15 TB emas: birinchi faraz zid edi.
  • 10000 — shu sababli katta faylda qism hajmi oshiriladi.
  • egasi — UNIQUE (egasi_id, sha256), yon kanalsiz.

2-mashq (o'rta): davom ettirish rejasi

reja(hajm, qismHajmi, yuklangan) funksiyasini yozing. yuklangan — yuklangan qism raqamlari Set i (1 dan boshlanadi). Qoidalar: qism 5 MiB dan kichik bo'lsa — xato; qismlar soni 10 000 dan oshsa — xato. Aks holda: qismlar soni, qolgan qismlar soni, ularning dastlabki uchtasi va qolgan baytlar (MiB). 47 MiB lik videoni va 60 GiB lik faylni sinang.

Ishora: qismlar soni — Math.ceil(hajm / qismHajmi); oxirgi qism kichikroq bo'lishi mumkin, uni Math.min bilan hisoblang (Math obyekti).

Yechim
js
const MiB = 1024 * 1024;
const ENG_KAM = 5 * MiB;     // oxirgisidan boshqa qism kamida
const ENG_KOP_QISM = 10_000; // qismlar soni ko'pi bilan

function reja(hajm, qismHajmi, yuklangan) {
  if (qismHajmi < ENG_KAM) return "xato: qism 5 MiB dan kichik";
  const soni = Math.ceil(hajm / qismHajmi);
  if (soni > ENG_KOP_QISM) return `xato: ${soni} qism > 10000`;
  const qolgan = [];
  let bayt = 0;
  for (let i = 1; i <= soni; i++) {
    if (yuklangan.has(i)) continue;
    qolgan.push(i);
    bayt += Math.min(qismHajmi, hajm - (i - 1) * qismHajmi);
  }
  const bosh = qolgan.slice(0, 3).join(",");
  const korsat = qolgan.length > 3 ? `${bosh},…` : bosh;
  return `${soni} qism, qolgan ${qolgan.length} [${korsat}], ` +
    `${(bayt / MiB).toFixed(1)} MiB`;
}

const video = 47 * MiB;
const GiB = 1024 * MiB;
console.log(reja(video, 10 * MiB, new Set([1, 2, 4])));
console.log(reja(video, 10 * MiB, new Set([1, 2, 3, 4, 5])));
console.log(reja(video, 2 * MiB, new Set()));
console.log(reja(60 * GiB, 5 * MiB, new Set()));
console.log(reja(60 * GiB, 8 * MiB, new Set()));

Konsolda:

text
5 qism, qolgan 2 [3,5], 17.0 MiB
5 qism, qolgan 0 [], 0.0 MiB
xato: qism 5 MiB dan kichik
xato: 12288 qism > 10000
7680 qism, qolgan 7680 [1,2,3,…], 61440.0 MiB

Birinchi qatorda 3- va 5-qism qolgan: 10 MiB va oxirgi qism 7 MiB — jami 17. Butun 47 MiB emas, faqat shu 17 MiB qayta yuboriladi. 60 GiB lik faylda 5 MiB lik qism 12 288 ta bo'lib, chegaradan oshdi. Qismni 8 MiB ga oshirish yetdi. Ya'ni qism hajmi qat'iy son emas — fayl hajmidan hisoblanadi.

3-mashq (qiyin): deduplikatsiya yon kanali

omborYarat(umumiy) funksiyasini yozing. U yukla(egasi, fayl) qaytaradi: fayl mazmunidan SHA-256 olinadi. umumiy bo'lsa kalit — faqat hash, aks holda egasi:hash. Kalit bor bo'lsa — "darhol (nusxa bor)", yo'q bo'lsa — "to'liq yuklandi". Ali bir faylni ikki marta, keyin Malika xuddi shu faylni yuklasin. Ikki rejimni solishtiring va saqlangan obyektlar sonini chiqaring. Fayl mazmuni o'rnida satr ishlating.

Ishora: hash — Web Crypto crypto.subtle.digest("SHA-256", baytlar), baytlar — new TextEncoder().encode(matn), natijani 16 lik satrga toString(16).padStart(2, "0") bilan o'giring (crypto 1: tasodif, hash va HMAC).

Yechim
js
async function sha256(matn) {
  const b = new TextEncoder().encode(matn);
  const h = await crypto.subtle.digest("SHA-256", b);
  return [...new Uint8Array(h)]
    .map((x) => x.toString(16).padStart(2, "0")).join("");
}

function omborYarat(umumiy) {
  const bor = new Set();
  let saqlangan = 0;
  const yukla = async (egasi, fayl) => {
    const h = await sha256(fayl);
    const kalit = umumiy ? h : `${egasi}:${h}`;
    if (bor.has(kalit)) return `${egasi}: darhol (nusxa bor)`;
    bor.add(kalit);
    saqlangan++;
    return `${egasi}: to'liq yuklandi`;
  };
  return { yukla, soni: () => saqlangan };
}

for (const umumiy of [true, false]) {
  const o = omborYarat(umumiy);
  const natija = [
    await o.yukla("ali", "maosh-jadvali-noyabr.pdf"),
    await o.yukla("ali", "maosh-jadvali-noyabr.pdf"),
    await o.yukla("malika", "maosh-jadvali-noyabr.pdf"),
  ];
  const nom = umumiy ? "hamma uchun" : "egasi bo'yicha";
  console.log(`${nom}: ${natija.join(" | ")}; obyekt: ${o.soni()}`);
}
console.log((await sha256("salom")).slice(0, 16));

Konsolda:

text
hamma uchun: ali: to'liq yuklandi | ali: darhol (nusxa bor) | malika: darhol (nusxa bor); obyekt: 1
egasi bo'yicha: ali: to'liq yuklandi | ali: darhol (nusxa bor) | malika: to'liq yuklandi; obyekt: 2
038f270ca678c66f

Umumiy rejimda bitta obyekt saqlandi — joy tejaldi. Lekin Malika uchun yuklash "darhol" tugadi. Agar u ataylab shu faylni sinab ko'rgan bo'lsa (masalan, mumkin bo'lgan maosh jadvallarini), endi biladi: tizimda kimdadir aynan shu hujjat bor. Egasi bo'yicha rejimda ikkita obyekt — joy ko'proq, lekin Malika boshqalar haqida hech narsa bilmaydi. Oxirgi qator — "salom" satrining hash boshi: bir xil mazmun doim bir xil hash beradi, shuning uchun deduplikatsiya ishlaydi.

12. Real ishda

  • YouTube, Netflix, Telegram — video saqlash, transkod va CDN orqali yetkazishning eng katta namunalari. Netflix o'z yetkazish tarmog'i Open Connect'ning qurilmalarini internet provayderlar tarmog'i ichiga qo'yish mumkinligini rasmiy sahifasida yozgan.
  • Mahalliy loyihalar. O'quv platformasi yoki kurs sotuvchi sayt videolarni ko'pincha tayyor xizmatda saqlaydi (video hosting yoki bulutdagi media xizmatlari). O'zingiz qurish — trafik juda katta bo'lib, xizmat narxi o'z infratuzilmangizdan qimmatga tushganda.
  • Intervyu. "YouTube loyihalang" savolida kutiladigan nuqtalar: presigned yuklash, bo'laklab va davom ettirish, transkod navbati, HLS va moslashuvchan sifat, CDN, metama'lumot bazasi va farazlarni o'zaro tekshirish.

Xulosa

  • Video platformada baytlar ilova serveridan o'tmaydi: presigned yuklash, object storage, CDN.
  • Hisob-kitobda eng katta raqam — chiquvchi trafik (208 Gbit/s); farazlarni o'zaro tekshirish saqlashni 15 TB dan 167 TB ga o'zgartirdi.
  • Bo'laklab yuklashda faqat yetishmagan qismlar qayta yuboriladi; qism hajmi fayl hajmidan hisoblanadi.
  • Transkod — navbatdagi idempotent fon ishi; HLS segmentlari statik fayllar va CDN'da keshlanadi.
  • Deduplikatsiya joy tejaydi, lekin umumiy rejimda yon kanal; kanon uni egasi ichida qiladi.

Keyingi dars: Dizayn: taksi (geo) va avtoto'ldiruvchi qidiruv — yaqin haydovchini qanday topish va har harf bosilganda takliflarni qanday tez berish.

Manbalar

36-qism. Arxitektura va system design · 42-dars yakunlandi

Video va fayl saqlash dizayni: bo'laklab yuklash, transkod va HLS streaming

22 daqvaqt
0belgi
Keyingi dars: Taksi va avtoto'ldirish dizayni: geohash, yaqin haydovchi va Trie takliflari
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0