1.5-dars: Statistik fikrlash asoslari

1-QISM — KIRISH: DATA SCIENCE · 5-dars

1. Kirish va motivatsiya

Data Science'ni chinakam tushunish uchun statistik fikrlash kerak — bu shunchaki formulalar emas, balki dunyoni noaniqlik orqali ko'rish usuli. Kundalik hayotda biz "bitta hodisa"dan xulosa chiqaramiz ("bir marta ishladi — demak har doim ishlaydi"). Statistik fikrlash boshqacha: u o'zgaruvchanlikni (har o'lchov farq qiladi), namunani (biz butun dunyoni emas, kichik qismini ko'ramiz) va noaniqlikni (xulosalarimiz ehtimolli, aniq emas) tan oladi. Bu fikrlash Data Science'ning tafakkur poydevori: nega bitta natijaga ishonmaslik kerak, nega "ehtimol" bilan gaplashish kerak, nega ma'lumot bizni chalg'itishi mumkin. Bu dars statistik fikrlashning asoslarini beradi — chuqur statistika 10-qismda, lekin fikrlash bugundan boshlanadi.

Statistik fikrlash — ma'lumotni noaniqlik va o'zgaruvchanlik orqali tushunish usuli: namuna vs populyatsiya (biz kichik qism ko'ramiz, butunga xulosa), o'zgaruvchanlik (variability — har o'lchov farq qiladi, tasodif bor), noaniqlik (uncertainty — xulosa ehtimolli, aniq emas), markaz va tarqoqlik (o'rtacha + qanchalik tarqalgan), tarafkashlik (bias — namuna vakillik qiladi-mi). Foydalanish: to'g'ri xulosa, chalg'imaslik. Bu 10-qism (statistika), 13-qism (gipoteza) uchun poydevor. Statistik fikrlash — namuna, o'zgaruvchanlik, noaniqlik. Ehtimolli. Tafakkur.

Real vaziyat. Kompaniya yangi tugma rangini sinadi: 10 kishi ko'k tugmani, 8 kishi qizil tugmani bosdi. "Ko'k yaxshiroq!" dedilar. Lekin Data Scientist statistik fikrladi: "10 vs 8 — juda kichik namuna (o'zgaruvchanlik katta); bu farq tasodif bo'lishi mumkin (ertaga teskari bo'lishi mumkin); ishonch uchun ko'proq ma'lumot kerak". Ular 10000 kishida sinadi — farq yo'qoldi (tasodif edi). Statistik fikrlash noto'g'ri xulosadan saqladi (kichik namunaga ishonmaslik). Fikrlash — o'zgaruvchanlik, namuna, noaniqlik.

Bu darsda statistik fikrlashni o'rganamiz.

Bu darsda:

• Namuna va populyatsiya
• O'zgaruvchanlik (variability)
• Markaz va tarqoqlik
• Noaniqlik va ehtimol
• Tarafkashlik (bias)
• Statistik fikrlash amaliyoti
• Fikrlash tuzoqlari
• Amaliy: statistik fikrlash modeli

ℹ Bu kirish dars — misollar statistik fikrlashni (deterministik, numpy bilan) ko'rsatadi. Chuqur statistika 10-qismda.

2. Nazariya — chuqur tushuntirish

2.1. Namuna va populyatsiya

Biz butunni emas, qismini ko'ramiz:

POPULYATSIYA (population) — butun guruh
   masalan: dunyodagi HAMMA foydalanuvchi

NAMUNA (sample) — kuzatilgan kichik qism
   masalan: 1000 foydalanuvchi (so'rov)

   biz namunani ko'ramiz → populyatsiyaga xulosa
   (butunni o'lchash imkonsiz — namunadan taxmin)

Namuna va populyatsiya — Data Science'ning asosiy tushunchasi: populyatsiya (butun guruh — barcha foydalanuvchi, barcha mahsulot), namuna (kuzatilgan kichik qism — 1000 foydalanuvchi, sinov guruhi). Sabab: butunni (populyatsiyani) o'lchash imkonsiz (juda katta, qimmat) — namunadan taxmin qilamiz (kichik qism → butunga xulosa). Muhim: namuna vakillik qilishi kerak (populyatsiyani aks ettirsin — 2.5 bias); namuna kichik bo'lsa — xulosa ishonchsiz (tasodif). Har Data Science natijasi — namunadan (aniq haqiqat emas, taxmin). Namuna/populyatsiya — qism → butun. Taxmin. Vakillik.

2.2. O'zgaruvchanlik (variability)

Har o'lchov farq qiladi:

O'ZGARUVCHANLIK (variability):
   bir xil narsani o'lchasang — natijalar FARQ qiladi
   masalan: 5 ta odam bo'yi — 170, 175, 168, 180, 172

   sabab: tabiiy farq + o'lchov xatosi + tasodif

   → bitta o'lchovga ishonma (o'zgaruvchanlik bor)
   → naqsh ko'rish uchun ko'p o'lchov kerak

O'zgaruvchanlik (variability) — statistik fikrlashning markaziy g'oyasi: bir xil narsani o'lchasang — natijalar farq qiladi (5 odam bo'yi: 170, 175, 168... — bir xil emas). Sabab: tabiiy farq (odamlar turli), o'lchov xatosi (asbob aniq emas), tasodif (random). Muhim: bitta o'lchovga ishonmaslik (o'zgaruvchanlik bor — keyingisi boshqa); naqsh ko'rish uchun ko'p o'lchov (o'zgaruvchanlik o'rtachada yo'qoladi). Bu Data Science asosi: signal (haqiqiy naqsh) va shovqin (noise — tasodifiy o'zgaruvchanlik) ni ajratish. Boshlovchilar bitta natijaga ishonadi (o'zgaruvchanlikni unutadi). O'zgaruvchanlik — har o'lchov farq. Signal vs shovqin. Ko'p o'lchov.

2.3. Markaz va tarqoqlik

Ma'lumotni ikki son bilan tavsiflash:

MARKAZ (center) — "tipik" qiymat
   o'rtacha (mean) — yig'indi / son
   median — o'rtadagi qiymat (outlier'ga chidamli)

TARQOQLIK (spread) — qanchalik farq qiladi
   std (standart og'ish) — o'rtachadan qanchalik uzoq
   diapazon (max - min)

   ikkalasi kerak: markaz (qayerda) + tarqoqlik (qancha farq)

Markaz va tarqoqlik — ma'lumotni ikki son bilan tavsiflash: markaz (center — "tipik" qiymat: o'rtacha/mean = yig'indi/son, median = o'rtadagi qiymat — outlier'ga chidamli), tarqoqlik (spread — qanchalik farq: std standart og'ish = o'rtachadan qanchalik uzoq, diapazon = max-min). Sabab: bir markaz yetmaydi (ikki guruh bir xil o'rtachada, lekin turli tarqoq — biri zich, biri keng); ikkalasi kerak (markaz — qayerda, tarqoqlik — qancha o'zgaruvchan). Median outlier'ga chidamli (bir katta qiymat o'rtachani buzadi, medianni emas — 6-qism). Bu deskriptiv statistika (10-qism). Markaz + tarqoqlik — qayerda + qancha farq. Ikkalasi. Median chidamli.

2.4. Noaniqlik va ehtimol

Xulosalar aniq emas — ehtimolli:

NOANIQLIK (uncertainty):
   namunadan xulosa → ANIQ emas (ehtimolli)
   "ehtimol 60% mijoz qaytadi" (aniq 60% emas)

EHTIMOL (probability):
   noaniqlikni son bilan ifodalash (0 dan 1 gacha)
   0 = hech qachon, 1 = doim, 0.5 = teng

   → "ishonch bilan" emas, "ehtimol bilan" gaplash

Noaniqlik va ehtimol — statistik fikrlashning tabiati: noaniqlik (uncertainty — namunadan xulosa aniq emas, ehtimolli; "ehtimol 60%" — aniq 60% emas), ehtimol (probability — noaniqlikni son bilan: 0-1, 0=hech qachon, 1=doim, 0.5=teng). Sabab: namunadan (kichik qism) butunga xulosa noaniq (tasodif — 2.2 o'zgaruvchanlik); Data Science aniq javob bermaydi ("100% qaytadi" emas — "ehtimol 70%"). Bu kamtarlik (bilim chegarasi — noaniqlikni tan olish); "ishonch bilan" emas, "ehtimol bilan" gaplashish. Model ham ehtimol beradi (11-qism). Boshlovchilar aniqlik istaydi, lekin dunyo ehtimolli. Noaniqlik — xulosa aniq emas. Ehtimol — son (0-1). Kamtarlik.

2.5. Tarafkashlik (bias)

Namuna butunni aks ettiradimi:

TARAFKASHLIK (bias) — namuna noto'g'ri:
   TANLOV BIAS — namuna vakillik qilmaydi
      masalan: faqat yosh foydalanuvchidan so'rov
      → butun aholiga xulosa NOTO'G'RI

   TASDIQLASH BIAS — biz kutgan natijani ko'ramiz
      → o'z fikrimizni tasdiqlaydigan ma'lumot izlash

   → bias → noto'g'ri xulosa (ma'lumot yaxshi bo'lsa ham)

Tarafkashlik (bias) — namuna/tahlil noto'g'ri bo'lishi: tanlov bias (selection — namuna vakillik qilmaydi: faqat yoshlardan so'rov → butun aholiga xulosa noto'g'ri), tasdiqlash bias (confirmation — biz kutgan natijani ko'ramiz: o'z fikrimizni tasdiqlaydigan ma'lumot izlash), o'lchov bias (asbob/savol noto'g'ri), omon qolish bias (survivorship — faqat muvaffaqiyatni ko'rish). Sabab: bias namunani buzadi (namuna butunni aks ettirmasa — xulosa noto'g'ri, ma'lumot ko'p bo'lsa ham); Data Scientist biasni o'ylashi kerak (namuna vakillik qiladi-mi? men kutganimni ko'ryapmanmi?). Bias jim (sezilmaydi). Bias — namuna noto'g'ri. Vakillik yo'q. Jim xato.

2.6. Statistik fikrlash amaliyoti

Statistik fikrlash amaliyoti: bitta natijaga ishonma (o'zgaruvchanlik — ko'p o'lchov); namuna hajmi (kichik → ishonchsiz, katta → ishonchli); markaz + tarqoqlik (ikkalasi — o'rtacha + std); ehtimol bilan (aniq emas — "ehtimol"); bias tekshir (namuna vakillik? men kutganimni?); signal vs shovqin (haqiqiy naqsh vs tasodif); korrelyatsiya ≠ sababiyat 1.1-bob; kamtarlik (noaniqlikni tan olish). Tuzoqlar: kichik namunaga ishonish (tasodif), o'zgaruvchanlikni unutish (bitta natija), aniqlik da'vosi (ehtimol emas), biasni ko'rmaslik (noto'g'ri namuna). Amaliyot — namuna, o'zgaruvchanlik, ehtimol, bias. Ehtimolli, kamtar.

2.7. Fikrlash tuzoqlari

Statistik fikrlash asosiy tuzoqlari: kichik namunaga ishonish (10 vs 8 — tasodif bo'lishi mumkin; katta namuna); o'zgaruvchanlikni unutish (bitta natija — "ishladi, demak har doim"; ko'p o'lchov); aniqlik da'vosi ("100% qaytadi" — dunyo ehtimolli; "ehtimol"); bias (noto'g'ri namuna — faqat yoshlardan; vakillik); tasdiqlash bias (o'z fikrimni izlash — teskari dalilni ham ko'r); korrelyatsiya = sababiyat (1.1 — yashirin omil); outlier o'rtachani buzadi (median chidamli); omon qolish bias (faqat muvaffaqiyat — muvaffaqiyatsizni ham). Sabab: inson miyasi statistik emas (bitta hodisadan xulosa, naqsh ko'radi — tasodifda ham); statistik fikrlash bu noto'g'ri intuitsiyani tuzatadi. Yechim: namuna, o'zgaruvchanlik, ehtimol, bias. Tuzoqlar — kichik namuna, aniqlik, bias.

2.8. Statistik fikrlash — noaniqlik orqali ko'rish

Statistik fikrlash asosiy g'oyasi — noaniqlik orqali ko'rish: dunyo o'zgaruvchan va noaniq (har o'lchov farq, xulosa ehtimolli); statistik fikrlash buni tan oladi (bitta natijaga ishonma, ehtimol bilan gaplash, biasni o'yla). Bu Data Science'ning tafakkur poydevori (formulalar emas — dunyoni ko'rish usuli). Inson intuitsiyasi noto'g'ri (bitta hodisadan xulosa, naqsh — tasodifda ham); statistik fikrlash uni tuzatadi (namuna, o'zgaruvchanlik, ehtimol, bias). Bu 10-qism (statistika), 11-qism (ehtimol), 13-qism (gipoteza) uchun poydevor va butun ML (model — ehtimolli). Data Scientist kamtar (noaniqlikni tan oladi), shubhali (bitta natijaga ishonma), ehtiyotkor (bias). Statistik fikrlash — noaniqlik, o'zgaruvchanlik, ehtimol. Tafakkur poydevori. Kamtar.

3. Tez ma'lumotnoma

STATISTIK FIKRLASH — ma'lumotni noaniqlik orqali ko'rish

NAMUNA vs POPULYATSIYA:
   populyatsiya — butun · namuna — kuzatilgan qism
   namunadan → butunga xulosa (taxmin, vakillik kerak)

O'ZGARUVCHANLIK — har o'lchov farq (signal vs shovqin)
   bitta natijaga ishonma · ko'p o'lchov kerak

MARKAZ + TARQOQLIK:
   markaz: o'rtacha (mean), median (outlier'ga chidamli)
   tarqoqlik: std (og'ish), diapazon

NOANIQLIK + EHTIMOL:
   xulosa ehtimolli (aniq emas) · "ehtimol" bilan gaplash

BIAS — namuna noto'g'ri (vakillik yo'q, kutganni ko'rish)

QOIDA: kichik namunaga ishonma · ehtimol bilan · bias tekshir

Statistik fikrlash xulosasi

Statistik fikrlash — noaniqlik orqali ko'rish (tafakkur poydevori)
Namuna vs populyatsiya — qism → butun (taxmin, vakillik)
O'zgaruvchanlik — har o'lchov farq (bitta natijaga ishonma)
Noaniqlik — xulosa ehtimolli ("ehtimol", aniq emas — kamtarlik)
Bias — namuna noto'g'ri (jim xato — vakillik, kutganni ko'rish)

4. Batafsil misollar

Misollar statistik fikrlashni (deterministik, numpy bilan) ko'rsatadi.

Misol 1 — O'zgaruvchanlik va namuna hajmi

"""O'zgaruvchanlik: kichik vs katta namuna (real numpy)."""

import numpy as np


def main() -> None:
    np.random.seed(0)
    # haqiqiy o'rtacha 50 (populyatsiya)
    print("=== 1. Kichik namuna (5 ta) ===")
    kichik = np.random.normal(50, 10, 5)
    print(f"  qiymatlar: {kichik.round(1).tolist()}")
    print(f"  namuna o'rtacha: {kichik.mean():.1f} (50 dan uzoq bo'lishi mumkin)")

    print("\n=== 2. Katta namuna (5000 ta) ===")
    katta = np.random.normal(50, 10, 5000)
    print(f"  namuna o'rtacha: {katta.mean():.1f} (50 ga yaqin)")

    print("\n=== 3. Xulosa ===")
    print("  katta namuna → haqiqiy o'rtachaga yaqin (ishonchli)")
    print("  kichik namuna → uzoq (o'zgaruvchanlik, tasodif)")

    print("\n=== 4. Saboq ===")
    print("  kichik namunaga ishonma (o'zgaruvchanlik katta)")
    print("  ⭐ Ko'proq ma'lumot → ishonchliroq xulosa")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

=== 1. Kichik namuna (5 ta) ===
  qiymatlar: [67.6, 54.0, 59.8, 72.4, 68.7]
  namuna o'rtacha: 64.5 (50 dan uzoq bo'lishi mumkin)

=== 2. Katta namuna (5000 ta) ===
  namuna o'rtacha: 49.8 (50 ga yaqin)

=== 3. Xulosa ===
  katta namuna → haqiqiy o'rtachaga yaqin (ishonchli)
  kichik namuna → uzoq (o'zgaruvchanlik, tasodif)

=== 4. Saboq ===
  kichik namunaga ishonma (o'zgaruvchanlik katta)
  ⭐ Ko'proq ma'lumot → ishonchliroq xulosa

Nima ko'rsatdi: 2.1, 2.2-bo'limlar.

Misol 2 — Markaz va tarqoqlik

"""Markaz va tarqoqlik: o'rtacha yetarli emas (real numpy)."""

import numpy as np


def main() -> None:
    # ikki guruh — bir xil o'rtacha, turli tarqoqlik
    zich = np.array([48, 49, 50, 51, 52])       # kam farq
    keng = np.array([20, 35, 50, 65, 80])       # ko'p farq

    print("=== 1. Zich guruh ===")
    print(f"  qiymatlar: {zich.tolist()}")
    print(f"  o'rtacha: {zich.mean():.0f}, std: {zich.std():.1f}")

    print("\n=== 2. Keng guruh ===")
    print(f"  qiymatlar: {keng.tolist()}")
    print(f"  o'rtacha: {keng.mean():.0f}, std: {keng.std():.1f}")

    print("\n=== 3. Bir xil o'rtacha, turli tarqoqlik ===")
    print(f"  ikkovi o'rtacha 50, lekin std farqli ({zich.std():.1f} vs {keng.std():.1f})")

    print("\n=== 4. Saboq ===")
    print("  markaz + tarqoqlik (ikkovi kerak)")
    print("  ⭐ O'rtacha yolg'iz yetarli emas (std ham)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

=== 1. Zich guruh ===
  qiymatlar: [48, 49, 50, 51, 52]
  o'rtacha: 50, std: 1.4

=== 2. Keng guruh ===
  qiymatlar: [20, 35, 50, 65, 80]
  o'rtacha: 50, std: 21.2

=== 3. Bir xil o'rtacha, turli tarqoqlik ===
  ikkovi o'rtacha 50, lekin std farqli (1.4 vs 21.2)

=== 4. Saboq ===
  markaz + tarqoqlik (ikkovi kerak)
  ⭐ O'rtacha yolg'iz yetarli emas (std ham)

Nima ko'rsatdi: 2.3-bo'lim.

Misol 3 — Median outlier'ga chidamli

"""Median: outlier o'rtachani buzadi, medianni emas (real numpy)."""

import numpy as np


def main() -> None:
    # oddiy maoshlar + bitta juda katta (outlier)
    maosh = np.array([300, 350, 400, 380, 320])
    outlier = np.array([300, 350, 400, 380, 10000])   # bitta katta

    print("=== 1. Oddiy maoshlar ===")
    print(f"  o'rtacha: {maosh.mean():.0f}, median: {np.median(maosh):.0f}")

    print("\n=== 2. Outlier bilan (10000) ===")
    print(f"  o'rtacha: {outlier.mean():.0f} (buzildi!)")
    print(f"  median: {np.median(outlier):.0f} (chidamli)")

    print("\n=== 3. Farq ===")
    print("  o'rtacha outlier'dan buziladi (yuqoriga tortiladi)")
    print("  median o'rtadagi qiymat (outlier ta'sir qilmaydi)")

    print("\n=== 4. Saboq ===")
    print("  outlier bor bo'lsa — median ishonchliroq")
    print("  ⭐ Median — outlier'ga chidamli (o'rtacha emas)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

=== 1. Oddiy maoshlar ===
  o'rtacha: 350, median: 350

=== 2. Outlier bilan (10000) ===
  o'rtacha: 2286 (buzildi!)
  median: 380 (chidamli)

=== 3. Farq ===
  o'rtacha outlier'dan buziladi (yuqoriga tortiladi)
  median o'rtadagi qiymat (outlier ta'sir qilmaydi)

=== 4. Saboq ===
  outlier bor bo'lsa — median ishonchliroq
  ⭐ Median — outlier'ga chidamli (o'rtacha emas)

Nima ko'rsatdi: 2.3-bo'lim.

Misol 4 — Bias (namuna vakillik qiladimi)

"""Bias: noto'g'ri namuna → noto'g'ri xulosa (model)."""


def soro_natija(namuna_turi: str) -> dict:
    if namuna_turi == "faqat_yosh":
        return {"vakillik": False, "xulosa": "hamma onlayn xarid qiladi (NOTO'G'RI)"}
    return {"vakillik": True, "xulosa": "50% onlayn xarid qiladi (to'g'ri)"}


def main() -> None:
    print("=== 1. Faqat yoshlardan so'rov (bias) ===")
    a = soro_natija("faqat_yosh")
    print(f"  vakillik: {a['vakillik']}")
    print(f"  xulosa: {a['xulosa']}")

    print("\n=== 2. Vakillik namunasi (barcha yosh) ===")
    b = soro_natija("vakillik")
    print(f"  vakillik: {b['vakillik']}")
    print(f"  xulosa: {b['xulosa']}")

    print("\n=== 3. Bias ta'siri ===")
    print("  noto'g'ri namuna → noto'g'ri xulosa (ma'lumot ko'p bo'lsa ham)")

    print("\n=== 4. Saboq ===")
    print("  namuna vakillik qiladimi? (bias tekshir)")
    print("  ⭐ Bias — namuna noto'g'ri (jim xato)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

=== 1. Faqat yoshlardan so'rov (bias) ===
  vakillik: False
  xulosa: hamma onlayn xarid qiladi (NOTO'G'RI)

=== 2. Vakillik namunasi (barcha yosh) ===
  vakillik: True
  xulosa: 50% onlayn xarid qiladi (to'g'ri)

=== 3. Bias ta'siri ===
  noto'g'ri namuna → noto'g'ri xulosa (ma'lumot ko'p bo'lsa ham)

=== 4. Saboq ===
  namuna vakillik qiladimi? (bias tekshir)
  ⭐ Bias — namuna noto'g'ri (jim xato)

Nima ko'rsatdi: 2.5-bo'lim.

5. To'g'ri va noto'g'ri tushunishlar

6. Keng tarqalgan xatolar va yechimlari

1. Kichik namunaga ishonish

# 10 vs 8 → "ko'k yaxshiroq" (tasodif)                         # ⚠️
# katta namuna (10000) — ishonchli farq                         # ✅

2. O'zgaruvchanlikni unutish

# "bir marta ishladi — har doim"                               # ⚠️
# ko'p o'lchov (o'zgaruvchanlik bor)                            # ✅

3. Faqat o'rtacha

# o'rtacha 50 (tarqoqlik noma'lum)                             # ⚠️
# o'rtacha + std (markaz + tarqoqlik)                           # ✅

4. Aniqlik da'vosi

# "100% mijoz qaytadi"                                         # ⚠️
# "ehtimol 70%" (noaniqlik — ehtimol)                           # ✅

5. Biasni ko'rmaslik

# faqat yoshlardan so'rov → hammaga xulosa                     # ⚠️
# vakillik namunasi (barcha guruh)                              # ✅

6. Outlier o'rtachani buzadi

np.mean([300,350,10000])   # outlier buzadi                    # ⚠️
np.median([300,350,10000])   # chidamli                        # ✅

7. Tasdiqlash bias

# o'z fikrni tasdiqlaydigan ma'lumot izlash                    # ⚠️
# teskari dalilni ham ko'r (obyektiv)                           # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

• 10-qism: Statistika asoslari (chuqur)
• 11-qism: Ehtimollik nazariyasi
• 13-qism: Gipoteza testlari (A/B)
• 6-qism: Tozalash (outlier, median)
• 14-qism: ML — model ehtimolli

8. Eng yaxshi amaliyotlar

1. Bitta natijaga ishonma (o'zgaruvchanlik).

2. Namuna hajmi (katta — ishonchli).

3. Markaz + tarqoqlik (o'rtacha + std).

4. Ehtimol bilan (aniq emas — kamtarlik).

5. Bias tekshir (namuna vakillik?).

6. Median (outlier bor bo'lsa).

7. Signal vs shovqin (tasodifni ajrat).

8. Teskari dalil (tasdiqlash bias emas).

9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

1.  # statistik fikrlash nima?
2.  # populyatsiya nima?
3.  # namuna nima?
4.  # o'zgaruvchanlik nima?
5.  # kichik namunaga ishonchmi?
6.  # markaz nima?
7.  # tarqoqlik nima?
8.  # median nega chidamli?
9.  # noaniqlik nima?
10. # ehtimol nima?
11. # bias nima?
12. # asosiy g'oya?

Vazifa 2: Xatolarni tuzating

1.  # 10 vs 8 → "ko'k yaxshiroq"

2.  # "bir marta ishladi — har doim"

3.  # faqat o'rtacha 50

4.  # "100% qaytadi"

5.  # faqat yoshlardan so'rov

1.  katta namuna (tasodif kam)

2.  ko'p o'lchov (o'zgaruvchanlik)

3.  o'rtacha + std

4.  "ehtimol 70%" (noaniqlik)

5.  vakillik namunasi (barcha guruh)

Vazifa 3: Namuna

Modellang:

1. Populyatsiya
2. Namuna
3. Xulosa
4. Vakillik

Vazifa 4: O'zgaruvchanlik

Modellang:

1. Farq
2. Signal
3. Shovqin
4. Ko'p o'lchov

Vazifa 5: Markaz/tarqoqlik

Modellang:

1. O'rtacha
2. Median
3. Std
4. Ikkovi

Vazifa 6: Bias

Modellang:

1. Tanlov bias
2. Tasdiqlash bias
3. Vakillik
4. Jim xato

Vazifa 7: O'ylash

Inson miyasi tabiatan statistik emas — biz bitta hodisadan xulosa chiqaramiz, tasodifda naqsh ko'ramiz, kichik namunaga ishonamiz. Nima uchun statistik fikrlash "tabiiy intuitsiyaga qarshi" (counterintuitive) va o'rganish qiyin, va nega aynan shu "noqulay" fikrlash Data Science'da hal qiluvchi?

Nimani mustahkamlaydi: 2.2, 2.8-bo'limlar.

Xulosa

Bu darsda statistik fikrlashni o'rgandik.

Eng muhim uch fikr:

1. Namuna va o'zgaruvchanlik. Namuna vs populyatsiya: populyatsiya (butun guruh), namuna (kuzatilgan kichik qism); butunni o'lchash imkonsiz — namunadan taxmin (qism → butun), namuna vakillik qilishi va yetarli katta bo'lishi kerak. O'zgaruvchanlik (variability) — statistik fikrlashning markaziy g'oyasi: bir xil narsani o'lchasang natijalar farq qiladi (tabiiy farq + o'lchov xatosi + tasodif); bitta o'lchovga ishonma (signal vs shovqin — haqiqiy naqsh vs tasodif), ko'p o'lchov kerak.

2. Markaz/tarqoqlik va noaniqlik. Markaz + tarqoqlik: markaz (o'rtacha/mean, median — outlier'ga chidamli), tarqoqlik (std — og'ish, diapazon); bir markaz yetmaydi (ikki guruh bir xil o'rtacha, turli tarqoq) — ikkalasi kerak. Noaniqlik va ehtimol: namunadan xulosa aniq emas (ehtimolli — "ehtimol 60%"), ehtimol noaniqlikni son bilan (0-1); "ishonch bilan" emas "ehtimol bilan" gaplashish (kamtarlik — bilim chegarasi).

3. Bias va noaniqlik orqali ko'rish. Tarafkashlik (bias) — namuna/tahlil noto'g'ri: tanlov bias (namuna vakillik qilmaydi), tasdiqlash bias (kutganimizni ko'ramiz), omon qolish bias; bias namunani buzadi (ma'lumot ko'p bo'lsa ham — jim xato). Statistik fikrlash — noaniqlik orqali ko'rish (Data Science tafakkur poydevori): dunyo o'zgaruvchan/noaniq, bitta natijaga ishonma, ehtimol bilan gaplash, biasni o'yla. Inson intuitsiyasi noto'g'ri (bitta hodisadan xulosa, tasodifda naqsh) — statistik fikrlash uni tuzatadi (kamtar, shubhali, ehtiyotkor); intuitsiyaga qarshi, lekin hal qiluvchi.

Keyingi darsda birinchi tahlilimizni qilamiz: kichik real ma'lumot to'plamini olib, uchdan oxirigacha — yuklash, tozalash, tahlil va oddiy xulosa — CRISP-DM ni amaliyotda ko'ramiz.