Data Science va sun'iy intellekt11.1-dars: Gipoteza testi tizimi
Data Science va sun'iy intellekt · Gipoteza testlari

11.1-dars: Gipoteza testi tizimi

19 daqiqa1/10-dars

11-QISM — GIPOTEZA TESTLARI · 1-dars


1. Kirish va motivatsiya

4.12-darsda gipoteza testi bilan tanishdik (H0, H1, p-qiymat), 8.8-darsda gipotezani to'g'ri shakllantirishni o'rgandik. Bu qismda testlarni to'liq asbob to'plami sifatida o'rganamiz: qaysi vaziyatda qaysi test, uning farazlari, natijani qanday o'qish va qanday xato qilmaslik. Birinchi dars — butun tizimning "operatsion tizimi": test nima qiladi, I va II tur xatolar, p-qiymatning aniq ma'nosi, va nima uchun "p < 0.05" — javobning oxiri emas, boshlanishi.

Gipoteza testlari Data Science'da har kuni ishlatiladi: A/B test natijasi haqiqiymi, ikki segment farq qiladimi, yangi model eskisidan yaxshiroqmi, o'zgarish mavsumiy tebranishmi. Ularni noto'g'ri ishlatish — sanoatdagi eng qimmat xatolardan biri: "p < 0.05" chiqqani uchun ishlamaydigan mahsulot ishga tushiriladi, yoki "p = 0.07" bo'lgani uchun foydali o'zgarish rad etiladi.

Real vaziyat. Mahsulot menejeri A/B test o'tkazdi: yangi tugma rangi, 800 foydalanuvchi, konversiya 11.0% → 12.5%, p = 0.35. Menejer: "Farq yo'q ekan, eski variantni qoldiramiz". Data Scientist tuzatadi: p = 0.31 — "farq yo'q" degani emas, "bu namunada farqni ajratib bo'lmadi" degani. Quvvat hisobi ko'rsatadi: 800 foydalanuvchi bilan 1.5% farqni aniqlash ehtimoli atigi 20% — test juda kichik. To'g'ri qaror: testni davom ettirish (kerakli hajm ~ 7 000 foydalanuvchi) yoki "farq yo'q" emas, "hali bilmaymiz" deb hisobot berish.

Bu darsda gipoteza testi tizimini o'rganamiz.

Bu darsda:

  • Test mantiqi: H0 dunyosida hisoblash
  • p-qiymat — aniq ta'rif va talqin
  • Ahamiyat darajasi va qaror qoidasi
  • I va II tur xatolar
  • Bir tomonlama va ikki tomonlama testlar
  • Statistik va amaliy ahamiyat (effekt kattaligi)
  • Test tanlash xaritasi
  • Amaliy: simulyatsiya bilan p-qiymatni tushunish

ℹ Misollar real numpy/scipy bilan (Python 3.14).


2. Nazariya — chuqur tushuntirish

2.1. Test mantiqi

text
1. H0 (nol gipoteza)    — "farq yo'q", "ta'sir yo'q" (standart holat)
2. H1 (muqobil)         — biz ko'rmoqchi bo'lgan farq
3. TEST STATISTIKASI    — ma'lumotdan bitta son (masalan, t, xi^2, farq)
4. H0 DUNYOSI           — agar H0 rost bo'lsa, bu statistika qanday taqsimlanadi?
5. p-QIYMAT             — H0 rost bo'lsa, kuzatilgandek yoki undan "kuchliroq"
                          natija chiqish ehtimoli
6. QAROR                — p < alfa → H0 ni rad etamiz; aks holda rad etmaymiz

Gipoteza testi — zid isbot usuli: "Faraz qilaylik, farq yo'q (H0). Unda bunday natija qanchalik ehtimolli?" Agar juda ehtimolsiz bo'lsa — H0 ga shubha qilamiz. Diqqat: test H1 ni isbotlamaydi; u faqat H0 ni rad etadi yoki etmaydi. "Rad etmaslik" — "H0 rost" degani emas 8.8-bob: dalil yetarli emas, xolos.

2.2. p-qiymat — aniq ta'rif

text
p = P( kuzatilgandek yoki undan ekstremalroq natija | H0 rost )

TO'G'RI: "Agar farq bo'lmaganda, bunday natija 3% holatda tasodifan chiqardi"
NOTO'G'RI: "H0 rost bo'lish ehtimoli 3%"          ← P(H0 | ma'lumot) — Bayes kerak 9.4-bob
NOTO'G'RI: "Farq 97% ehtimol bilan haqiqiy"
NOTO'G'RI: "p = 0.3 → farq yo'q"
NOTO'G'RI: "p kichik → farq katta"                 ← p kattalikni o'lchamaydi

p-qiymat — shartli ehtimol: shart — H0 rost, hodisa — "shunday yoki kuchliroq natija". Bu P(ma'lumot | H0), bizga kerak bo'lgan P(H0 | ma'lumot) emas — ularni adashtirish 9.3-darsdagi shartni aylantirish xatosi. p-qiymat namuna hajmiga ham bog'liq: katta n da juda kichik farq ham kichik p beradi. Shuning uchun p bilan birga effekt kattaligi va ishonch oralig'i ko'rsatiladi.

2.3. Ahamiyat darajasi va qaror qoidasi

alfa — H0 rost bo'lgan holatda uni rad etishga roziligimiz (odatda 0.05): "haqiqatda farq bo'lmasa ham, 20 tadan 1 marta 'farq bor' deymiz". alfa oldindan tanlanadi (8.8 — p-hacking oldini olish). Tanlash — xato narxiga qarab 9.6-bob: tibbiy qarorda 0.01, tezkor mahsulot tajribasida 0.10 bo'lishi mumkin. 0.05 — an'ana (Fisher), qonun emas. Qaror: p < alfa → H0 rad; p ≥ alfa → rad etmaymiz. "p = 0.049 muhim, p = 0.051 muhim emas" — sun'iy chegara; natijani doimiy ko'rsatkich sifatida hisobot qiling.

2.4. I va II tur xatolar

text
                        HAQIQAT: H0 rost         HAQIQAT: H0 noto'g'ri
  H0 ni rad etdik       I tur xato (alfa)        TO'G'RI (quvvat = 1 - beta)
  Rad etmadik           TO'G'RI                  II tur xato (beta)

I tur  — "yo'q narsani bor dedik"  (yolg'on kashfiyot)
II tur — "bor narsani ko'rmadik"   (o'tkazib yuborish)
Quvvat — haqiqiy farqni aniqlash ehtimoli (odatda 80% maqsad qilinadi)

Ikki xato turi muvozanatda: alfa ni kichraytirsak (ehtiyotkorroq), II tur xato oshadi (haqiqiy farqni o'tkazib yuboramiz). Quvvatga ta'sir qiluvchi omillar: namuna hajmi (katta — yaxshi), effekt kattaligi (katta farqni ko'rish oson), tarqoqlik (kam — yaxshi), alfa. Amalda eng ko'p uchraydigan muammo — quvvat yetishmasligi 11.2-bob: kichik testda "p > 0.05" deyarli hech narsani anglatmaydi.

2.5. Bir tomonlama va ikki tomonlama testlar

Ikki tomonlama (standart): H1 — "farq bor" (har qanday yo'nalishda); p — ikkala dumdagi ehtimol. Bir tomonlama: H1 — "kattaroq" (yoki "kichikroq"); p ikki baravar kichik, lekin teskari yo'nalishdagi farqni umuman ko'rmaydi. Qoida: bir tomonlama faqat oldindan asoslangan bo'lsa (teskari natija amalda mumkin emas yoki mutlaqo qiziqtirmasa). Natijani ko'rib bir tomonlamaga o'tish — p-hacking 8.8-bob. Amalda A/B testlarda deyarli har doim ikki tomonlama ishlatiladi (yangi variant yomonroq bo'lishi ham mumkin).

2.6. Statistik va amaliy ahamiyat

text
Effekt kattaligi:
  Cohen's d = (o'rtacha1 - o'rtacha2) / birlashtirilgan SD     (0.2 kichik, 0.5 o'rta, 0.8 katta)
  Nisbiy farq: (12.5% - 11.0%) / 11.0% = +13.6%
  Ishonch oralig'i: farq [-1.7%, +4.7%]  ← qanday farqlar mos keladi

n = 1 000 000 da 0.01% farq ham p < 0.001 beradi — statistik muhim, amaliy ahamiyatsiz

Statistik ahamiyat ≠ amaliy ahamiyat (8.8, 9.9): p faqat "tasodif bilan tushuntirish qiyin"ligini aytadi, farq qanchalik katta ekanini emas. Har doim uchtasini birga bering: nuqta bahosi (farq), ishonch oralig'i (noaniqlik), p-qiymat (tasodif bilan mosligi). Biznes qarori uchun yana amaliy chegara kerak: "konversiya kamida 1% oshsa, ishga tushiramiz".

2.7. Test tanlash xaritasi

text
SAVOL                                      TEST                          DARS
Bir o'rtacha ma'lum qiymatdan farqlimi?    bir namunali t-test           11.3
Ikki guruh o'rtachasi farqlimi?            Welch t-test                  11.3
Bir xil obyektlar (oldin/keyin)?           juftlashgan t-test            11.3
Ikki konversiya (ulush) farqlimi?          proporsiyalar z-testi         11.4
Ikki kategoriya bog'liqmi?                 xi-kvadrat                    11.5
Uch va undan ko'p guruh o'rtachasi?        ANOVA                         11.6
Taqsimot qiyshiq / kichik namuna?          Mann-Whitney, Wilcoxon        11.7
Murakkab statistika (median, nisbat)?      bootstrap, permutatsiya       11.8
Ko'p test bir vaqtda?                      Bonferroni, FDR               11.9

Test tanlash uchta savolga bog'liq: nima solishtirilyapti (o'rtacha, ulush, taqsimot, bog'liqlik), guruhlar soni va bog'liqligi (mustaqil yoki juftlashgan), farazlar bajarilishi (normallik, dispersiyalar tengligi, mustaqillik). Farazlar buzilsa — noparametrik yoki qayta namuna olish usullari (11.7-11.8). Bu qismning qolgan darslari — shu jadvalning har qatori.

2.8. Test tizimi — noaniqlik ostida qaror

Gipoteza testi: H0 dunyosida statistika taqsimotini hisoblash → p-qiymat (P(ma'lumot | H0), P(H0 | ma'lumot) emas) → alfa bilan qaror. I tur (yolg'on kashfiyot, alfa) va II tur (o'tkazib yuborish, beta) xatolar; quvvat = 1 - beta 11.2-bob. Ikki tomonlama — standart; bir tomonlama — faqat oldindan asoslanganda. Statistik ahamiyat ≠ amaliy: nuqta bahosi + ishonch oralig'i + p birga. Test tanlash — nima solishtirilyapti, guruhlar, farazlar. Keyingi dars — statistik quvvat va namuna hajmi.


3. Tez ma'lumotnoma

python
import numpy as np
from scipy import stats

stats.ttest_ind(a, b, equal_var=False)       # Welch t-test (11.3)
stats.ttest_rel(oldin, keyin)                # juftlashgan
stats.chi2_contingency(jadval)               # xi-kvadrat (11.5)
stats.f_oneway(g1, g2, g3)                   # ANOVA (11.6)
stats.mannwhitneyu(a, b)                     # noparametrik (11.7)

res = stats.ttest_ind(a, b, equal_var=False)
res.statistic, res.pvalue
res.confidence_interval(0.95)                # ishonch oralig'i

# effekt kattaligi (Cohen's d)
s = np.sqrt(((len(a)-1)*a.var(ddof=1) + (len(b)-1)*b.var(ddof=1)) / (len(a)+len(b)-2))
d = (a.mean() - b.mean()) / s
QOIDA: alfa oldindan · p — P(ma'lumot|H0) · farq + CI + p birga · rad etmaslik ≠ isbot

Test tizimi xulosasi

p = P(shunday yoki kuchliroq natija | H0 rost)
p < alfa → H0 rad; p >= alfa → dalil yetarli emas (isbot emas)
I tur — yolg'on kashfiyot (alfa); II tur — o'tkazib yuborish (beta)
Quvvat = 1 - beta (11.2)
Ikki tomonlama — standart; bir tomonlama — oldindan asoslangan
Statistik ahamiyat ≠ amaliy: effekt kattaligi va CI kerak

4. Batafsil misollar

Misollar real numpy/scipy bilan (Python 3.14).

Misol 1 — p-qiymat nimani anglatadi (simulyatsiya)

python
"""p-qiymat H0 dunyosidagi ehtimol ekanini simulyatsiya bilan ko'rsatish (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(0)

    print("=== 1. H0 rost: ikki guruh bir xil taqsimotdan ===")
    a = rng.normal(100, 15, 40)
    b = rng.normal(100, 15, 40)
    res = stats.ttest_ind(a, b, equal_var=False)
    print(f"  o'rtachalar: {a.mean():.2f} va {b.mean():.2f}, p = {res.pvalue:.3f}")

    print("\n=== 2. H0 rost bo'lganda p tekis taqsimlangan ===")
    p_lar = np.array([stats.ttest_ind(rng.normal(100, 15, 40), rng.normal(100, 15, 40),
                                      equal_var=False).pvalue for _ in range(8_000)])
    for chegara in [0.01, 0.05, 0.10, 0.50]:
        print(f"  p < {chegara:.2f}: {(p_lar < chegara).mean():.3f}  (kutilgan {chegara})")

    print("\n=== 3. H0 noto'g'ri bo'lsa (haqiqiy farq 8 birlik) ===")
    p_h1 = np.array([stats.ttest_ind(rng.normal(108, 15, 40), rng.normal(100, 15, 40),
                                     equal_var=False).pvalue for _ in range(8_000)])
    print(f"  p < 0.05: {(p_h1 < 0.05).mean():.3f}  ← quvvat (1 - beta)")
    print(f"  p >= 0.05: {(p_h1 >= 0.05).mean():.3f}  ← II tur xato (o'tkazib yuborish)")
    print("  ⭐ p < 0.05 ni H0 rost bo'lganda 5% holatda ko'ramiz — bu I tur xato")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. H0 rost: ikki guruh bir xil taqsimotdan ===
  o'rtachalar: 99.09 va 104.52, p = 0.096

=== 2. H0 rost bo'lganda p tekis taqsimlangan ===
  p < 0.01: 0.011  (kutilgan 0.01)
  p < 0.05: 0.049  (kutilgan 0.05)
  p < 0.10: 0.100  (kutilgan 0.1)
  p < 0.50: 0.501  (kutilgan 0.5)

=== 3. H0 noto'g'ri bo'lsa (haqiqiy farq 8 birlik) ===
  p < 0.05: 0.661  ← quvvat (1 - beta)
  p >= 0.05: 0.339  ← II tur xato (o'tkazib yuborish)
  ⭐ p < 0.05 ni H0 rost bo'lganda 5% holatda ko'ramiz — bu I tur xato

Nima ko'rsatdi: 2.1, 2.2, 2.4-bo'limlar.

Misol 2 — A/B test: p, farq va ishonch oralig'i

python
"""A/B test natijasini uch son bilan hisobot qilish (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    # A: 800 foydalanuvchi, 88 konversiya (11.0%); B: 800, 100 (12.5%)
    nA, xA, nB, xB = 800, 88, 800, 100
    pA, pB = xA / nA, xB / nB

    print("=== 1. Kuzatilgan farq ===")
    print(f"  A: {pA:.3%}, B: {pB:.3%}, farq: {pB - pA:+.2%} ({(pB - pA) / pA:+.1%} nisbiy)")

    print("\n=== 2. p-qiymat (proporsiyalar testi) ===")
    p_umumiy = (xA + xB) / (nA + nB)
    se0 = np.sqrt(p_umumiy * (1 - p_umumiy) * (1 / nA + 1 / nB))
    z = (pB - pA) / se0
    p_qiymat = 2 * stats.norm.sf(abs(z))
    print(f"  z = {z:.3f}, p = {p_qiymat:.3f}")

    print("\n=== 3. Farqning 95% ishonch oralig'i ===")
    se = np.sqrt(pA * (1 - pA) / nA + pB * (1 - pB) / nB)
    lo, hi = (pB - pA) - 1.96 * se, (pB - pA) + 1.96 * se
    print(f"  [{lo:+.2%}, {hi:+.2%}]  ← ma'lumotga mos farqlar")

    print("\n=== 4. Xulosa ===")
    print(f"  p = {p_qiymat:.2f} > 0.05 → H0 rad etilmaydi")
    print("  Lekin CI +4.7% gacha farqni ham istisno qilmaydi — 'farq yo'q' demaslik kerak")
    print("  ⭐ Farq + CI + p birga hisobot qilinadi")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Kuzatilgan farq ===
  A: 11.000%, B: 12.500%, farq: +1.50% (+13.6% nisbiy)

=== 2. p-qiymat (proporsiyalar testi) ===
  z = 0.932, p = 0.352

=== 3. Farqning 95% ishonch oralig'i ===
  [-1.65%, +4.65%]  ← ma'lumotga mos farqlar

=== 4. Xulosa ===
  p = 0.35 > 0.05 → H0 rad etilmaydi
  Lekin CI +4.7% gacha farqni ham istisno qilmaydi — 'farq yo'q' demaslik kerak
  ⭐ Farq + CI + p birga hisobot qilinadi

Nima ko'rsatdi: 2.2, 2.6-bo'limlar.

Misol 3 — Statistik va amaliy ahamiyat

python
"""Katta namunada arzimas farq ham 'muhim' chiqadi (real numpy/scipy)."""

import numpy as np
from scipy import stats


def kohen_d(a: np.ndarray, b: np.ndarray) -> float:
    s = np.sqrt(((len(a) - 1) * a.var(ddof=1) + (len(b) - 1) * b.var(ddof=1)) / (len(a) + len(b) - 2))
    return float((a.mean() - b.mean()) / s)


def main() -> None:
    rng = np.random.default_rng(1)

    print("=== 1. Bir xil kichik farq, turli namuna hajmi ===")
    print("  (haqiqiy farq: 0.5 soniya, SD = 20 soniya)")
    for n in [100, 1_000, 10_000, 200_000]:
        a = rng.normal(60.5, 20, n)
        b = rng.normal(60.0, 20, n)
        res = stats.ttest_ind(a, b, equal_var=False)
        print(f"  n={n:>7}: farq {a.mean() - b.mean():+.3f}s, p = {res.pvalue:.4f}, d = {kohen_d(a, b):.3f}")

    print("\n=== 2. Katta effekt (d = 1.0), lekin n = 12 ===")
    A = rng.normal(70, 20, (3000, 12))
    B = rng.normal(50, 20, (3000, 12))
    res = stats.ttest_ind(A, B, axis=1, equal_var=False)
    quvvat = (res.pvalue < 0.05).mean()
    print(f"  p < 0.05 ulushi (quvvat): {quvvat:.3f}")
    print(f"  haqiqiy katta farq {1 - quvvat:.0%} holatda 'muhim emas' chiqadi")

    print("\n=== 3. Xulosa ===")
    print("  katta n: kichik farq ham 'muhim' (p kichik), lekin d kichik")
    print("  kichik n: katta farq ham 'muhim emas' bo'lishi mumkin")
    print("  ⭐ p — kattalikni o'lchamaydi; d va CI kerak")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Bir xil kichik farq, turli namuna hajmi ===
  (haqiqiy farq: 0.5 soniya, SD = 20 soniya)
  n=    100: farq +0.502s, p = 0.8487, d = 0.027
  n=   1000: farq -1.249s, p = 0.1673, d = -0.062
  n=  10000: farq +0.419s, p = 0.1352, d = 0.021
  n= 200000: farq +0.524s, p = 0.0000, d = 0.026

=== 2. Katta effekt (d = 1.0), lekin n = 12 ===
  p < 0.05 ulushi (quvvat): 0.656
  haqiqiy katta farq 34% holatda 'muhim emas' chiqadi

=== 3. Xulosa ===
  katta n: kichik farq ham 'muhim' (p kichik), lekin d kichik
  kichik n: katta farq ham 'muhim emas' bo'lishi mumkin
  ⭐ p — kattalikni o'lchamaydi; d va CI kerak

Nima ko'rsatdi: 2.6-bo'lim.

Misol 4 — Bir tomonlama test va chegara tuzog'i

python
"""Bir/ikki tomonlama farqi va 0.05 chegarasining sun'iyligi (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(2)
    a = rng.normal(103, 15, 60)
    b = rng.normal(100, 15, 60)

    print("=== 1. Bir xil ma'lumot, uch xil H1 ===")
    for alt, nom in [("two-sided", "ikki tomonlama"), ("greater", "a > b"), ("less", "a < b")]:
        res = stats.ttest_ind(a, b, equal_var=False, alternative=alt)
        print(f"  {nom:<14}: p = {res.pvalue:.4f}")

    print("\n=== 2. Natijani ko'rib tomon tanlash — p-hacking ===")
    print("  ikki tomonlama p ni ikkiga bo'lish = alfa ni 0.10 ga ko'tarish")

    print("\n=== 3. 0.05 chegarasi — sun'iy ===")
    se = 15 * np.sqrt(2 / 60)
    for farq in [5.2, 5.5, 5.8]:
        res = stats.ttest_ind_from_stats(100 + farq, 15, 60, 100, 15, 60, equal_var=False)
        print(f"  farq {farq:+.1f}: p = {res.pvalue:.3f}, "
              f"CI [{farq - 1.98 * se:+.2f}, {farq + 1.98 * se:+.2f}]")
    print("  ⭐ p = 0.049 va 0.051 — deyarli bir xil dalil")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Bir xil ma'lumot, uch xil H1 ===
  ikki tomonlama: p = 0.0920
  a > b         : p = 0.0460
  a < b         : p = 0.9540

=== 2. Natijani ko'rib tomon tanlash — p-hacking ===
  ikki tomonlama p ni ikkiga bo'lish = alfa ni 0.10 ga ko'tarish

=== 3. 0.05 chegarasi — sun'iy ===
  farq +5.2: p = 0.060, CI [-0.22, +10.62]
  farq +5.5: p = 0.047, CI [+0.08, +10.92]
  farq +5.8: p = 0.036, CI [+0.38, +11.22]
  ⭐ p = 0.049 va 0.051 — deyarli bir xil dalil

Nima ko'rsatdi: 2.3, 2.5-bo'limlar.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"p — H0 rost bo'lish ehtimoli" P(ma'lumot | H0)
"p > 0.05 → farq yo'q" Dalil yetarli emas
"p kichik → effekt katta" p kattalikni o'lchamaydi
"0.05 — ilmiy qonun" An'ana; alfa tanlanadi
"Bir tomonlama tezroq natija beradi" Faqat oldindan asoslanganda
"Test H1 ni isbotlaydi" Faqat H0 ni rad etadi
"alfa kichik — doim yaxshi" II tur xato oshadi
"Katta n — natija ishonchli" Amaliy ahamiyatni ko'ring

6. Keng tarqalgan xatolar va yechimlari

1. p ni noto'g'ri talqin

python
print(f"Farq haqiqiy bo'lish ehtimoli: {1 - p:.0%}")               # ⚠️
print(f"H0 da bunday natija ehtimoli: {p:.3f}")                    # ✅

2. "Farq yo'q" xulosasi

python
if p > 0.05: print("farq yo'q")                                    # ⚠️
if p > 0.05: print("farq topilmadi; CI:", ci)                      # ✅

3. Faqat p ni hisobot qilish

python
print("p =", p)                                                    # ⚠️
print(f"farq {d:+.2f} [{lo:+.2f}, {hi:+.2f}], p = {p:.3f}")        # ✅

4. Natijadan keyin bir tomonlama

python
res = ttest_ind(a, b, alternative="greater")   # p ni ko'rgandan keyin  # ⚠️
res = ttest_ind(a, b)                          # oldindan belgilangan   # ✅

5. Chegara fetishizmi

python
if p < 0.05: ishga_tushir()                                        # ⚠️
if p < 0.05 and farq > amaliy_chegara: ishga_tushir()              # ✅

6. Kichik namunada "farq yo'q"

python
# n = 30, p = 0.4 → "ta'sir yo'q"                                  # ⚠️
# quvvat hisobini qiling 11.2-bob: balki 20% quvvat                  # ✅

7. Test farazlarini tekshirmaslik

python
stats.ttest_ind(a, b)              # equal_var=True (standart)     # ⚠️
stats.ttest_ind(a, b, equal_var=False)   # Welch — xavfsizroq      # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 4.12-4.13-darslar (o'tilgan): Gipoteza testi, t-test asoslari
  • 8.8-dars (o'tilgan): Gipoteza shakllantirish, p-hacking
  • 9.3-9.4-darslar (o'tilgan): Shartli ehtimol, Bayes
  • 11.2-dars: Quvvat va namuna hajmi
  • 11.3-11.10-darslar: Aniq testlar va A/B loyiha

8. Eng yaxshi amaliyotlar

  1. H0, H1, alfa va testni oldindan yozing.

  2. p ni to'g'ri talqin qiling (shartli ehtimol).

  3. Farq + CI + p ni birga bering.

  4. Effekt kattaligini hisoblang.

  5. "Farq yo'q" demang — quvvatni tekshiring.

  6. Ikki tomonlama testni standart qiling.

  7. Amaliy chegarani biznes bilan kelishing.

  8. Farazlarni tekshiring 11.3-bob.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # H0 odatda nima deydi?
2.  # p-qiymat ta'rifi?
3.  # p = 0.03 nimani anglatadi?
4.  # p = 0.3 — farq yo'qmi?
5.  # I tur xato?
6.  # II tur xato?
7.  # quvvat = ?
8.  # alfa ni kichraytirsak beta?
9.  # H0 rost bo'lganda p taqsimoti?
10. # bir tomonlama p ikki tomonlamadan?
11. # n oshsa p?
12. # Cohen's d 0.2 — qanday effekt?
Javoblar
  1. Farq yo'q
  2. P(shunday yoki kuchliroq natija | H0)
  3. H0 da bunday natija 3% holatda chiqadi
  4. Yo'q — dalil yetarli emas
  5. Yo'q narsani bor deyish
  6. Bor narsani ko'rmaslik
  7. 1 - beta
  8. Oshadi
  9. Tekis (uniform)
  10. Ikki baravar kichik
  11. Kichrayadi (farq bor bo'lsa)
  12. Kichik

Vazifa 2: Xatolarni tuzating

python
1.  print(f"Farq haqiqiy: {(1 - p) * 100:.0f}%")

2.  if p > 0.05: print("ta'sir yo'q")

3.  res = stats.ttest_ind(a, b, alternative="greater")   # natijani ko'rgach

4.  print("p =", p)   # hisobot

5.  stats.ttest_ind(a, b)   # dispersiyalar juda farqli
Javoblar
python
1.  print(f"H0 da bunday natija ehtimoli: {p:.3f}")

2.  if p > 0.05: print("farq topilmadi (CI:", ci, ")")

3.  res = stats.ttest_ind(a, b)   # oldindan ikki tomonlama

4.  print(f"farq {farq:+.2f} CI [{lo:+.2f}, {hi:+.2f}], p = {p:.3f}")

5.  stats.ttest_ind(a, b, equal_var=False)

Vazifa 3: p taqsimoti

Modellang:

  1. H0 rost — 10 000 test
  2. p gistogrammasi (tekis)
  3. H1 rost (turli effekt) — p taqsimoti
  4. alfa ni o'zgartirish ta'siri

Vazifa 4: A/B hisobot

Modellang:

  1. Ikki variant konversiyasi
  2. Farq, CI, p
  3. Amaliy chegara bilan qaror
  4. Menejer uchun 3 gaplik xulosa

Vazifa 5: Effekt kattaligi

Modellang:

  1. Turli n va effekt kombinatsiyalari
  2. p va Cohen's d jadvali
  3. Qachon "muhim, lekin ahamiyatsiz"
  4. Qachon "ahamiyatli, lekin isbotlanmagan"

Vazifa 6: Integratsiya

Modellang:

  1. Gipoteza shakllantirish (8.8)
  2. t-test (4.13)
  3. Ishonch oralig'i
  4. Hisobot (8.9)

Vazifa 7: O'ylash

2016-yilda Amerika Statistika Assotsiatsiyasi p-qiymat haqida maxsus bayonot chiqardi, 2019-yilda esa bir guruh olimlar "statistik ahamiyat" tushunchasidan voz kechishga chaqirdi. Nima uchun eng keng tarqalgan statistik vosita shunchalik tanqidga uchradi? Data Scientist p-qiymatni qanday ishlatishi kerak?

Javob

Qisqa javob: muammo p-qiymatda emas, uning ishlatilishida: murakkab dalilni bitta songa va "muhim/muhim emas" ikkiligiga siqish. Bu p-hacking, nashr tarafkashligi va takrorlanmaslik inqiroziga 8.8-bob olib keldi.

1. Asosiy tanqidlar

  • p — kattalikni ham, ahamiyatni ham o'lchamaydi
  • 0.05 — sun'iy chegara; 0.049 va 0.051 amalda bir xil
  • "Muhim emas" natijalar nashr etilmaydi (fayl tortmasi effekti)
  • p-hacking: ko'p test, to'xtash qoidasini o'zgartirish, tanlab hisobot
  • p noto'g'ri talqin qilinadi (P(H0 | ma'lumot) deb)

2. Nima o'rniga (yoki yoniga)

Vosita Nimani beradi
Effekt kattaligi Farq qanchalik katta
Ishonch oralig'i Qanday qiymatlar mos
Quvvat hisobi Testning sezgirligi (11.2)
Bayescha yondashuv P(gipoteza | ma'lumot)
Takroriy tekshiruv Natija barqarormi

3. Amaliy qoidalar

  1. Rejani oldindan yozish (H0, alfa, n, test)
  2. Farq + CI + p ni birga hisobot qilish
  3. "Muhim emas" ni "farq yo'q" deb yozmaslik
  4. Ko'p test bo'lsa tuzatish (11.9)
  5. Biznes uchun amaliy chegarani oldindan kelishish

4. Data Scientist qanday

  • p — qaror qoidasi emas, dalil o'lchovlaridan biri
  • Qaror: effekt kattaligi + noaniqlik + narx/foyda
  • Hisobotda barcha o'tkazilgan testlarni ko'rsatish (shaffoflik)

5. Xulosa

  1. p-qiymat foydali, lekin yolg'iz yetarli emas
  2. Chegara fetishizmi — asosiy muammo
  3. Effekt, CI, quvvat — to'liq rasm
  4. Oldindan reja va shaffoflik — eng yaxshi himoya

Nimani mustahkamlaydi: 2.2, 2.3, 2.6-bo'limlar.


Xulosa

Bu darsda gipoteza testi tizimini o'rgandik.

Eng muhim uch fikr:

  1. Test mantiqi va p. Test H0 dunyosida hisoblaydi: p = P(shunday yoki kuchliroq natija | H0 rost) — P(H0 | ma'lumot) emas. p < alfa → H0 rad; p ≥ alfa → dalil yetarli emas (isbot emas). H0 rost bo'lganda p tekis taqsimlangan — shuning uchun alfa = 0.05 da 20 tadan 1 test yolg'on "kashfiyot" beradi.

  2. Ikki xato va quvvat. I tur (yolg'on kashfiyot, alfa) va II tur (o'tkazib yuborish, beta); quvvat = 1 - beta. alfa ni kichraytirish II tur xatoni oshiradi. Kichik namunada "p > 0.05" ko'pincha quvvat yetishmasligini anglatadi 11.2-bob.

  3. Statistik va amaliy ahamiyat. p kattalikni o'lchamaydi: katta n da arzimas farq ham "muhim", kichik n da katta farq ham "muhim emas" bo'lishi mumkin. Hisobot — farq + ishonch oralig'i + p (va effekt kattaligi); qaror — amaliy chegara bilan.

Keyingi darsda statistik quvvat va namuna hajmini o'rganamiz: testni oldindan loyihalash, kerakli n ni hisoblash, minimal aniqlanadigan effekt (MDE) va nima uchun kichik testlar ko'pincha vaqtni behuda sarflaydi.

Gipoteza testlari · 1-dars yakunlandi

11.1-dars: Gipoteza testi tizimi

19 daqvaqt
0belgi
Keyingi dars: 11.2-dars: Statistik quvvat va namuna hajmi
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0