11.1-dars: Gipoteza testi tizimi
11-QISM — GIPOTEZA TESTLARI · 1-dars
1. Kirish va motivatsiya
4.12-darsda gipoteza testi bilan tanishdik (H0, H1, p-qiymat), 8.8-darsda gipotezani to'g'ri shakllantirishni o'rgandik. Bu qismda testlarni to'liq asbob to'plami sifatida o'rganamiz: qaysi vaziyatda qaysi test, uning farazlari, natijani qanday o'qish va qanday xato qilmaslik. Birinchi dars — butun tizimning "operatsion tizimi": test nima qiladi, I va II tur xatolar, p-qiymatning aniq ma'nosi, va nima uchun "p < 0.05" — javobning oxiri emas, boshlanishi.
Gipoteza testlari Data Science'da har kuni ishlatiladi: A/B test natijasi haqiqiymi, ikki segment farq qiladimi, yangi model eskisidan yaxshiroqmi, o'zgarish mavsumiy tebranishmi. Ularni noto'g'ri ishlatish — sanoatdagi eng qimmat xatolardan biri: "p < 0.05" chiqqani uchun ishlamaydigan mahsulot ishga tushiriladi, yoki "p = 0.07" bo'lgani uchun foydali o'zgarish rad etiladi.
Real vaziyat. Mahsulot menejeri A/B test o'tkazdi: yangi tugma rangi, 800 foydalanuvchi, konversiya 11.0% → 12.5%, p = 0.35. Menejer: "Farq yo'q ekan, eski variantni qoldiramiz". Data Scientist tuzatadi: p = 0.31 — "farq yo'q" degani emas, "bu namunada farqni ajratib bo'lmadi" degani. Quvvat hisobi ko'rsatadi: 800 foydalanuvchi bilan 1.5% farqni aniqlash ehtimoli atigi 20% — test juda kichik. To'g'ri qaror: testni davom ettirish (kerakli hajm ~ 7 000 foydalanuvchi) yoki "farq yo'q" emas, "hali bilmaymiz" deb hisobot berish.
Bu darsda gipoteza testi tizimini o'rganamiz.
Bu darsda:
- Test mantiqi: H0 dunyosida hisoblash
- p-qiymat — aniq ta'rif va talqin
- Ahamiyat darajasi va qaror qoidasi
- I va II tur xatolar
- Bir tomonlama va ikki tomonlama testlar
- Statistik va amaliy ahamiyat (effekt kattaligi)
- Test tanlash xaritasi
- Amaliy: simulyatsiya bilan p-qiymatni tushunish
ℹ Misollar real numpy/scipy bilan (Python 3.14).
2. Nazariya — chuqur tushuntirish
2.1. Test mantiqi
1. H0 (nol gipoteza) — "farq yo'q", "ta'sir yo'q" (standart holat)
2. H1 (muqobil) — biz ko'rmoqchi bo'lgan farq
3. TEST STATISTIKASI — ma'lumotdan bitta son (masalan, t, xi^2, farq)
4. H0 DUNYOSI — agar H0 rost bo'lsa, bu statistika qanday taqsimlanadi?
5. p-QIYMAT — H0 rost bo'lsa, kuzatilgandek yoki undan "kuchliroq"
natija chiqish ehtimoli
6. QAROR — p < alfa → H0 ni rad etamiz; aks holda rad etmaymizGipoteza testi — zid isbot usuli: "Faraz qilaylik, farq yo'q (H0). Unda bunday natija qanchalik ehtimolli?" Agar juda ehtimolsiz bo'lsa — H0 ga shubha qilamiz. Diqqat: test H1 ni isbotlamaydi; u faqat H0 ni rad etadi yoki etmaydi. "Rad etmaslik" — "H0 rost" degani emas 8.8-bob: dalil yetarli emas, xolos.
2.2. p-qiymat — aniq ta'rif
p = P( kuzatilgandek yoki undan ekstremalroq natija | H0 rost )
TO'G'RI: "Agar farq bo'lmaganda, bunday natija 3% holatda tasodifan chiqardi"
NOTO'G'RI: "H0 rost bo'lish ehtimoli 3%" ← P(H0 | ma'lumot) — Bayes kerak 9.4-bob
NOTO'G'RI: "Farq 97% ehtimol bilan haqiqiy"
NOTO'G'RI: "p = 0.3 → farq yo'q"
NOTO'G'RI: "p kichik → farq katta" ← p kattalikni o'lchamaydip-qiymat — shartli ehtimol: shart — H0 rost, hodisa — "shunday yoki kuchliroq natija". Bu P(ma'lumot | H0), bizga kerak bo'lgan P(H0 | ma'lumot) emas — ularni adashtirish 9.3-darsdagi shartni aylantirish xatosi. p-qiymat namuna hajmiga ham bog'liq: katta n da juda kichik farq ham kichik p beradi. Shuning uchun p bilan birga effekt kattaligi va ishonch oralig'i ko'rsatiladi.
2.3. Ahamiyat darajasi va qaror qoidasi
alfa — H0 rost bo'lgan holatda uni rad etishga roziligimiz (odatda 0.05): "haqiqatda farq bo'lmasa ham, 20 tadan 1 marta 'farq bor' deymiz". alfa oldindan tanlanadi (8.8 — p-hacking oldini olish). Tanlash — xato narxiga qarab 9.6-bob: tibbiy qarorda 0.01, tezkor mahsulot tajribasida 0.10 bo'lishi mumkin. 0.05 — an'ana (Fisher), qonun emas. Qaror: p < alfa → H0 rad; p ≥ alfa → rad etmaymiz. "p = 0.049 muhim, p = 0.051 muhim emas" — sun'iy chegara; natijani doimiy ko'rsatkich sifatida hisobot qiling.
2.4. I va II tur xatolar
HAQIQAT: H0 rost HAQIQAT: H0 noto'g'ri
H0 ni rad etdik I tur xato (alfa) TO'G'RI (quvvat = 1 - beta)
Rad etmadik TO'G'RI II tur xato (beta)
I tur — "yo'q narsani bor dedik" (yolg'on kashfiyot)
II tur — "bor narsani ko'rmadik" (o'tkazib yuborish)
Quvvat — haqiqiy farqni aniqlash ehtimoli (odatda 80% maqsad qilinadi)Ikki xato turi muvozanatda: alfa ni kichraytirsak (ehtiyotkorroq), II tur xato oshadi (haqiqiy farqni o'tkazib yuboramiz). Quvvatga ta'sir qiluvchi omillar: namuna hajmi (katta — yaxshi), effekt kattaligi (katta farqni ko'rish oson), tarqoqlik (kam — yaxshi), alfa. Amalda eng ko'p uchraydigan muammo — quvvat yetishmasligi 11.2-bob: kichik testda "p > 0.05" deyarli hech narsani anglatmaydi.
2.5. Bir tomonlama va ikki tomonlama testlar
Ikki tomonlama (standart): H1 — "farq bor" (har qanday yo'nalishda); p — ikkala dumdagi ehtimol. Bir tomonlama: H1 — "kattaroq" (yoki "kichikroq"); p ikki baravar kichik, lekin teskari yo'nalishdagi farqni umuman ko'rmaydi. Qoida: bir tomonlama faqat oldindan asoslangan bo'lsa (teskari natija amalda mumkin emas yoki mutlaqo qiziqtirmasa). Natijani ko'rib bir tomonlamaga o'tish — p-hacking 8.8-bob. Amalda A/B testlarda deyarli har doim ikki tomonlama ishlatiladi (yangi variant yomonroq bo'lishi ham mumkin).
2.6. Statistik va amaliy ahamiyat
Effekt kattaligi:
Cohen's d = (o'rtacha1 - o'rtacha2) / birlashtirilgan SD (0.2 kichik, 0.5 o'rta, 0.8 katta)
Nisbiy farq: (12.5% - 11.0%) / 11.0% = +13.6%
Ishonch oralig'i: farq [-1.7%, +4.7%] ← qanday farqlar mos keladi
n = 1 000 000 da 0.01% farq ham p < 0.001 beradi — statistik muhim, amaliy ahamiyatsizStatistik ahamiyat ≠ amaliy ahamiyat (8.8, 9.9): p faqat "tasodif bilan tushuntirish qiyin"ligini aytadi, farq qanchalik katta ekanini emas. Har doim uchtasini birga bering: nuqta bahosi (farq), ishonch oralig'i (noaniqlik), p-qiymat (tasodif bilan mosligi). Biznes qarori uchun yana amaliy chegara kerak: "konversiya kamida 1% oshsa, ishga tushiramiz".
2.7. Test tanlash xaritasi
SAVOL TEST DARS
Bir o'rtacha ma'lum qiymatdan farqlimi? bir namunali t-test 11.3
Ikki guruh o'rtachasi farqlimi? Welch t-test 11.3
Bir xil obyektlar (oldin/keyin)? juftlashgan t-test 11.3
Ikki konversiya (ulush) farqlimi? proporsiyalar z-testi 11.4
Ikki kategoriya bog'liqmi? xi-kvadrat 11.5
Uch va undan ko'p guruh o'rtachasi? ANOVA 11.6
Taqsimot qiyshiq / kichik namuna? Mann-Whitney, Wilcoxon 11.7
Murakkab statistika (median, nisbat)? bootstrap, permutatsiya 11.8
Ko'p test bir vaqtda? Bonferroni, FDR 11.9Test tanlash uchta savolga bog'liq: nima solishtirilyapti (o'rtacha, ulush, taqsimot, bog'liqlik), guruhlar soni va bog'liqligi (mustaqil yoki juftlashgan), farazlar bajarilishi (normallik, dispersiyalar tengligi, mustaqillik). Farazlar buzilsa — noparametrik yoki qayta namuna olish usullari (11.7-11.8). Bu qismning qolgan darslari — shu jadvalning har qatori.
2.8. Test tizimi — noaniqlik ostida qaror
Gipoteza testi: H0 dunyosida statistika taqsimotini hisoblash → p-qiymat (P(ma'lumot | H0), P(H0 | ma'lumot) emas) → alfa bilan qaror. I tur (yolg'on kashfiyot, alfa) va II tur (o'tkazib yuborish, beta) xatolar; quvvat = 1 - beta 11.2-bob. Ikki tomonlama — standart; bir tomonlama — faqat oldindan asoslanganda. Statistik ahamiyat ≠ amaliy: nuqta bahosi + ishonch oralig'i + p birga. Test tanlash — nima solishtirilyapti, guruhlar, farazlar. Keyingi dars — statistik quvvat va namuna hajmi.
3. Tez ma'lumotnoma
import numpy as np
from scipy import stats
stats.ttest_ind(a, b, equal_var=False) # Welch t-test (11.3)
stats.ttest_rel(oldin, keyin) # juftlashgan
stats.chi2_contingency(jadval) # xi-kvadrat (11.5)
stats.f_oneway(g1, g2, g3) # ANOVA (11.6)
stats.mannwhitneyu(a, b) # noparametrik (11.7)
res = stats.ttest_ind(a, b, equal_var=False)
res.statistic, res.pvalue
res.confidence_interval(0.95) # ishonch oralig'i
# effekt kattaligi (Cohen's d)
s = np.sqrt(((len(a)-1)*a.var(ddof=1) + (len(b)-1)*b.var(ddof=1)) / (len(a)+len(b)-2))
d = (a.mean() - b.mean()) / s
QOIDA: alfa oldindan · p — P(ma'lumot|H0) · farq + CI + p birga · rad etmaslik ≠ isbotTest tizimi xulosasi
p = P(shunday yoki kuchliroq natija | H0 rost)
p < alfa → H0 rad; p >= alfa → dalil yetarli emas (isbot emas)
I tur — yolg'on kashfiyot (alfa); II tur — o'tkazib yuborish (beta)
Quvvat = 1 - beta (11.2)
Ikki tomonlama — standart; bir tomonlama — oldindan asoslangan
Statistik ahamiyat ≠ amaliy: effekt kattaligi va CI kerak4. Batafsil misollar
Misollar real numpy/scipy bilan (Python 3.14).
Misol 1 — p-qiymat nimani anglatadi (simulyatsiya)
"""p-qiymat H0 dunyosidagi ehtimol ekanini simulyatsiya bilan ko'rsatish (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(0)
print("=== 1. H0 rost: ikki guruh bir xil taqsimotdan ===")
a = rng.normal(100, 15, 40)
b = rng.normal(100, 15, 40)
res = stats.ttest_ind(a, b, equal_var=False)
print(f" o'rtachalar: {a.mean():.2f} va {b.mean():.2f}, p = {res.pvalue:.3f}")
print("\n=== 2. H0 rost bo'lganda p tekis taqsimlangan ===")
p_lar = np.array([stats.ttest_ind(rng.normal(100, 15, 40), rng.normal(100, 15, 40),
equal_var=False).pvalue for _ in range(8_000)])
for chegara in [0.01, 0.05, 0.10, 0.50]:
print(f" p < {chegara:.2f}: {(p_lar < chegara).mean():.3f} (kutilgan {chegara})")
print("\n=== 3. H0 noto'g'ri bo'lsa (haqiqiy farq 8 birlik) ===")
p_h1 = np.array([stats.ttest_ind(rng.normal(108, 15, 40), rng.normal(100, 15, 40),
equal_var=False).pvalue for _ in range(8_000)])
print(f" p < 0.05: {(p_h1 < 0.05).mean():.3f} ← quvvat (1 - beta)")
print(f" p >= 0.05: {(p_h1 >= 0.05).mean():.3f} ← II tur xato (o'tkazib yuborish)")
print(" ⭐ p < 0.05 ni H0 rost bo'lganda 5% holatda ko'ramiz — bu I tur xato")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. H0 rost: ikki guruh bir xil taqsimotdan ===
o'rtachalar: 99.09 va 104.52, p = 0.096
=== 2. H0 rost bo'lganda p tekis taqsimlangan ===
p < 0.01: 0.011 (kutilgan 0.01)
p < 0.05: 0.049 (kutilgan 0.05)
p < 0.10: 0.100 (kutilgan 0.1)
p < 0.50: 0.501 (kutilgan 0.5)
=== 3. H0 noto'g'ri bo'lsa (haqiqiy farq 8 birlik) ===
p < 0.05: 0.661 ← quvvat (1 - beta)
p >= 0.05: 0.339 ← II tur xato (o'tkazib yuborish)
⭐ p < 0.05 ni H0 rost bo'lganda 5% holatda ko'ramiz — bu I tur xatoNima ko'rsatdi: 2.1, 2.2, 2.4-bo'limlar.
Misol 2 — A/B test: p, farq va ishonch oralig'i
"""A/B test natijasini uch son bilan hisobot qilish (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
# A: 800 foydalanuvchi, 88 konversiya (11.0%); B: 800, 100 (12.5%)
nA, xA, nB, xB = 800, 88, 800, 100
pA, pB = xA / nA, xB / nB
print("=== 1. Kuzatilgan farq ===")
print(f" A: {pA:.3%}, B: {pB:.3%}, farq: {pB - pA:+.2%} ({(pB - pA) / pA:+.1%} nisbiy)")
print("\n=== 2. p-qiymat (proporsiyalar testi) ===")
p_umumiy = (xA + xB) / (nA + nB)
se0 = np.sqrt(p_umumiy * (1 - p_umumiy) * (1 / nA + 1 / nB))
z = (pB - pA) / se0
p_qiymat = 2 * stats.norm.sf(abs(z))
print(f" z = {z:.3f}, p = {p_qiymat:.3f}")
print("\n=== 3. Farqning 95% ishonch oralig'i ===")
se = np.sqrt(pA * (1 - pA) / nA + pB * (1 - pB) / nB)
lo, hi = (pB - pA) - 1.96 * se, (pB - pA) + 1.96 * se
print(f" [{lo:+.2%}, {hi:+.2%}] ← ma'lumotga mos farqlar")
print("\n=== 4. Xulosa ===")
print(f" p = {p_qiymat:.2f} > 0.05 → H0 rad etilmaydi")
print(" Lekin CI +4.7% gacha farqni ham istisno qilmaydi — 'farq yo'q' demaslik kerak")
print(" ⭐ Farq + CI + p birga hisobot qilinadi")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Kuzatilgan farq ===
A: 11.000%, B: 12.500%, farq: +1.50% (+13.6% nisbiy)
=== 2. p-qiymat (proporsiyalar testi) ===
z = 0.932, p = 0.352
=== 3. Farqning 95% ishonch oralig'i ===
[-1.65%, +4.65%] ← ma'lumotga mos farqlar
=== 4. Xulosa ===
p = 0.35 > 0.05 → H0 rad etilmaydi
Lekin CI +4.7% gacha farqni ham istisno qilmaydi — 'farq yo'q' demaslik kerak
⭐ Farq + CI + p birga hisobot qilinadiNima ko'rsatdi: 2.2, 2.6-bo'limlar.
Misol 3 — Statistik va amaliy ahamiyat
"""Katta namunada arzimas farq ham 'muhim' chiqadi (real numpy/scipy)."""
import numpy as np
from scipy import stats
def kohen_d(a: np.ndarray, b: np.ndarray) -> float:
s = np.sqrt(((len(a) - 1) * a.var(ddof=1) + (len(b) - 1) * b.var(ddof=1)) / (len(a) + len(b) - 2))
return float((a.mean() - b.mean()) / s)
def main() -> None:
rng = np.random.default_rng(1)
print("=== 1. Bir xil kichik farq, turli namuna hajmi ===")
print(" (haqiqiy farq: 0.5 soniya, SD = 20 soniya)")
for n in [100, 1_000, 10_000, 200_000]:
a = rng.normal(60.5, 20, n)
b = rng.normal(60.0, 20, n)
res = stats.ttest_ind(a, b, equal_var=False)
print(f" n={n:>7}: farq {a.mean() - b.mean():+.3f}s, p = {res.pvalue:.4f}, d = {kohen_d(a, b):.3f}")
print("\n=== 2. Katta effekt (d = 1.0), lekin n = 12 ===")
A = rng.normal(70, 20, (3000, 12))
B = rng.normal(50, 20, (3000, 12))
res = stats.ttest_ind(A, B, axis=1, equal_var=False)
quvvat = (res.pvalue < 0.05).mean()
print(f" p < 0.05 ulushi (quvvat): {quvvat:.3f}")
print(f" haqiqiy katta farq {1 - quvvat:.0%} holatda 'muhim emas' chiqadi")
print("\n=== 3. Xulosa ===")
print(" katta n: kichik farq ham 'muhim' (p kichik), lekin d kichik")
print(" kichik n: katta farq ham 'muhim emas' bo'lishi mumkin")
print(" ⭐ p — kattalikni o'lchamaydi; d va CI kerak")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Bir xil kichik farq, turli namuna hajmi ===
(haqiqiy farq: 0.5 soniya, SD = 20 soniya)
n= 100: farq +0.502s, p = 0.8487, d = 0.027
n= 1000: farq -1.249s, p = 0.1673, d = -0.062
n= 10000: farq +0.419s, p = 0.1352, d = 0.021
n= 200000: farq +0.524s, p = 0.0000, d = 0.026
=== 2. Katta effekt (d = 1.0), lekin n = 12 ===
p < 0.05 ulushi (quvvat): 0.656
haqiqiy katta farq 34% holatda 'muhim emas' chiqadi
=== 3. Xulosa ===
katta n: kichik farq ham 'muhim' (p kichik), lekin d kichik
kichik n: katta farq ham 'muhim emas' bo'lishi mumkin
⭐ p — kattalikni o'lchamaydi; d va CI kerakNima ko'rsatdi: 2.6-bo'lim.
Misol 4 — Bir tomonlama test va chegara tuzog'i
"""Bir/ikki tomonlama farqi va 0.05 chegarasining sun'iyligi (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(2)
a = rng.normal(103, 15, 60)
b = rng.normal(100, 15, 60)
print("=== 1. Bir xil ma'lumot, uch xil H1 ===")
for alt, nom in [("two-sided", "ikki tomonlama"), ("greater", "a > b"), ("less", "a < b")]:
res = stats.ttest_ind(a, b, equal_var=False, alternative=alt)
print(f" {nom:<14}: p = {res.pvalue:.4f}")
print("\n=== 2. Natijani ko'rib tomon tanlash — p-hacking ===")
print(" ikki tomonlama p ni ikkiga bo'lish = alfa ni 0.10 ga ko'tarish")
print("\n=== 3. 0.05 chegarasi — sun'iy ===")
se = 15 * np.sqrt(2 / 60)
for farq in [5.2, 5.5, 5.8]:
res = stats.ttest_ind_from_stats(100 + farq, 15, 60, 100, 15, 60, equal_var=False)
print(f" farq {farq:+.1f}: p = {res.pvalue:.3f}, "
f"CI [{farq - 1.98 * se:+.2f}, {farq + 1.98 * se:+.2f}]")
print(" ⭐ p = 0.049 va 0.051 — deyarli bir xil dalil")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Bir xil ma'lumot, uch xil H1 ===
ikki tomonlama: p = 0.0920
a > b : p = 0.0460
a < b : p = 0.9540
=== 2. Natijani ko'rib tomon tanlash — p-hacking ===
ikki tomonlama p ni ikkiga bo'lish = alfa ni 0.10 ga ko'tarish
=== 3. 0.05 chegarasi — sun'iy ===
farq +5.2: p = 0.060, CI [-0.22, +10.62]
farq +5.5: p = 0.047, CI [+0.08, +10.92]
farq +5.8: p = 0.036, CI [+0.38, +11.22]
⭐ p = 0.049 va 0.051 — deyarli bir xil dalilNima ko'rsatdi: 2.3, 2.5-bo'limlar.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "p — H0 rost bo'lish ehtimoli" | P(ma'lumot | H0) |
| "p > 0.05 → farq yo'q" | Dalil yetarli emas |
| "p kichik → effekt katta" | p kattalikni o'lchamaydi |
| "0.05 — ilmiy qonun" | An'ana; alfa tanlanadi |
| "Bir tomonlama tezroq natija beradi" | Faqat oldindan asoslanganda |
| "Test H1 ni isbotlaydi" | Faqat H0 ni rad etadi |
| "alfa kichik — doim yaxshi" | II tur xato oshadi |
| "Katta n — natija ishonchli" | Amaliy ahamiyatni ko'ring |
6. Keng tarqalgan xatolar va yechimlari
1. p ni noto'g'ri talqin
print(f"Farq haqiqiy bo'lish ehtimoli: {1 - p:.0%}") # ⚠️
print(f"H0 da bunday natija ehtimoli: {p:.3f}") # ✅2. "Farq yo'q" xulosasi
if p > 0.05: print("farq yo'q") # ⚠️
if p > 0.05: print("farq topilmadi; CI:", ci) # ✅3. Faqat p ni hisobot qilish
print("p =", p) # ⚠️
print(f"farq {d:+.2f} [{lo:+.2f}, {hi:+.2f}], p = {p:.3f}") # ✅4. Natijadan keyin bir tomonlama
res = ttest_ind(a, b, alternative="greater") # p ni ko'rgandan keyin # ⚠️
res = ttest_ind(a, b) # oldindan belgilangan # ✅5. Chegara fetishizmi
if p < 0.05: ishga_tushir() # ⚠️
if p < 0.05 and farq > amaliy_chegara: ishga_tushir() # ✅6. Kichik namunada "farq yo'q"
# n = 30, p = 0.4 → "ta'sir yo'q" # ⚠️
# quvvat hisobini qiling 11.2-bob: balki 20% quvvat # ✅7. Test farazlarini tekshirmaslik
stats.ttest_ind(a, b) # equal_var=True (standart) # ⚠️
stats.ttest_ind(a, b, equal_var=False) # Welch — xavfsizroq # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 4.12-4.13-darslar (o'tilgan): Gipoteza testi, t-test asoslari
- 8.8-dars (o'tilgan): Gipoteza shakllantirish, p-hacking
- 9.3-9.4-darslar (o'tilgan): Shartli ehtimol, Bayes
- 11.2-dars: Quvvat va namuna hajmi
- 11.3-11.10-darslar: Aniq testlar va A/B loyiha
8. Eng yaxshi amaliyotlar
H0, H1, alfa va testni oldindan yozing.
p ni to'g'ri talqin qiling (shartli ehtimol).
Farq + CI + p ni birga bering.
Effekt kattaligini hisoblang.
"Farq yo'q" demang — quvvatni tekshiring.
Ikki tomonlama testni standart qiling.
Amaliy chegarani biznes bilan kelishing.
Farazlarni tekshiring 11.3-bob.
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # H0 odatda nima deydi?
2. # p-qiymat ta'rifi?
3. # p = 0.03 nimani anglatadi?
4. # p = 0.3 — farq yo'qmi?
5. # I tur xato?
6. # II tur xato?
7. # quvvat = ?
8. # alfa ni kichraytirsak beta?
9. # H0 rost bo'lganda p taqsimoti?
10. # bir tomonlama p ikki tomonlamadan?
11. # n oshsa p?
12. # Cohen's d 0.2 — qanday effekt?Javoblar
- Farq yo'q
- P(shunday yoki kuchliroq natija | H0)
- H0 da bunday natija 3% holatda chiqadi
- Yo'q — dalil yetarli emas
- Yo'q narsani bor deyish
- Bor narsani ko'rmaslik
- 1 - beta
- Oshadi
- Tekis (uniform)
- Ikki baravar kichik
- Kichrayadi (farq bor bo'lsa)
- Kichik
Vazifa 2: Xatolarni tuzating
1. print(f"Farq haqiqiy: {(1 - p) * 100:.0f}%")
2. if p > 0.05: print("ta'sir yo'q")
3. res = stats.ttest_ind(a, b, alternative="greater") # natijani ko'rgach
4. print("p =", p) # hisobot
5. stats.ttest_ind(a, b) # dispersiyalar juda farqliJavoblar
1. print(f"H0 da bunday natija ehtimoli: {p:.3f}")
2. if p > 0.05: print("farq topilmadi (CI:", ci, ")")
3. res = stats.ttest_ind(a, b) # oldindan ikki tomonlama
4. print(f"farq {farq:+.2f} CI [{lo:+.2f}, {hi:+.2f}], p = {p:.3f}")
5. stats.ttest_ind(a, b, equal_var=False)Vazifa 3: p taqsimoti
Modellang:
- H0 rost — 10 000 test
- p gistogrammasi (tekis)
- H1 rost (turli effekt) — p taqsimoti
- alfa ni o'zgartirish ta'siri
Vazifa 4: A/B hisobot
Modellang:
- Ikki variant konversiyasi
- Farq, CI, p
- Amaliy chegara bilan qaror
- Menejer uchun 3 gaplik xulosa
Vazifa 5: Effekt kattaligi
Modellang:
- Turli n va effekt kombinatsiyalari
- p va Cohen's d jadvali
- Qachon "muhim, lekin ahamiyatsiz"
- Qachon "ahamiyatli, lekin isbotlanmagan"
Vazifa 6: Integratsiya
Modellang:
- Gipoteza shakllantirish (8.8)
- t-test (4.13)
- Ishonch oralig'i
- Hisobot (8.9)
Vazifa 7: O'ylash
2016-yilda Amerika Statistika Assotsiatsiyasi p-qiymat haqida maxsus bayonot chiqardi, 2019-yilda esa bir guruh olimlar "statistik ahamiyat" tushunchasidan voz kechishga chaqirdi. Nima uchun eng keng tarqalgan statistik vosita shunchalik tanqidga uchradi? Data Scientist p-qiymatni qanday ishlatishi kerak?
Javob
Qisqa javob: muammo p-qiymatda emas, uning ishlatilishida: murakkab dalilni bitta songa va "muhim/muhim emas" ikkiligiga siqish. Bu p-hacking, nashr tarafkashligi va takrorlanmaslik inqiroziga 8.8-bob olib keldi.
1. Asosiy tanqidlar
- p — kattalikni ham, ahamiyatni ham o'lchamaydi
- 0.05 — sun'iy chegara; 0.049 va 0.051 amalda bir xil
- "Muhim emas" natijalar nashr etilmaydi (fayl tortmasi effekti)
- p-hacking: ko'p test, to'xtash qoidasini o'zgartirish, tanlab hisobot
- p noto'g'ri talqin qilinadi (P(H0 | ma'lumot) deb)
2. Nima o'rniga (yoki yoniga)
| Vosita | Nimani beradi |
|---|---|
| Effekt kattaligi | Farq qanchalik katta |
| Ishonch oralig'i | Qanday qiymatlar mos |
| Quvvat hisobi | Testning sezgirligi (11.2) |
| Bayescha yondashuv | P(gipoteza | ma'lumot) |
| Takroriy tekshiruv | Natija barqarormi |
3. Amaliy qoidalar
- Rejani oldindan yozish (H0, alfa, n, test)
- Farq + CI + p ni birga hisobot qilish
- "Muhim emas" ni "farq yo'q" deb yozmaslik
- Ko'p test bo'lsa tuzatish (11.9)
- Biznes uchun amaliy chegarani oldindan kelishish
4. Data Scientist qanday
- p — qaror qoidasi emas, dalil o'lchovlaridan biri
- Qaror: effekt kattaligi + noaniqlik + narx/foyda
- Hisobotda barcha o'tkazilgan testlarni ko'rsatish (shaffoflik)
5. Xulosa
- p-qiymat foydali, lekin yolg'iz yetarli emas
- Chegara fetishizmi — asosiy muammo
- Effekt, CI, quvvat — to'liq rasm
- Oldindan reja va shaffoflik — eng yaxshi himoya
Nimani mustahkamlaydi: 2.2, 2.3, 2.6-bo'limlar.
Xulosa
Bu darsda gipoteza testi tizimini o'rgandik.
Eng muhim uch fikr:
Test mantiqi va p. Test H0 dunyosida hisoblaydi: p = P(shunday yoki kuchliroq natija | H0 rost) — P(H0 | ma'lumot) emas. p < alfa → H0 rad; p ≥ alfa → dalil yetarli emas (isbot emas). H0 rost bo'lganda p tekis taqsimlangan — shuning uchun alfa = 0.05 da 20 tadan 1 test yolg'on "kashfiyot" beradi.
Ikki xato va quvvat. I tur (yolg'on kashfiyot, alfa) va II tur (o'tkazib yuborish, beta); quvvat = 1 - beta. alfa ni kichraytirish II tur xatoni oshiradi. Kichik namunada "p > 0.05" ko'pincha quvvat yetishmasligini anglatadi 11.2-bob.
Statistik va amaliy ahamiyat. p kattalikni o'lchamaydi: katta n da arzimas farq ham "muhim", kichik n da katta farq ham "muhim emas" bo'lishi mumkin. Hisobot — farq + ishonch oralig'i + p (va effekt kattaligi); qaror — amaliy chegara bilan.
Keyingi darsda statistik quvvat va namuna hajmini o'rganamiz: testni oldindan loyihalash, kerakli n ni hisoblash, minimal aniqlanadigan effekt (MDE) va nima uchun kichik testlar ko'pincha vaqtni behuda sarflaydi.
Izohlar · 0
Izoh yozish uchun kiring.