IlmHamroh
Data Science va sun'iy intellekt/Statistika12/14-dars18 daqiqa
Mundarija (22)

4.12-dars: Gipoteza tekshirish

4-QISM — STATISTIKA · 12-dars


1. Kirish va motivatsiya

Data Science'da doim savol tug'iladi: bu farq haqiqiymi yoki tasodif? Yangi dori kasallarni yaxshiroq davolaydimi yoki farq tasodifmi? Yangi sayt dizayni ko'proq sotdimi yoki tabiiy o'zgarishmi? Bu savolga javob beruvchi rasmiy usul — gipoteza tekshirish (hypothesis testing). Uning yuragi — null gipoteza (H0: farq yo'q, tasodif) va alternativ gipoteza (H1: haqiqiy farq bor), va p-qiymat (agar farq tasodif bo'lsa, shu natijani ko'rish ehtimoli). Agar p-qiymat kichik bo'lsa (odatda < 0.05), farq statistik ahamiyatli deymiz — tasodif emas. Nega muhim? (1) Qaror — farq haqiqiymi (dori, dizayn); (2) Ilm asosi — tajriba natijalarini baholash; (3) A/B test — biznes qarorlar. Bu dars gipoteza tekshirishni o'rgatadi — farq haqiqiymi yoki tasodif.

Gipoteza tekshirish — farq haqiqiy-mi: null gipoteza (H0 — farq yo'q, tasodif), alternativ (H1 — haqiqiy farq), p-qiymat (agar H0 to'g'ri bo'lsa, shu natija ehtimoli), ahamiyat darajasi (a — odatda 0.05; chegara), qaror (p < a → H0 rad; farq ahamiyatli), xatolar (I tur — soxta musbat, II tur — o'tkazib yuborish). Foydalanish: farq baholash, A/B test, qaror. Bu 4.7 (MLT), 4.13 (t-test) bilan bog'liq. Gipoteza — farq haqiqiy-mi. p-qiymat. H0/H1.

Real vaziyat. Data Scientist yangi sayt dizayni sinadi: eski dizayn o'rtacha xarid 100$, yangi 108$. Savol: yangi haqiqatan yaxshi-mi yoki farq tasodif-mi? Gipoteza: H0 (farq yo'q — 108 tasodif), H1 (yangi haqiqatan yaxshi). p-qiymat hisobladi (stats.ttest_ind — 4.13): p=0.001 (agar farq tasodif bo'lsa, 108 ni ko'rish ehtimoli 0.1% — juda kam!). Qaror: p < 0.05 → H0 rad (farq ahamiyatli — tasodif emas; yangi dizayn haqiqatan yaxshi). Agar p=0.3 bo'lsa — H0 rad qilinmaydi (farq tasodif bo'lishi mumkin). Gipoteza qaror berdi (farq haqiqiy-mi — statistik). Gipoteza tekshirish — A/B test, ilm asosi (farq baholash).

Bu darsda gipoteza tekshirishni o'rganamiz.

Bu darsda:

  • Null va alternativ gipoteza
  • p-qiymat
  • Ahamiyat darajasi (a)
  • Qaror (rad etish)
  • I va II tur xatolar
  • Gipoteza amaliyoti
  • Gipoteza tuzoqlari
  • Amaliy: gipoteza modeli

ℹ Misollar real scipy bilan (deterministik) ishlaydi.


2. Nazariya — chuqur tushuntirish

2.1. Null va alternativ gipoteza

Ikki da'vo:

NULL GIPOTEZA (H0): farq YO'Q (tasodif, o'zgarish yo'q)
   "yangi dizayn eskisi bilan bir xil"

ALTERNATIV (H1): farq BOR (haqiqiy ta'sir)
   "yangi dizayn yaxshiroq"

GIPOTEZA TEKSHIRISH:
   H0 to'g'ri deb boshlaymiz (farq yo'q)
   dalil kuchli bo'lsa → H0 ni RAD etamiz (H1)

Null va alternativ gipoteza — ikki da'vo: null gipoteza (H0 — farq yo'q, tasodif, o'zgarish yo'q; "yangi dizayn eski bilan bir xil"), alternativ (H1 — farq bor, haqiqiy ta'sir; "yangi yaxshiroq"). Sabab: gipoteza tekshirish H0 (farq yo'q) dan boshlanadi (ehtiyotkor — sud kabi "aybsiz deb faraz"); dalil (ma'lumot) kuchli bo'lsa H0 ni rad etamiz (H1 — farq bor). H0 (asosiy — farq yo'q; isbotlanishi kerak — rad); H1 (biz ko'rsatmoqchi — farq bor). "H0 to'g'ri deb faraz" (isbot yuki — H1'da). Null/alternativ — H0 (farq yo'q), H1 (farq bor). H0 faraz. Rad.

2.2. p-qiymat

Tasodif ehtimoli:

python
from scipy import stats
import numpy as np

np.random.seed(0)
eski = np.random.normal(100, 15, 100)
yangi = np.random.normal(108, 15, 100)

# t-test — p-qiymat
t, p = stats.ttest_ind(eski, yangi)
# p — agar H0 (farq yo'q) to'g'ri bo'lsa, shu farqni ko'rish ehtimoli

# p kichik (< 0.05) → farq TASODIF EMAS (H0 rad)

p-qiymat — tasodif ehtimoli: agar H0 (farq yo'q) to'g'ri bo'lsa, shu natijani (yoki kattaroq) ko'rish ehtimoli. Sabab: farq tasodif bo'lishi mumkin (namuna — tasodif, MLT 4.7); p-qiymat tasodif ehtimolini o'lchaydi (agar farq yo'q bo'lsa, shu farq qancha ehtimolli). p kichik (< 0.05) → farq tasodif bo'lishi **kam ehtimol** → **H0 rad** (farq haqiqiy); **p katta** (> 0.05) → tasodif bo'lishi mumkin → H0 rad qilinmaydi. stats.ttest_ind (p-qiymat — 4.13). p ≠ H0 to'g'ri ehtimoli (aksincha — 2.7 tuzoq). p-qiymat — tasodif ehtimoli (H0 to'g'ri bo'lsa). Kichik → rad. Tasodif.

2.3. Ahamiyat darajasi (a)

Ahamiyat darajasi (a, alpha) — chegara: a = 0.05 (odatda — 5%; chegara). Sabab: qaror uchun chegara kerak (p qancha kichik bo'lsa "kichik"?); a oldindan belgilangan chegara (p < a → H0 rad). 0.05 (standart — 5% tasodif xavfi; ba'zan 0.01 qat'iyroq, 0.10 yumshoqroq). Ma'no: a=0.05 — "agar farq yo'q bo'lsa, 5% xato (soxta musbat) qabul qilamiz". Oldindan belgilanadi (natija ko'rib emas — xolis). p < 0.05 (ahamiyatli), p ≥ 0.05 (ahamiyatsiz). Ahamiyat darajasi — a (0.05 chegara). Oldindan. Chegara.

2.4. Qaror (rad etish)

Qaror (rad etish) — p va a: p < a → H0 ni rad et (farq statistik ahamiyatli — tasodif emas, H1 qabul); p ≥ a → H0 ni rad etmaymiz (farq tasodif bo'lishi mumkin — yetarli dalil yo'q). Sabab: qaror ikki yo'l (rad yoki rad emas); p < 0.05 (dalil kuchli — farq haqiqiy). MUHIM: "H0 rad etmaslik" ≠ "H0 to'g'ri" (farq yo'qligini isbotlamaydi — faqat yetarli dalil yo'q); "ahamiyatli" (statistik — tasodif emas) ≠ "muhim" (amaliy — katta ta'sir). Qaror — p < a rad, p ≥ a rad emas. Rad ≠ isbot. Statistik ≠ amaliy.

2.5. I va II tur xatolar

I va II tur xatolar — ikki xato: I tur (soxta musbat — H0 to'g'ri lekin rad etdik; farq yo'q, lekin "bor" dedik; a — ehtimoli), II tur (o'tkazib yuborish — H0 noto'g'ri lekin rad etmadik; farq bor, lekin "yo'q" dedik). Sabab: gipoteza xato qilishi mumkin (namuna — noaniqlik); I tur (yo'q narsani "bor" dedik — soxta kashfiyot; a nazoratda), II tur (bor narsani "yo'q" dedik — o'tkazib yubordik; kichik namuna — kam quvvat). Savdo: a kichik (I tur kam) → II tur ko'p (aksincha). Quvvat (power — II tur oldini; katta namuna). I/II tur — soxta musbat (I), o'tkazib yuborish (II). Savdo. Namuna.

2.6. Gipoteza amaliyoti

Gipoteza amaliyoti: H0/H1 (farq yo'q / bor); p-qiymat (ttest_ind — tasodif ehtimoli); a (0.05 — oldindan); qaror (p < a rad); I/II tur (soxta musbat / o'tkazib yuborish); namuna kattaligi (katta — quvvat, ishonchli); statistik vs amaliy (ahamiyatli ≠ muhim). Tuzoqlar: p = H0 ehtimoli deb (aksincha), p-hacking (ko'p test), statistik = muhim deb (amaliy farq), rad etmaslik = isbot deb, kichik namuna (kam quvvat). Amaliyot — H0/H1, p-qiymat, a, qaror. Farq. Statistik.

2.7. Gipoteza tuzoqlari

Gipoteza asosiy tuzoqlari: p = H0 to'g'ri ehtimoli deb (p H0 ehtimoli EMAS; p = agar H0 to'g'ri bo'lsa natija ehtimoli; teskari — eng ko'p xato); p-hacking (ko'p test/o'zgaruvchan sinash — tasodifan p<0.05 topiladi (20 testdan 1 tasodifan ahamiyatli); oldindan gipoteza, ko'p test tuzatish); statistik = amaliy muhim deb (statistik ahamiyatli (p<0.05) — tasodif emas; lekin amaliy kichik bo'lishi mumkin (katta namunada kichik farq ham ahamiyatli — lekin ahamiyatsiz); effekt kattaligi ham); rad etmaslik = H0 to'g'ri deb (p≥0.05 → "farq yo'q" emas; faqat yetarli dalil yo'q — isbot emas); a natija ko'rib (a oldindan — natija ko'rib o'zgartirish xato, p-hacking); kichik namuna (kam quvvat — II tur; haqiqiy farqni o'tkazib yuborish); bir tomonlama/ikki tomonlama (test turi — yo'nalish). Sabab: gipoteza p/qaror nozik (p ma'nosi, p-hacking, statistik≠amaliy — jim xato, soxta kashfiyot). Yechim: p to'g'ri tushun, oldindan gipoteza, effekt kattaligi, rad≠isbot. Tuzoqlar — p ma'nosi, p-hacking, statistik≠amaliy, rad≠isbot.

2.8. Gipoteza — farq haqiqiymi yoki tasodif

Gipoteza tekshirish asosiy g'oyasi — farq haqiqiy-mi yoki tasodif: ma'lumotda farq ko'rinadi (yangi dizayn 108 vs eski 100), lekin haqiqiy yoki tasodif (namuna — tasodif)?; gipoteza tekshirish rasmiy javob. H0 (farq yo'q — tasodif; faraz), H1 (farq bor — haqiqiy), p-qiymat (agar H0 to'g'ri bo'lsa farq ehtimoli; kichik → tasodif emas), a (0.05 — chegara), qaror (p < a → H0 rad, farq ahamiyatli). Xatolar (I tur — soxta musbat; II tur — o'tkazib yuborish). Foydalanish: A/B test (dizayn, dori — 4.14), ilm (tajriba natija), qaror (farq haqiqiy-mi). Ehtiyot: p ≠ H0 ehtimoli; p-hacking; statistik ≠ amaliy. Data Science'da doim (farq baholash — biznes/ilm qaror). Bu 4.7 (MLT — o'rtacha normal), 4.11 (ehtimol — p) davomi va 4.13 (t-test — p hisob), 4.14 (A/B) bilan. Gipoteza — farq haqiqiy-mi yoki tasodif (H0/H1, p-qiymat). Farq. Qaror.


3. Tez ma'lumotnoma

python
from scipy import stats

# GIPOTEZA:
#   H0 (null) — farq YO'Q (tasodif)
#   H1 (alternativ) — farq BOR (haqiqiy)
#   H0 dan boshlaymiz, dalil kuchli bo'lsa RAD etamiz

# p-QIYMAT:
t, p = stats.ttest_ind(guruh_A, guruh_B)
#   p = agar H0 to'g'ri bo'lsa, shu farq ehtimoli
#   p ≠ H0 to'g'ri ehtimoli! (teskari — tuzoq)

# QAROR (a = 0.05 chegara, oldindan):
#   p < 0.05 → H0 RAD (farq ahamiyatli — tasodif emas)
#   p ≥ 0.05 → H0 rad emas (yetarli dalil yo'q)
#   rad etmaslik ≠ H0 to'g'ri (isbot emas)

# XATOLAR:
#   I tur — soxta musbat (yo'q → "bor"; a)
#   II tur — o'tkazib yuborish (bor → "yo'q"; quvvat)

# statistik ahamiyatli ≠ amaliy muhim (effekt kattaligi)

QOIDA: p tasodif ehtimoli (H0 emas) · a oldindan · p-hacking yo'q · statistik≠amaliy

Gipoteza xulosasi

Gipoteza tekshirish — farq haqiqiymi yoki tasodif
H0 (farq yo'q) · H1 (farq bor) — H0 dan boshlanadi
p-qiymat — agar H0 to'g'ri bo'lsa farq ehtimoli (p ≠ H0 ehtimoli!)
Qaror — p < 0.05 → H0 rad (ahamiyatli); rad ≠ isbot
Xatolar — I tur (soxta musbat), II tur (o'tkazib yuborish)

4. Batafsil misollar

Misollar real scipy bilan (deterministik) ishlaydi.

Misol 1 — p-qiymat (haqiqiy farq)

python
"""p-qiymat: haqiqiy farq (real scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    np.random.seed(0)

    print("=== 1. Ikki guruh (haqiqiy farq) ===")
    eski = np.random.normal(100, 15, 200)
    yangi = np.random.normal(108, 15, 200)
    print(f"  eski: {round(eski.mean(), 1)}, yangi: {round(yangi.mean(), 1)}")

    print("\n=== 2. t-test (p-qiymat) ===")
    t, p = stats.ttest_ind(eski, yangi)
    print(f"  p-qiymat: {round(p, 5)}")

    print("\n=== 3. Qaror ===")
    print(f"  p < 0.05: {p < 0.05} → H0 rad (farq ahamiyatli)")

    print("\n=== 4. Xulosa ===")
    print("  p kichik → farq tasodif emas (haqiqiy)")
    print("  ⭐ p-qiymat — tasodif ehtimoli (kichik → rad)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Ikki guruh (haqiqiy farq) ===
  eski: 101.1, yangi: 106.1

=== 2. t-test (p-qiymat) ===
  p-qiymat: 0.00076

=== 3. Qaror ===
  p < 0.05: True → H0 rad (farq ahamiyatli)

=== 4. Xulosa ===
  p kichik → farq tasodif emas (haqiqiy)
  ⭐ p-qiymat — tasodif ehtimoli (kichik → rad)

Nima ko'rsatdi: 2.2, 2.4-bo'limlar.

Misol 2 — Farq yo'q (yuqori p)

python
"""Farq yo'q: yuqori p (real scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    np.random.seed(0)

    print("=== 1. Ikki guruh (bir xil) ===")
    A = np.random.normal(100, 15, 200)
    B = np.random.normal(101, 15, 200)   # deyarli bir xil
    print(f"  A: {round(A.mean(), 1)}, B: {round(B.mean(), 1)}")

    print("\n=== 2. t-test ===")
    t, p = stats.ttest_ind(A, B)
    print(f"  p-qiymat: {round(p, 3)}")

    print("\n=== 3. Qaror ===")
    print(f"  p < 0.05: {p < 0.05} → H0 rad ETILMAYDI")

    print("\n=== 4. Tushuntirish ===")
    print("  p katta → farq tasodif bo'lishi mumkin")
    print("  (rad etmaslik ≠ farq yo'q isboti)")
    print("  ⭐ Yuqori p — yetarli dalil yo'q")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Ikki guruh (bir xil) ===
  A: 101.1, B: 99.1

=== 2. t-test ===
  p-qiymat: 0.18

=== 3. Qaror ===
  p < 0.05: False → H0 rad ETILMAYDI

=== 4. Tushuntirish ===
  p katta → farq tasodif bo'lishi mumkin
  (rad etmaslik ≠ farq yo'q isboti)
  ⭐ Yuqori p — yetarli dalil yo'q

Nima ko'rsatdi: 2.4-bo'lim.

Misol 3 — Statistik vs amaliy ahamiyat

python
"""Statistik vs amaliy ahamiyat (real scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    np.random.seed(0)

    print("=== 1. Katta namuna, kichik farq ===")
    A = np.random.normal(100.0, 15, 100000)
    B = np.random.normal(100.3, 15, 100000)   # 0.3 farq (kichik)
    t, p = stats.ttest_ind(A, B)
    print(f"  farq: 0.3, p-qiymat: {round(p, 5)}")

    print("\n=== 2. Statistik ahamiyatli ===")
    print(f"  p < 0.05: {p < 0.05} (katta namuna — kichik farq ham)")

    print("\n=== 3. Amaliy muhimmi? ===")
    print("  0.3 farq — amaliy jihatdan ahamiyatsiz (kichik)")

    print("\n=== 4. Xulosa ===")
    print("  statistik ahamiyatli ≠ amaliy muhim")
    print("  ⭐ Effekt kattaligi ham muhim")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Katta namuna, kichik farq ===
  farq: 0.3, p-qiymat: 0.0

=== 2. Statistik ahamiyatli ===
  p < 0.05: True (katta namuna — kichik farq ham)

=== 3. Amaliy muhimmi? ===
  0.3 farq — amaliy jihatdan ahamiyatsiz (kichik)

=== 4. Xulosa ===
  statistik ahamiyatli ≠ amaliy muhim
  ⭐ Effekt kattaligi ham muhim

Nima ko'rsatdi: 2.7-bo'lim.

Misol 4 — p-hacking xavfi

python
"""p-hacking xavfi (real scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    np.random.seed(0)

    print("=== 1. 20 ta tasodifiy test ===")
    ahamiyatli = 0
    for _ in range(20):
        A = np.random.normal(100, 15, 50)
        B = np.random.normal(100, 15, 50)   # HAQIQATDA farq yo'q
        _, p = stats.ttest_ind(A, B)
        if p < 0.05:
            ahamiyatli += 1

    print(f"  'ahamiyatli' topilgan: {ahamiyatli}/20 (farq yo'q bo'lsa ham!)")

    print("\n=== 2. Tushuntirish ===")
    print("  ko'p test → tasodifan p<0.05 topiladi (~1/20)")

    print("\n=== 3. p-hacking ===")
    print("  ko'p sinab, faqat ahamiyatlisini e'lon (soxta)")

    print("\n=== 4. Yechim ===")
    print("  oldindan gipoteza, ko'p test tuzatish")
    print("  ⭐ p-hacking — ko'p test (soxta kashfiyot)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. 20 ta tasodifiy test ===
  'ahamiyatli' topilgan: 2/20 (farq yo'q bo'lsa ham!)

=== 2. Tushuntirish ===
  ko'p test → tasodifan p<0.05 topiladi (~1/20)

=== 3. p-hacking ===
  ko'p sinab, faqat ahamiyatlisini e'lon (soxta)

=== 4. Yechim ===
  oldindan gipoteza, ko'p test tuzatish
  ⭐ p-hacking — ko'p test (soxta kashfiyot)

Nima ko'rsatdi: 2.7-bo'lim.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"p = H0 to'g'ri ehtimoli" Agar H0 to'g'ri bo'lsa farq ehtimoli
"p<0.05 → H1 aniq to'g'ri" Tasodif kam (aniq emas)
"rad etmaslik → H0 to'g'ri" Yetarli dalil yo'q (isbot emas)
"statistik = amaliy muhim" Effekt kattaligi ham
"ko'p test OK" p-hacking (soxta)
"a natija ko'rib" Oldindan (xolis)
"kichik namuna yetarli" Kam quvvat (II tur)
"H0 — biz istagan" H0 farq yo'q (rad qilinadi)

6. Keng tarqalgan xatolar va yechimlari

1. p ma'nosi

python
# p = H0 to'g'ri ehtimoli deb                                 # ⚠️
# p = agar H0 to'g'ri bo'lsa farq ehtimoli                    # ✅

2. p-hacking

python
# 20 test, faqat p<0.05 e'lon                                 # ⚠️
# oldindan gipoteza (bitta test)                              # ✅

3. Statistik = amaliy

python
# p<0.05 → muhim deb                                          # ⚠️
# effekt kattaligi ham (amaliy)                               # ✅

4. Rad etmaslik = isbot

python
# p≥0.05 → farq yo'q deb                                      # ⚠️
# yetarli dalil yo'q (isbot emas)                             # ✅

5. a natija ko'rib

python
# p=0.06 ko'rib a=0.10 qilish                                 # ⚠️
# a oldindan (natijadan avval)                                # ✅

6. Kichik namuna

python
stats.ttest_ind(a[:10], b[:10])   # kam quvvat (II tur)       # ⚠️
# katta namuna (quvvat)                                       # ✅

7. H0 chalkash

python
# H0 — biz istagan (yaxshiroq) deb                            # ⚠️
# H0 — farq yo'q (rad qilinadi)                               # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 4.7-dars (o'tilgan): MLT (o'rtacha normal)
  • 4.11-dars (o'tilgan): Ehtimol (p-qiymat)
  • 4.13-dars (keyin): t-test (p hisob)
  • 4.14-dars (keyin): A/B test
  • 20-qism: ML (model baholash)

8. Eng yaxshi amaliyotlar

  1. H0 (farq yo'q), H1 (farq bor).

  2. p — tasodif ehtimoli (H0 emas).

  3. a oldindan (0.05, xolis).

  4. p < a → H0 rad (ahamiyatli).

  5. Rad etmaslik ≠ isbot.

  6. Statistik ≠ amaliy (effekt kattaligi).

  7. p-hacking yo'q (oldindan gipoteza).

  8. Gipoteza — farq haqiqiymi yoki tasodif.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # gipoteza tekshirish nima?
2.  # H0 nima?
3.  # H1 nima?
4.  # qaysidan boshlanadi?
5.  # p-qiymat nima?
6.  # p = H0 ehtimoli?
7.  # a nima?
8.  # qaror qoidasi?
9.  # rad etmaslik = isbot?
10. # I tur xato?
11. # statistik = amaliy?
12. # p-hacking nima?
Javoblar
  1. Farq haqiqiymi yoki tasodif
  2. Farq yo'q (null)
  3. Farq bor (alternativ)
  4. H0 dan (farq yo'q)
  5. Agar H0 to'g'ri bo'lsa farq ehtimoli
  6. Yo'q (teskari)
  7. Ahamiyat darajasi (0.05 chegara)
  8. p < a → H0 rad
  9. Yo'q (yetarli dalil yo'q)
  10. Soxta musbat (yo'q → "bor")
  11. Yo'q (effekt kattaligi)
  12. Ko'p test (soxta ahamiyatli)

Vazifa 2: Xatolarni tuzating

python
1.  # p = H0 to'g'ri ehtimoli

2.  # 20 test, p<0.05 e'lon

3.  # p<0.05 → muhim

4.  # p≥0.05 → farq yo'q

5.  # p=0.06 ko'rib a=0.10
Javoblar
python
1.  agar H0 to'g'ri bo'lsa farq ehtimoli

2.  oldindan gipoteza (bitta)

3.  effekt kattaligi (amaliy)

4.  yetarli dalil yo'q (isbot emas)

5.  a oldindan

Vazifa 3: Gipoteza

Modellang:

  1. H0
  2. H1
  3. H0 dan
  4. Rad

Vazifa 4: p-qiymat

Modellang:

  1. Tasodif ehtimoli
  2. Kichik → rad
  3. p ≠ H0
  4. Katta → dalil yo'q

Vazifa 5: Qaror

Modellang:

  1. a
  2. p < a
  3. Rad
  4. Rad ≠ isbot

Vazifa 6: Xatolar

Modellang:

  1. I tur (soxta musbat)
  2. II tur (o'tkazib yuborish)
  3. Savdo
  4. Quvvat

Vazifa 7: O'ylash

p-qiymat gipoteza tekshirishning yuragi, lekin eng ko'p noto'g'ri tushuniladi: p "H0 to'g'ri ehtimoli" EMAS, balki "agar H0 to'g'ri bo'lsa, shu natijani ko'rish ehtimoli". Nima uchun bu farq muhim, va nega "statistik ahamiyatlilik" (p<0.05) "haqiqat" yoki "muhimlik"ni anglatmaydi (p-hacking va effekt kattaligi bilan bog'liq)?

Javob

Qisqa javob: p "H0 to'g'ri ehtimoli" emas, "agar H0 to'g'ri bo'lsa natija ehtimoli"; farq muhim, statistik ahamiyatlilik ≠ haqiqat/muhimlik, chunki: (1) p teskari shartli — p = P(natija | H0 to'g'ri) (agar farq yo'q bo'lsa, shu farqni ko'rish); P(H0 to'g'ri | natija) emas (biz istagan — H0 to'g'ri-mi); teskari (4.11 — P(A|B)≠P(B|A)); p H0 ehtimolini bermaydi (faqat natija ehtimoli H0 ostida); (2) nega farq muhim — p<0.05 → "farq tasodif bo'lishi kam ehtimol" (H0 ostida); lekin H0 to'g'ri/noto'g'ri ehtimolini bermaydi (buning uchun Bayes — asosiy ehtimol kerak); "p=0.05 → H1 95% to'g'ri" XATO (p ≠ H1 ehtimoli); (3) statistik ≠ haqiqat — p<0.05 (tasodif kam) — lekin soxta musbat mumkin (I tur — a=5%; 20 testdan 1); p-hacking (ko'p test → tasodifan ahamiyatli; soxta kashfiyot); statistik ahamiyatli haqiqat emas (takrorlash kerak — reproduksiya inqirozi); (4) statistik ≠ muhim — p<0.05 (tasodif emas) — lekin amaliy kichik bo'lishi mumkin (katta namunada kichik farq 0.3-bob ham ahamiyatli — p<0.05, lekin amaliy ahamiyatsiz); effekt kattaligi (farq qancha katta — amaliy) p'dan alohida. "Nega bu tuzoqlar": (a) p noto'g'ri tushunish — teskari (H0 ehtimoli deb — eng ko'p xato); (b) p-hacking — ko'p test/o'zgaruvchan (tasodifan p<0.05; oldindan gipoteza kerak); (c) effekt e'tiborsiz — faqat p (statistik) — effekt kattaligi (amaliy) unutiladi; (d) takrorlash — bir p<0.05 yetmaydi (takrorlash — haqiqat). Saboqlar: p teskari shartli (natija|H0, H0|natija emas); statistik ≠ haqiqat (soxta musbat, p-hacking, takrorlash); statistik ≠ muhim (effekt kattaligi — amaliy); ehtiyot (p ma'nosi, effekt, takrorlash). To'g'ri: p to'g'ri tushun (natija|H0); effekt kattaligi (amaliy); oldindan gipoteza (p-hacking yo'q); takrorlash. Muvozanat: p (tasodif — statistik) + effekt kattaligi (amaliy — muhimlik) + takrorlash (haqiqat); p yolg'iz yetmaydi. Bu ilm/Data Science asosiy (p noto'g'ri tushunish — reproduksiya inqirozi; p-hacking, effekt; tanqidiy). Gipoteza — ehtiyot bilan (p ≠ haqiqat/muhim; effekt, takrorlash).

1. Nega p teskari shartli (farq muhim)

  • p = P(natija | H0 to'g'ri) — agar farq yo'q bo'lsa natija
  • P(H0 | natija) EMAS (biz istagan — teskari)
  • p H0 ehtimolini bermaydi (Bayes kerak)

2. Nega statistik ≠ haqiqat

  • Soxta musbat (I tur — a=5%)
  • p-hacking (ko'p test — tasodifan)
  • Takrorlash kerak (reproduksiya)

3. Nega statistik ≠ muhim

  • Katta namunada kichik farq ham ahamiyatli (p<0.05)
  • Amaliy ahamiyatsiz (0.3 farq)
  • Effekt kattaligi (amaliy — p'dan alohida)

4. p to'g'ri vs noto'g'ri

To'g'ri Noto'g'ri
P(natija|H0) P(H0|natija)
Tasodif ehtimoli H0 to'g'ri ehtimoli

5. Saboqlar

  1. p teskari shartli (natija|H0)
  2. Statistik ≠ haqiqat (soxta musbat, takrorlash)
  3. Statistik ≠ muhim (effekt kattaligi)
  4. Ehtiyot (p, effekt, takrorlash)

6. Xulosa

  1. p = P(natija|H0) (H0 ehtimoli emas — teskari)
  2. Statistik ≠ haqiqat (p-hacking, takrorlash)
  3. Statistik ≠ muhim (effekt kattaligi — amaliy)
  4. p ehtiyot bilan (haqiqat/muhim emas)

Nimani mustahkamlaydi: 2.2, 2.7-bo'limlar.


Xulosa

Bu darsda gipoteza tekshirishni o'rgandik.

Eng muhim uch fikr:

  1. H0/H1 va p-qiymat. Null gipoteza (H0 — farq yo'q, tasodif; faraz), alternativ (H1 — farq bor, haqiqiy); H0 dan boshlanadi (ehtiyotkor), dalil kuchli → H0 rad. p-qiymat — agar H0 (farq yo'q) to'g'ri bo'lsa, shu farqni ko'rish ehtimoli (stats.ttest_ind); p kichik → farq tasodif bo'lishi kam → H0 rad; p ≠ H0 to'g'ri ehtimoli (teskari — eng ko'p tuzoq).

  2. a va qaror. Ahamiyat darajasi (a — 0.05 chegara, oldindan). Qaror — p < a → H0 rad (farq statistik ahamiyatli — tasodif emas); p ≥ a → rad emas (yetarli dalil yo'q). Rad etmaslik ≠ H0 to'g'ri (isbot emas); statistik ahamiyatli ≠ amaliy muhim (effekt kattaligi). I/II tur xatolar — I tur (soxta musbat — yo'q "bor"; a), II tur (o'tkazib yuborish — bor "yo'q"; quvvat).

  3. Farq haqiqiy-mi. Gipoteza tekshirish — farq haqiqiy-mi yoki tasodif (rasmiy javob — H0/H1, p-qiymat, a, qaror). Foydalanish: A/B test 4.14-bob, ilm (tajriba), qaror. Ehtiyot: p ma'nosi (natija|H0, H0 emas), p-hacking (ko'p test → tasodifiy ahamiyatli; oldindan gipoteza), statistik ≠ amaliy (effekt kattaligi), rad ≠ isbot. Data Science'da doim (biznes/ilm qaror). Bu 4.7 (MLT), 4.11 (ehtimol) davomi va 4.13 (t-test), 4.14 (A/B) bilan. Tuzoqlar: p=H0 ehtimoli, p-hacking, statistik=muhim deb, rad=isbot.

Keyingi darsda t-test va ishonch oralig'ini o'rganamiz: p-qiymatni amalda hisoblash (t-test) va o'rtachani ± chegara bilan baholash (ishonch oralig'i).

Ulashish:Telegram'da

Izohlar (0)

Izoh yozish uchun kiring.

  • Hozircha izoh yo'q. Birinchi bo'ling!