Data Science va sun'iy intellekt11.3-dars: t-testlar
Data Science va sun'iy intellekt · Gipoteza testlari

11.3-dars: t-testlar

17 daqiqa3/10-dars

11-QISM — GIPOTEZA TESTLARI · 3-dars


1. Kirish va motivatsiya

t-test — o'rtachalarni solishtirishning eng keng tarqalgan usuli. 4.13-darsda u bilan tanishdik; bu darsda uchta turini (bir namunali, mustaqil, juftlashgan) aniq ajratamiz, farazlarini tekshirishni o'rganamiz va farazlar buzilganda nima qilishni ko'ramiz.

Eng ko'p uchraydigan amaliy xatolar aynan shu yerda: juftlashgan ma'lumotga mustaqil test qo'llash (quvvatni bekorga yo'qotish), teng dispersiya farazini tekshirmaslik (Welch o'rniga klassik test), bitta foydalanuvchining ko'p yozuvini mustaqil kuzatuv deb hisoblash (soxta ishonch), va ishonch oralig'ini ko'rsatmasdan faqat p-qiymatni hisobot qilish.

Real vaziyat. Jamoa yangi interfeysni sinadi: 50 foydalanuvchi eski, keyin yangi interfeysda vazifani bajaradi (har kim ikkalasida ham). Tahlilchi mustaqil t-test qo'llaydi: farq ~3 soniya, p = 0.41 — "farq yo'q". Data Scientist e'tiroz bildiradi: bu juftlashgan dizayn — har foydalanuvchining o'z tezligi bor (kimdir tez, kimdir sekin), shuning uchun farqlar bo'yicha test kerak. Juftlashgan t-test: p = 0.0003, farq +3.1 soniya [1.5; 4.7] (Misol 1). Shaxsiy farqlar shovqinni tashkil qilardi; ularni yo'qotish quvvatni bir necha barobar oshirdi.

Bu darsda t-testlarni o'rganamiz.

Bu darsda:

  • Uch tur: bir namunali, mustaqil, juftlashgan
  • Welch t-testi (teng bo'lmagan dispersiya)
  • t-statistikasi va erkinlik darajasi
  • Farazlar va ularni tekshirish
  • Ishonch oralig'i va effekt kattaligi
  • Farazlar buzilganda nima qilish
  • t-test tuzoqlari
  • Amaliy: dizaynni to'g'ri tanlash

ℹ Misollar real numpy/scipy bilan (Python 3.14).


2. Nazariya — chuqur tushuntirish

2.1. Uch tur

text
BIR NAMUNALI:   o'rtacha ma'lum qiymatdan farqlimi?
                H0: mu = mu0        stats.ttest_1samp(x, mu0)
                misol: yetkazish vaqti va'da qilingan 30 daqiqadan uzunmi?

MUSTAQIL:       ikki ALOHIDA guruh o'rtachasi farqlimi?
                H0: mu_A = mu_B     stats.ttest_ind(a, b, equal_var=False)
                misol: A va B guruh foydalanuvchilari (turli odamlar)

JUFTLASHGAN:    bir xil obyektlarning ikki o'lchovi farqlimi?
                H0: farqlar o'rtachasi = 0    stats.ttest_rel(oldin, keyin)
                misol: har foydalanuvchi eski va yangi interfeysda

Dizayn testni belgilaydi: kuzatuvlar juftlashganmi (bir xil odam/obyekt ikki marta o'lchanganmi, yoki juftlab moslangan) yoki mustaqilmi. Juftlashgan dizayn kuchliroq: shaxsiy farqlar (kimdir umuman sekin) yo'qoladi, faqat farq qoladi — shovqin kamayadi, quvvat oshadi 11.2-bob. Juftlashgan ma'lumotga mustaqil test qo'llash — jiddiy xato (quvvat yo'qoladi); teskarisi — yanada yomon (mustaqil ma'lumotni juftlab bo'lmaydi).

2.2. Welch t-testi

text
Klassik (Student) t-test: ikki guruh dispersiyasi TENG deb faraz qiladi
Welch t-test:            teng bo'lishi shart emas (erkinlik darajasi tuzatiladi)

scipy: stats.ttest_ind(a, b)                  → equal_var=True (Student) — STANDART!
       stats.ttest_ind(a, b, equal_var=False) → Welch

Tavsiya: deyarli har doim Welch (dispersiyalar teng bo'lsa ham deyarli bir xil natija,
teng bo'lmaganda esa ancha to'g'riroq)

Welch t-testi — xavfsiz standart: dispersiyalar teng bo'lganda klassik testdan deyarli farq qilmaydi, teng bo'lmaganda (ayniqsa guruh hajmlari ham har xil bo'lganda) I tur xatoni to'g'ri ushlab turadi. Klassik test guruhlar hajmi va dispersiyasi mos kelmaganda juda noto'g'ri bo'lishi mumkin (alfa 0.05 o'rniga 0.10+). scipy'da standart equal_var=True — buni har safar False ga o'zgartirish odat bo'lsin.

2.3. t-statistikasi va erkinlik darajasi

text
t = (kuzatilgan farq) / (farqning standart xatosi)

Bir namunali:  t = (x_o'rtacha - mu0) / (s / sqrt(n)),   df = n - 1
Juftlashgan:   farqlar d_i = keyin_i - oldin_i bo'yicha bir namunali test
Welch:         t = (x1 - x2) / sqrt(s1^2/n1 + s2^2/n2),  df — taxminiy formula

t taqsimoti — normalga o'xshash, lekin dumlari qalinroq (kichik n da);
df oshgani sari normalga yaqinlashadi (df > 30 da deyarli bir xil)

t-statistikasi — "farq standart xatoning necha barobari" 9.6-bob. Kichik namunada SD ning o'zi noaniq baholanadi — shuning uchun normal emas, t-taqsimot ishlatiladi (dumlari qalinroq, chegaralar kengroq). n oshgani sari farq yo'qoladi. p-qiymat — t taqsimotining dumlaridagi ehtimol 11.1-bob.

2.4. Farazlar va ularni tekshirish

text
1. MUSTAQILLIK (eng muhim!) — kuzatuvlar bir-biriga bog'liq emas
   buziladi: bir foydalanuvchining ko'p yozuvi, vaqt qatori, klasterlar
   yechim: to'g'ri agregatsiya (foydalanuvchi darajasi), aralash modellar

2. NORMALLIK — guruh ichidagi taqsimot normalga yaqin
   MUHIM: o'rtachaning taqsimoti muhim, ma'lumotniki emas (MLT, 4.7)
   n > 30-40 da kuchsiz qiyshiqlik muammo emas; kuchli qiyshiqlikda — 11.7

3. TENG DISPERSIYA — faqat klassik test uchun; Welch da kerak emas

4. OUTLIERSIZ — bitta ekstremal qiymat o'rtachani va SD ni buzadi (8.6)

Mustaqillik — buzilsa hech qanday tuzatish yordam bermaydi: p-qiymatlar ishonchsiz bo'ladi. Normallik — eng ko'p qo'rqitiladigan, lekin eng kam muammoli faraz: markaziy limit teoremasi tufayli n katta bo'lsa, o'rtachalar farqi normal taqsimlangan bo'ladi. Tekshirish: gistogramma va QQ-plot (10.8 emas, 9.8), Shapiro-Wilk testi (katta n da juda sezgir — grafikga ishoning). Outlierlar — oldin ko'ring 8.6-bob, avtomatik o'chirmang.

2.5. Ishonch oralig'i va effekt kattaligi

p-qiymat bilan birga farqning ishonch oralig'i beriladi 11.1-bob: scipy res.confidence_interval(0.95). Talqin: "ma'lumotga mos farqlar oralig'i" (95% CI — takroriy tajribalarning 95% ida haqiqiy farqni o'z ichiga oladigan usul). Effekt kattaligi: Cohen's d = farq / birlashtirilgan SD (0.2 / 0.5 / 0.8 — kichik / o'rta / katta); juftlashganda — farqlar o'rtachasi / farqlar SD si. Biznes uchun esa asl birlikdagi farq eng tushunarli: "o'rtacha 3.1 soniya tezroq [1.5; 4.7]".

2.6. Farazlar buzilganda

text
Kuchli qiyshiqlik / outlierlar:
  → logarifm 6.5-bob va keyin t-test (o'rtacha log — geometrik o'rtacha)
  → Mann-Whitney U 11.7-bob — medianalar/tartiblar
  → bootstrap yoki permutatsiya 11.8-bob — farazsiz

Mustaqillik buzilgan:
  → foydalanuvchi darajasiga agregatsiya qilish
  → klasterli standart xatolar yoki aralash modellar

Juda kichik namuna (n < 10):
  → permutatsiya testi; natijani ehtiyotkor talqin qilish

Qoida: avval dizayn va mustaqillik, keyin taqsimot. Qiyshiq ma'lumotda (narx, vaqt — 9.8) o'rtachaning o'zi ham yaxshi ko'rsatkich bo'lmasligi mumkin — median va noparametrik testlar 11.7-bob yoki log o'zgartirish. Bootstrap/permutatsiya 11.8-bob — eng universal yechim: hech qanday taqsimot farazi yo'q.

2.7. t-test tuzoqlari

Asosiy tuzoqlar: dizaynni noto'g'ri tanlash (juftlashgan ma'lumotga mustaqil test); equal_var=True standarti (Welch ishlating); soxta mustaqillik (sessiya darajasidagi qatorlar — foydalanuvchiga agregatsiya qiling); ko'p t-test (uch guruhni juft-juft solishtirish — ANOVA yoki tuzatish, 11.6, 11.9); faqat p (CI va effekt kerak); normallikni testga tayanib tekshirish (Shapiro katta n da hamma narsani rad etadi); outlierlarni jim o'chirish; teng bo'lmagan guruhlarda klassik test; ketma-ket tekshirish 11.2-bob.

2.8. t-testlar — o'rtachalarni solishtirish

t-test uch turda: bir namunali (mu0 bilan), mustaqil (ikki alohida guruh — Welch, equal_var=False), juftlashgan (bir xil obyektlar; farqlar bo'yicha bir namunali test — quvvat yuqori). t = farq / SE, t-taqsimot (dumlari qalin, df bilan normalga yaqinlashadi). Farazlar: mustaqillik (eng muhim), normallik (MLT tufayli yumshoq), teng dispersiya (faqat klassik test), outliersizlik. Hisobot — farq + CI + effekt kattaligi + p. Buzilishlarda — log, noparametrik 11.7-bob, bootstrap/permutatsiya 11.8-bob. Keyingi dars — proporsiyalar (konversiyalar) testi.


3. Tez ma'lumotnoma

python
import numpy as np
from scipy import stats

stats.ttest_1samp(x, popmean=30)                    # bir namunali
stats.ttest_ind(a, b, equal_var=False)              # mustaqil (Welch)
stats.ttest_rel(oldin, keyin)                       # juftlashgan
stats.ttest_ind(a, b, equal_var=False, alternative="greater")   # bir tomonlama

res = stats.ttest_ind(a, b, equal_var=False)
res.statistic, res.pvalue, res.df
ci = res.confidence_interval(0.95); ci.low, ci.high

# effekt kattaligi
s = np.sqrt(((len(a)-1)*a.var(ddof=1) + (len(b)-1)*b.var(ddof=1)) / (len(a)+len(b)-2))
d = (a.mean() - b.mean()) / s                       # Cohen's d
d_juft = farqlar.mean() / farqlar.std(ddof=1)       # juftlashgan uchun

# farazlar
stats.shapiro(x)                                    # kichik n da
stats.levene(a, b)                                  # dispersiyalar tengligi
QOIDA: dizaynga qarab test · equal_var=False · CI bilan · mustaqillikni tekshir

t-testlar xulosasi

Bir namunali — mu0 bilan; juftlashgan — farqlar bo'yicha; mustaqil — Welch
t = farq / SE; t-taqsimot (df bilan normalga yaqinlashadi)
Farazlar: mustaqillik > normallik; teng dispersiya faqat Student uchun
Juftlashgan dizayn — shovqin kam, quvvat yuqori
Hisobot: farq + CI + effekt + p
Buzilsa: log, Mann-Whitney (11.7), bootstrap/permutatsiya (11.8)

4. Batafsil misollar

Misollar real numpy/scipy bilan (Python 3.14).

Misol 1 — Uch tur, uch savol

python
"""Bir namunali, mustaqil va juftlashgan t-test (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(0)

    print("=== 1. Bir namunali: yetkazish 30 daqiqadan uzunmi? ===")
    vaqt = rng.normal(32.5, 7, 60)
    res = stats.ttest_1samp(vaqt, popmean=30)
    ci = res.confidence_interval(0.95)
    print(f"  o'rtacha {vaqt.mean():.2f} daqiqa, t = {res.statistic:.2f}, p = {res.pvalue:.4f}")
    print(f"  95% CI: [{ci.low:.2f}, {ci.high:.2f}]")

    print("\n=== 2. Mustaqil (Welch): A va B guruhlari ===")
    a = rng.normal(52, 12, 80)
    b = rng.normal(48, 12, 75)
    res = stats.ttest_ind(a, b, equal_var=False)
    ci = res.confidence_interval(0.95)
    print(f"  farq {a.mean() - b.mean():+.2f}, t = {res.statistic:.2f}, df = {res.df:.1f}, p = {res.pvalue:.4f}")
    print(f"  95% CI: [{ci.low:+.2f}, {ci.high:+.2f}]")

    print("\n=== 3. Juftlashgan: har foydalanuvchi ikki interfeysda ===")
    shaxsiy = rng.normal(45, 15, 50)                 # shaxsiy tezlik (katta tarqoqlik)
    eski = shaxsiy + rng.normal(0, 4, 50)
    yangi = shaxsiy - 4.0 + rng.normal(0, 4, 50)     # yangi 4 soniya tezroq
    print(f"  mustaqil test:   p = {stats.ttest_ind(eski, yangi, equal_var=False).pvalue:.4f}")
    res = stats.ttest_rel(eski, yangi)
    ci = res.confidence_interval(0.95)
    print(f"  juftlashgan:     p = {res.pvalue:.6f}, farq {(eski - yangi).mean():+.2f}s "
          f"CI [{ci.low:+.2f}, {ci.high:+.2f}]")
    print("  ⭐ Juftlashgan dizayn shaxsiy farqlarni yo'qotadi — quvvat yuqori")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Bir namunali: yetkazish 30 daqiqadan uzunmi? ===
  o'rtacha 33.04 daqiqa, t = 3.72, p = 0.0004
  95% CI: [31.40, 34.68]

=== 2. Mustaqil (Welch): A va B guruhlari ===
  farq +5.83, t = 3.06, df = 153.0, p = 0.0026
  95% CI: [+2.06, +9.59]

=== 3. Juftlashgan: har foydalanuvchi ikki interfeysda ===
  mustaqil test:   p = 0.4116
  juftlashgan:     p = 0.000258, farq +3.10s CI [+1.52, +4.69]
  ⭐ Juftlashgan dizayn shaxsiy farqlarni yo'qotadi — quvvat yuqori

Nima ko'rsatdi: 2.1, 2.5-bo'limlar.

Misol 2 — Welch va klassik test farqi

python
"""Teng bo'lmagan dispersiya va hajmda klassik test I tur xatoni buzadi (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(1)
    N = 20_000

    print("=== 1. H0 rost, teng dispersiya, teng hajm ===")
    a = rng.normal(0, 10, (N, 30)); b = rng.normal(0, 10, (N, 30))
    for nom, ev in [("Student", True), ("Welch", False)]:
        p = stats.ttest_ind(a, b, axis=1, equal_var=ev).pvalue
        print(f"  {nom:<8}: p < 0.05 ulushi {np.mean(p < 0.05):.4f}  (kutilgan 0.05)")

    print("\n=== 2. H0 rost, teng bo'lmagan dispersiya VA hajm ===")
    a = rng.normal(0, 20, (N, 10))                  # kichik guruh, katta tarqoqlik
    b = rng.normal(0, 5, (N, 50))                   # katta guruh, kichik tarqoqlik
    for nom, ev in [("Student", True), ("Welch", False)]:
        p = stats.ttest_ind(a, b, axis=1, equal_var=ev).pvalue
        print(f"  {nom:<8}: p < 0.05 ulushi {np.mean(p < 0.05):.4f}")

    print("\n=== 3. Dispersiyalar tengligi testi (Levene) ===")
    x, y = rng.normal(0, 20, 10), rng.normal(0, 5, 50)
    print(f"  Levene p = {stats.levene(x, y).pvalue:.4f}")
    print("  ⭐ Welch — xavfsiz standart (equal_var=False)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. H0 rost, teng dispersiya, teng hajm ===
  Student : p < 0.05 ulushi 0.0484  (kutilgan 0.05)
  Welch   : p < 0.05 ulushi 0.0482  (kutilgan 0.05)

=== 2. H0 rost, teng bo'lmagan dispersiya VA hajm ===
  Student : p < 0.05 ulushi 0.3387
  Welch   : p < 0.05 ulushi 0.0495

=== 3. Dispersiyalar tengligi testi (Levene) ===
  Levene p = 0.0000
  ⭐ Welch — xavfsiz standart (equal_var=False)

Nima ko'rsatdi: 2.2, 2.4-bo'limlar.

Misol 3 — Farazlar: normallik, outlier, soxta mustaqillik

python
"""Normallik yumshoq, outlier va soxta mustaqillik — jiddiy (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(2)
    N = 10_000

    print("=== 1. Kuchli qiyshiq ma'lumot (log-normal), H0 rost ===")
    for n in [10, 30, 100]:
        a = rng.lognormal(3, 1.0, (N, n)); b = rng.lognormal(3, 1.0, (N, n))
        p = stats.ttest_ind(a, b, axis=1, equal_var=False).pvalue
        print(f"  n={n:>3}: p < 0.05 ulushi {np.mean(p < 0.05):.4f}  (kutilgan 0.05)")

    print("\n=== 2. Bitta outlier t-testni buzadi ===")
    a = rng.normal(50, 5, 40); b = rng.normal(55, 5, 40)
    print(f"  toza:            p = {stats.ttest_ind(a, b, equal_var=False).pvalue:.5f}")
    a_out = a.copy(); a_out[0] = 300.0
    print(f"  bitta outlier:   p = {stats.ttest_ind(a_out, b, equal_var=False).pvalue:.5f}")

    print("\n=== 3. Soxta mustaqillik: bir foydalanuvchining 10 sessiyasi ===")
    yolgon = 0
    for _ in range(2000):
        shaxs_a = rng.normal(50, 10, 20); shaxs_b = rng.normal(50, 10, 20)
        sa = (shaxs_a[:, None] + rng.normal(0, 2, (20, 10))).ravel()   # 200 "kuzatuv"
        sb = (shaxs_b[:, None] + rng.normal(0, 2, (20, 10))).ravel()
        yolgon += stats.ttest_ind(sa, sb, equal_var=False).pvalue < 0.05
    print(f"  sessiya darajasida p < 0.05: {yolgon / 2000:.3f}  (kutilgan 0.05!)")
    print("  ⭐ Mustaqillik buzilsa — p-qiymatlar ishonchsiz")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Kuchli qiyshiq ma'lumot (log-normal), H0 rost ===
  n= 10: p < 0.05 ulushi 0.0293  (kutilgan 0.05)
  n= 30: p < 0.05 ulushi 0.0420  (kutilgan 0.05)
  n=100: p < 0.05 ulushi 0.0434  (kutilgan 0.05)

=== 2. Bitta outlier t-testni buzadi ===
  toza:            p = 0.00000
  bitta outlier:   p = 0.98013

=== 3. Soxta mustaqillik: bir foydalanuvchining 10 sessiyasi ===
  sessiya darajasida p < 0.05: 0.537  (kutilgan 0.05!)
  ⭐ Mustaqillik buzilsa — p-qiymatlar ishonchsiz

Nima ko'rsatdi: 2.4, 2.7-bo'limlar.

Misol 4 — Qiyshiq ma'lumot: log va noparametrik bilan solishtirish

python
"""Log o'zgartirish va Mann-Whitney bilan t-test quvvatini solishtirish (real numpy/scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    rng = np.random.default_rng(3)
    N, n = 4000, 40

    print("=== 1. Log-normal ma'lumot, haqiqiy farq bor (medianlar 20 vs 25) ===")
    mu1, mu2, sigma = np.log(20), np.log(25), 0.8
    p_t = np.empty(N); p_log = np.empty(N); p_mw = np.empty(N)
    for i in range(N):
        a = rng.lognormal(mu1, sigma, n)
        b = rng.lognormal(mu2, sigma, n)
        p_t[i] = stats.ttest_ind(a, b, equal_var=False).pvalue
        p_log[i] = stats.ttest_ind(np.log(a), np.log(b), equal_var=False).pvalue
        p_mw[i] = stats.mannwhitneyu(a, b).pvalue

    print(f"  t-test (xom):        quvvat {np.mean(p_t < 0.05):.3f}")
    print(f"  t-test (log):        quvvat {np.mean(p_log < 0.05):.3f}")
    print(f"  Mann-Whitney:        quvvat {np.mean(p_mw < 0.05):.3f}")

    print("\n=== 2. Bitta namunada uch natija ===")
    a = rng.lognormal(mu1, sigma, n); b = rng.lognormal(mu2, sigma, n)
    print(f"  o'rtachalar: {a.mean():.1f} va {b.mean():.1f}; medianlar: "
          f"{np.median(a):.1f} va {np.median(b):.1f}")
    print(f"  t (xom) p = {stats.ttest_ind(a, b, equal_var=False).pvalue:.4f}, "
          f"t (log) p = {stats.ttest_ind(np.log(a), np.log(b), equal_var=False).pvalue:.4f}, "
          f"MW p = {stats.mannwhitneyu(a, b).pvalue:.4f}")
    print("  ⭐ Qiyshiq ma'lumotda log yoki noparametrik — kuchliroq")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Log-normal ma'lumot, haqiqiy farq bor (medianlar 20 vs 25) ===
  t-test (xom):        quvvat 0.177
  t-test (log):        quvvat 0.226
  Mann-Whitney:        quvvat 0.218

=== 2. Bitta namunada uch natija ===
  o'rtachalar: 35.6 va 38.4; medianlar: 25.2 va 28.6
  t (xom) p = 0.6686, t (log) p = 0.5599, MW p = 0.5670
  ⭐ Qiyshiq ma'lumotda log yoki noparametrik — kuchliroq

Nima ko'rsatdi: 2.6-bo'lim.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"ttest_ind — standart to'g'ri" equal_var=False (Welch)
"Juftlashgan ma'lumotga ind" ttest_rel (quvvat yuqori)
"Normallik — eng muhim faraz" Mustaqillik muhimroq
"Qiyshiq ma'lumot — t-test ishlamaydi" n katta bo'lsa ishlaydi (MLT)
"Ko'p sessiya — ko'p kuzatuv" Foydalanuvchi darajasi
"Shapiro rad etdi — t-test yaroqsiz" Grafik va n ga qarang
"p yetarli" CI + effekt kattaligi
"Outlierni o'chirsam bo'ldi" Avval tushuning (8.6)

6. Keng tarqalgan xatolar va yechimlari

1. Student o'rniga Welch

python
stats.ttest_ind(a, b)                                             # ⚠️
stats.ttest_ind(a, b, equal_var=False)                            # ✅

2. Juftlashgan dizaynda mustaqil test

python
stats.ttest_ind(oldin, keyin, equal_var=False)                    # ⚠️
stats.ttest_rel(oldin, keyin)                                     # ✅

3. Soxta mustaqillik

python
stats.ttest_ind(df_a["vaqt"], df_b["vaqt"])   # sessiyalar        # ⚠️
a = df_a.groupby("user_id")["vaqt"].mean()    # foydalanuvchi     # ✅

4. Faqat p

python
print("p =", res.pvalue)                                          # ⚠️
ci = res.confidence_interval(0.95); print(farq, ci, res.pvalue)   # ✅

5. Ko'p juft taqqoslash

python
for a, b in itertools.combinations(guruhlar, 2): ttest_ind(a, b)  # ⚠️
stats.f_oneway(*guruhlar)      # ANOVA 11.6-bob, keyin tuzatish      # ✅

6. NaN qiymatlar

python
stats.ttest_ind(a, b)                    # nan natija              # ⚠️
stats.ttest_ind(a[~np.isnan(a)], b[~np.isnan(b)], equal_var=False)  # ✅

7. Juftlashgan ma'lumotda tartib buzilishi

python
stats.ttest_rel(df1["oldin"], df2["keyin"])   # boshqa tartib      # ⚠️
d = df1.merge(df2, on="user_id"); stats.ttest_rel(d["oldin"], d["keyin"])  # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 4.13-dars (o'tilgan): t-test asoslari, ishonch oralig'i
  • 11.1-11.2-darslar (o'tilgan): p, xatolar, quvvat
  • 11.7-dars: Noparametrik alternativalar
  • 11.8-dars: Bootstrap va permutatsiya
  • 11.10-dars: A/B test loyihasi

8. Eng yaxshi amaliyotlar

  1. Dizaynni aniqlang: juftlashganmi?

  2. Mustaqil guruhlarda — Welch.

  3. Mustaqillikni ta'minlang (agregatsiya).

  4. Grafik bilan taqsimotni ko'ring.

  5. Outlierlarni tekshiring.

  6. Farq + CI + effekt kattaligini bering.

  7. Qiyshiq ma'lumotda log yoki noparametrik.

  8. Ko'p taqqoslashda tuzatish 11.9-bob.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # "oldin/keyin" — qaysi test?
2.  # ikki alohida guruh — qaysi test?
3.  # o'rtacha 30 dan farqlimi — qaysi?
4.  # equal_var standart qiymati?
5.  # Welch qachon kerak?
6.  # eng muhim faraz?
7.  # juftlashgan testning afzalligi?
8.  # t = ?
9.  # df (bir namunali, n=25)?
10. # Cohen's d 0.8?
11. # bitta outlier ta'siri?
12. # sessiya darajasida test?
Javoblar
  1. ttest_rel
  2. ttest_ind (Welch)
  3. ttest_1samp
  4. True (Student)
  5. Deyarli har doim
  6. Mustaqillik
  7. Shaxsiy farqlar yo'qoladi (quvvat)
  8. farq / SE
  9. 24
  10. Katta effekt
  11. p ni keskin o'zgartiradi
  12. Soxta mustaqillik

Vazifa 2: Xatolarni tuzating

python
1.  stats.ttest_ind(oldin, keyin)   # bir xil foydalanuvchilar

2.  stats.ttest_ind(a, b)   # dispersiyalar 4 barobar farqli

3.  stats.ttest_ind(df_a["vaqt"], df_b["vaqt"])   # har user 10 sessiya

4.  print("p:", res.pvalue)   # hisobot

5.  for a, b in combinations(g, 2): ttest_ind(a, b)   # 5 guruh
Javoblar
python
1.  stats.ttest_rel(oldin, keyin)

2.  stats.ttest_ind(a, b, equal_var=False)

3.  a = df_a.groupby("user_id")["vaqt"].mean(); b = df_b.groupby("user_id")["vaqt"].mean()

4.  print(f"farq {farq:+.2f} CI [{ci.low:+.2f}, {ci.high:+.2f}], p = {res.pvalue:.4f}")

5.  stats.f_oneway(*g)   # keyin post-hoc tuzatish bilan (11.6, 11.9)

Vazifa 3: Uch test

Modellang:

  1. Bir namunali (xizmat vaqti va'daga mos keladimi)
  2. Mustaqil (ikki shahar)
  3. Juftlashgan (trening oldin/keyin)
  4. Har birida CI va effekt

Vazifa 4: Welch simulyatsiyasi

Modellang:

  1. Turli dispersiya va hajm kombinatsiyalari
  2. Student va Welch I tur xatosi
  3. Jadval
  4. Xulosa

Vazifa 5: Dizayn quvvati

Modellang:

  1. Bir xil effekt uchun mustaqil va juftlashgan dizayn
  2. Kerakli n (11.2)
  3. Shaxsiy tarqoqlik ta'siri
  4. Tavsiya

Vazifa 6: Integratsiya

Modellang:

  1. Quvvat (11.2)
  2. Log o'zgartirish (6.5)
  3. Outlier (8.6)
  4. Hisobot (8.9)

Vazifa 7: O'ylash

t-test 1908-yilda Guinness pivo zavodida ishlagan William Gosset tomonidan ishlab chiqilgan — u kichik namunalar bilan ishlashga majbur edi (har tajriba qimmat). Bugun bizda millionlab qator ma'lumot bor. Nima uchun t-test hali ham dolzarb, va katta ma'lumot davrida uning roli qanday o'zgardi?

Javob

Qisqa javob: katta ma'lumot "katta namuna" degani emas — mustaqil kuzatuvlar soni ko'pincha kichik qoladi (foydalanuvchilar, do'konlar, kunlar). Bundan tashqari, katta n da t-test boshqa muammoni keltiradi: har qanday arzimas farq ham "muhim" chiqadi — diqqat p dan effekt kattaligiga ko'chadi.

1. Nega hali dolzarb

  • Mustaqil birlik soni kichik bo'lishi mumkin (100 do'kon, 30 kun)
  • Segmentlarga bo'lganda har segmentda kam kuzatuv qoladi
  • Tez, tushunarli, CI beradi
  • Ko'p murakkab usul (regressiya, aralash modellar) ichida shu mantiq

2. Katta ma'lumotda nima o'zgardi

Kichik n davri Katta n davri
"Farq bormi?" "Farq qanchalik katta?"
p — asosiy natija Effekt + CI asosiy
Normallik muhim MLT tufayli muammo emas
Bitta test Ko'p test, tuzatishlar (11.9)

3. Yangi muammolar

  • Soxta mustaqillik (klasterlangan ma'lumot) — katta n da xavf ortadi
  • Ko'p taqqoslash va p-hacking imkoniyati keskin oshdi
  • "Statistik muhim, amaliy ahamiyatsiz" natijalar oqimi

4. Data Scientist qanday

  1. Mustaqil birlikni aniqlaydi va shunga agregatsiya qiladi
  2. Effekt kattaligi va CI ni birinchi o'ringa qo'yadi
  3. Amaliy chegarani oldindan kelishadi
  4. Kerak bo'lsa bootstrap/permutatsiya 11.8-bob ishlatadi

5. Xulosa

  1. t-test — kichik mustaqil birliklar uchun hali ham asosiy vosita
  2. Katta n da savol "bormi" emas, "qanchalik katta"
  3. Mustaqillik — katta ma'lumotdagi asosiy xavf
  4. p emas, effekt va CI — qaror asosi

Nimani mustahkamlaydi: 2.4, 2.5-bo'limlar.


Xulosa

Bu darsda t-testlarni o'rgandik.

Eng muhim uch fikr:

  1. Dizayn testni belgilaydi. Bir namunali (mu0 bilan solishtirish), mustaqil (ikki alohida guruh), juftlashgan (bir xil obyektlarning ikki o'lchovi — farqlar bo'yicha test). Juftlashgan dizayn shaxsiy farqlarni yo'qotadi va quvvatni sezilarli oshiradi.

  2. Welch — standart. equal_var=False har doim xavfsizroq: dispersiyalar teng bo'lganda deyarli bir xil, teng bo'lmaganda (ayniqsa guruh hajmlari ham farqli) I tur xatoni to'g'ri ushlaydi.

  3. Farazlar va hisobot. Mustaqillik — eng muhim (sessiya emas, foydalanuvchi darajasi); normallik — MLT tufayli yumshoq (n katta bo'lsa); outlierlar — jiddiy ta'sir qiladi. Hisobot: farq + ishonch oralig'i + effekt kattaligi + p. Kuchli qiyshiqlikda — log, Mann-Whitney 11.7-bob yoki bootstrap/permutatsiya 11.8-bob.

Keyingi darsda proporsiyalar testlarini o'rganamiz: konversiya farqlari, z-test, aniq binomial test, ishonch oraliqlari va A/B testlardagi eng ko'p uchraydigan xatolar.

Gipoteza testlari · 3-dars yakunlandi

11.3-dars: t-testlar

17 daqvaqt
0belgi
Keyingi dars: 11.4-dars: Proporsiyalar (konversiyalar) testi
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0