11.3-dars: t-testlar
11-QISM — GIPOTEZA TESTLARI · 3-dars
1. Kirish va motivatsiya
t-test — o'rtachalarni solishtirishning eng keng tarqalgan usuli. 4.13-darsda u bilan tanishdik; bu darsda uchta turini (bir namunali, mustaqil, juftlashgan) aniq ajratamiz, farazlarini tekshirishni o'rganamiz va farazlar buzilganda nima qilishni ko'ramiz.
Eng ko'p uchraydigan amaliy xatolar aynan shu yerda: juftlashgan ma'lumotga mustaqil test qo'llash (quvvatni bekorga yo'qotish), teng dispersiya farazini tekshirmaslik (Welch o'rniga klassik test), bitta foydalanuvchining ko'p yozuvini mustaqil kuzatuv deb hisoblash (soxta ishonch), va ishonch oralig'ini ko'rsatmasdan faqat p-qiymatni hisobot qilish.
Real vaziyat. Jamoa yangi interfeysni sinadi: 50 foydalanuvchi eski, keyin yangi interfeysda vazifani bajaradi (har kim ikkalasida ham). Tahlilchi mustaqil t-test qo'llaydi: farq ~3 soniya, p = 0.41 — "farq yo'q". Data Scientist e'tiroz bildiradi: bu juftlashgan dizayn — har foydalanuvchining o'z tezligi bor (kimdir tez, kimdir sekin), shuning uchun farqlar bo'yicha test kerak. Juftlashgan t-test: p = 0.0003, farq +3.1 soniya [1.5; 4.7] (Misol 1). Shaxsiy farqlar shovqinni tashkil qilardi; ularni yo'qotish quvvatni bir necha barobar oshirdi.
Bu darsda t-testlarni o'rganamiz.
Bu darsda:
- Uch tur: bir namunali, mustaqil, juftlashgan
- Welch t-testi (teng bo'lmagan dispersiya)
- t-statistikasi va erkinlik darajasi
- Farazlar va ularni tekshirish
- Ishonch oralig'i va effekt kattaligi
- Farazlar buzilganda nima qilish
- t-test tuzoqlari
- Amaliy: dizaynni to'g'ri tanlash
ℹ Misollar real numpy/scipy bilan (Python 3.14).
2. Nazariya — chuqur tushuntirish
2.1. Uch tur
BIR NAMUNALI: o'rtacha ma'lum qiymatdan farqlimi?
H0: mu = mu0 stats.ttest_1samp(x, mu0)
misol: yetkazish vaqti va'da qilingan 30 daqiqadan uzunmi?
MUSTAQIL: ikki ALOHIDA guruh o'rtachasi farqlimi?
H0: mu_A = mu_B stats.ttest_ind(a, b, equal_var=False)
misol: A va B guruh foydalanuvchilari (turli odamlar)
JUFTLASHGAN: bir xil obyektlarning ikki o'lchovi farqlimi?
H0: farqlar o'rtachasi = 0 stats.ttest_rel(oldin, keyin)
misol: har foydalanuvchi eski va yangi interfeysdaDizayn testni belgilaydi: kuzatuvlar juftlashganmi (bir xil odam/obyekt ikki marta o'lchanganmi, yoki juftlab moslangan) yoki mustaqilmi. Juftlashgan dizayn kuchliroq: shaxsiy farqlar (kimdir umuman sekin) yo'qoladi, faqat farq qoladi — shovqin kamayadi, quvvat oshadi 11.2-bob. Juftlashgan ma'lumotga mustaqil test qo'llash — jiddiy xato (quvvat yo'qoladi); teskarisi — yanada yomon (mustaqil ma'lumotni juftlab bo'lmaydi).
2.2. Welch t-testi
Klassik (Student) t-test: ikki guruh dispersiyasi TENG deb faraz qiladi
Welch t-test: teng bo'lishi shart emas (erkinlik darajasi tuzatiladi)
scipy: stats.ttest_ind(a, b) → equal_var=True (Student) — STANDART!
stats.ttest_ind(a, b, equal_var=False) → Welch
Tavsiya: deyarli har doim Welch (dispersiyalar teng bo'lsa ham deyarli bir xil natija,
teng bo'lmaganda esa ancha to'g'riroq) Welch t-testi — xavfsiz standart: dispersiyalar teng bo'lganda klassik testdan deyarli farq qilmaydi, teng bo'lmaganda (ayniqsa guruh hajmlari ham har xil bo'lganda) I tur xatoni to'g'ri ushlab turadi. Klassik test guruhlar hajmi va dispersiyasi mos kelmaganda juda noto'g'ri bo'lishi mumkin (alfa 0.05 o'rniga 0.10+). scipy'da standart equal_var=True — buni har safar False ga o'zgartirish odat bo'lsin.
2.3. t-statistikasi va erkinlik darajasi
t = (kuzatilgan farq) / (farqning standart xatosi)
Bir namunali: t = (x_o'rtacha - mu0) / (s / sqrt(n)), df = n - 1
Juftlashgan: farqlar d_i = keyin_i - oldin_i bo'yicha bir namunali test
Welch: t = (x1 - x2) / sqrt(s1^2/n1 + s2^2/n2), df — taxminiy formula
t taqsimoti — normalga o'xshash, lekin dumlari qalinroq (kichik n da);
df oshgani sari normalga yaqinlashadi (df > 30 da deyarli bir xil)t-statistikasi — "farq standart xatoning necha barobari" 9.6-bob. Kichik namunada SD ning o'zi noaniq baholanadi — shuning uchun normal emas, t-taqsimot ishlatiladi (dumlari qalinroq, chegaralar kengroq). n oshgani sari farq yo'qoladi. p-qiymat — t taqsimotining dumlaridagi ehtimol 11.1-bob.
2.4. Farazlar va ularni tekshirish
1. MUSTAQILLIK (eng muhim!) — kuzatuvlar bir-biriga bog'liq emas
buziladi: bir foydalanuvchining ko'p yozuvi, vaqt qatori, klasterlar
yechim: to'g'ri agregatsiya (foydalanuvchi darajasi), aralash modellar
2. NORMALLIK — guruh ichidagi taqsimot normalga yaqin
MUHIM: o'rtachaning taqsimoti muhim, ma'lumotniki emas (MLT, 4.7)
n > 30-40 da kuchsiz qiyshiqlik muammo emas; kuchli qiyshiqlikda — 11.7
3. TENG DISPERSIYA — faqat klassik test uchun; Welch da kerak emas
4. OUTLIERSIZ — bitta ekstremal qiymat o'rtachani va SD ni buzadi (8.6)Mustaqillik — buzilsa hech qanday tuzatish yordam bermaydi: p-qiymatlar ishonchsiz bo'ladi. Normallik — eng ko'p qo'rqitiladigan, lekin eng kam muammoli faraz: markaziy limit teoremasi tufayli n katta bo'lsa, o'rtachalar farqi normal taqsimlangan bo'ladi. Tekshirish: gistogramma va QQ-plot (10.8 emas, 9.8), Shapiro-Wilk testi (katta n da juda sezgir — grafikga ishoning). Outlierlar — oldin ko'ring 8.6-bob, avtomatik o'chirmang.
2.5. Ishonch oralig'i va effekt kattaligi
p-qiymat bilan birga farqning ishonch oralig'i beriladi 11.1-bob: scipy res.confidence_interval(0.95). Talqin: "ma'lumotga mos farqlar oralig'i" (95% CI — takroriy tajribalarning 95% ida haqiqiy farqni o'z ichiga oladigan usul). Effekt kattaligi: Cohen's d = farq / birlashtirilgan SD (0.2 / 0.5 / 0.8 — kichik / o'rta / katta); juftlashganda — farqlar o'rtachasi / farqlar SD si. Biznes uchun esa asl birlikdagi farq eng tushunarli: "o'rtacha 3.1 soniya tezroq [1.5; 4.7]".
2.6. Farazlar buzilganda
Kuchli qiyshiqlik / outlierlar:
→ logarifm 6.5-bob va keyin t-test (o'rtacha log — geometrik o'rtacha)
→ Mann-Whitney U 11.7-bob — medianalar/tartiblar
→ bootstrap yoki permutatsiya 11.8-bob — farazsiz
Mustaqillik buzilgan:
→ foydalanuvchi darajasiga agregatsiya qilish
→ klasterli standart xatolar yoki aralash modellar
Juda kichik namuna (n < 10):
→ permutatsiya testi; natijani ehtiyotkor talqin qilishQoida: avval dizayn va mustaqillik, keyin taqsimot. Qiyshiq ma'lumotda (narx, vaqt — 9.8) o'rtachaning o'zi ham yaxshi ko'rsatkich bo'lmasligi mumkin — median va noparametrik testlar 11.7-bob yoki log o'zgartirish. Bootstrap/permutatsiya 11.8-bob — eng universal yechim: hech qanday taqsimot farazi yo'q.
2.7. t-test tuzoqlari
Asosiy tuzoqlar: dizaynni noto'g'ri tanlash (juftlashgan ma'lumotga mustaqil test); equal_var=True standarti (Welch ishlating); soxta mustaqillik (sessiya darajasidagi qatorlar — foydalanuvchiga agregatsiya qiling); ko'p t-test (uch guruhni juft-juft solishtirish — ANOVA yoki tuzatish, 11.6, 11.9); faqat p (CI va effekt kerak); normallikni testga tayanib tekshirish (Shapiro katta n da hamma narsani rad etadi); outlierlarni jim o'chirish; teng bo'lmagan guruhlarda klassik test; ketma-ket tekshirish 11.2-bob.
2.8. t-testlar — o'rtachalarni solishtirish
t-test uch turda: bir namunali (mu0 bilan), mustaqil (ikki alohida guruh — Welch, equal_var=False), juftlashgan (bir xil obyektlar; farqlar bo'yicha bir namunali test — quvvat yuqori). t = farq / SE, t-taqsimot (dumlari qalin, df bilan normalga yaqinlashadi). Farazlar: mustaqillik (eng muhim), normallik (MLT tufayli yumshoq), teng dispersiya (faqat klassik test), outliersizlik. Hisobot — farq + CI + effekt kattaligi + p. Buzilishlarda — log, noparametrik 11.7-bob, bootstrap/permutatsiya 11.8-bob. Keyingi dars — proporsiyalar (konversiyalar) testi.
3. Tez ma'lumotnoma
import numpy as np
from scipy import stats
stats.ttest_1samp(x, popmean=30) # bir namunali
stats.ttest_ind(a, b, equal_var=False) # mustaqil (Welch)
stats.ttest_rel(oldin, keyin) # juftlashgan
stats.ttest_ind(a, b, equal_var=False, alternative="greater") # bir tomonlama
res = stats.ttest_ind(a, b, equal_var=False)
res.statistic, res.pvalue, res.df
ci = res.confidence_interval(0.95); ci.low, ci.high
# effekt kattaligi
s = np.sqrt(((len(a)-1)*a.var(ddof=1) + (len(b)-1)*b.var(ddof=1)) / (len(a)+len(b)-2))
d = (a.mean() - b.mean()) / s # Cohen's d
d_juft = farqlar.mean() / farqlar.std(ddof=1) # juftlashgan uchun
# farazlar
stats.shapiro(x) # kichik n da
stats.levene(a, b) # dispersiyalar tengligi
QOIDA: dizaynga qarab test · equal_var=False · CI bilan · mustaqillikni tekshirt-testlar xulosasi
Bir namunali — mu0 bilan; juftlashgan — farqlar bo'yicha; mustaqil — Welch
t = farq / SE; t-taqsimot (df bilan normalga yaqinlashadi)
Farazlar: mustaqillik > normallik; teng dispersiya faqat Student uchun
Juftlashgan dizayn — shovqin kam, quvvat yuqori
Hisobot: farq + CI + effekt + p
Buzilsa: log, Mann-Whitney (11.7), bootstrap/permutatsiya (11.8)4. Batafsil misollar
Misollar real numpy/scipy bilan (Python 3.14).
Misol 1 — Uch tur, uch savol
"""Bir namunali, mustaqil va juftlashgan t-test (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(0)
print("=== 1. Bir namunali: yetkazish 30 daqiqadan uzunmi? ===")
vaqt = rng.normal(32.5, 7, 60)
res = stats.ttest_1samp(vaqt, popmean=30)
ci = res.confidence_interval(0.95)
print(f" o'rtacha {vaqt.mean():.2f} daqiqa, t = {res.statistic:.2f}, p = {res.pvalue:.4f}")
print(f" 95% CI: [{ci.low:.2f}, {ci.high:.2f}]")
print("\n=== 2. Mustaqil (Welch): A va B guruhlari ===")
a = rng.normal(52, 12, 80)
b = rng.normal(48, 12, 75)
res = stats.ttest_ind(a, b, equal_var=False)
ci = res.confidence_interval(0.95)
print(f" farq {a.mean() - b.mean():+.2f}, t = {res.statistic:.2f}, df = {res.df:.1f}, p = {res.pvalue:.4f}")
print(f" 95% CI: [{ci.low:+.2f}, {ci.high:+.2f}]")
print("\n=== 3. Juftlashgan: har foydalanuvchi ikki interfeysda ===")
shaxsiy = rng.normal(45, 15, 50) # shaxsiy tezlik (katta tarqoqlik)
eski = shaxsiy + rng.normal(0, 4, 50)
yangi = shaxsiy - 4.0 + rng.normal(0, 4, 50) # yangi 4 soniya tezroq
print(f" mustaqil test: p = {stats.ttest_ind(eski, yangi, equal_var=False).pvalue:.4f}")
res = stats.ttest_rel(eski, yangi)
ci = res.confidence_interval(0.95)
print(f" juftlashgan: p = {res.pvalue:.6f}, farq {(eski - yangi).mean():+.2f}s "
f"CI [{ci.low:+.2f}, {ci.high:+.2f}]")
print(" ⭐ Juftlashgan dizayn shaxsiy farqlarni yo'qotadi — quvvat yuqori")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Bir namunali: yetkazish 30 daqiqadan uzunmi? ===
o'rtacha 33.04 daqiqa, t = 3.72, p = 0.0004
95% CI: [31.40, 34.68]
=== 2. Mustaqil (Welch): A va B guruhlari ===
farq +5.83, t = 3.06, df = 153.0, p = 0.0026
95% CI: [+2.06, +9.59]
=== 3. Juftlashgan: har foydalanuvchi ikki interfeysda ===
mustaqil test: p = 0.4116
juftlashgan: p = 0.000258, farq +3.10s CI [+1.52, +4.69]
⭐ Juftlashgan dizayn shaxsiy farqlarni yo'qotadi — quvvat yuqoriNima ko'rsatdi: 2.1, 2.5-bo'limlar.
Misol 2 — Welch va klassik test farqi
"""Teng bo'lmagan dispersiya va hajmda klassik test I tur xatoni buzadi (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(1)
N = 20_000
print("=== 1. H0 rost, teng dispersiya, teng hajm ===")
a = rng.normal(0, 10, (N, 30)); b = rng.normal(0, 10, (N, 30))
for nom, ev in [("Student", True), ("Welch", False)]:
p = stats.ttest_ind(a, b, axis=1, equal_var=ev).pvalue
print(f" {nom:<8}: p < 0.05 ulushi {np.mean(p < 0.05):.4f} (kutilgan 0.05)")
print("\n=== 2. H0 rost, teng bo'lmagan dispersiya VA hajm ===")
a = rng.normal(0, 20, (N, 10)) # kichik guruh, katta tarqoqlik
b = rng.normal(0, 5, (N, 50)) # katta guruh, kichik tarqoqlik
for nom, ev in [("Student", True), ("Welch", False)]:
p = stats.ttest_ind(a, b, axis=1, equal_var=ev).pvalue
print(f" {nom:<8}: p < 0.05 ulushi {np.mean(p < 0.05):.4f}")
print("\n=== 3. Dispersiyalar tengligi testi (Levene) ===")
x, y = rng.normal(0, 20, 10), rng.normal(0, 5, 50)
print(f" Levene p = {stats.levene(x, y).pvalue:.4f}")
print(" ⭐ Welch — xavfsiz standart (equal_var=False)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. H0 rost, teng dispersiya, teng hajm ===
Student : p < 0.05 ulushi 0.0484 (kutilgan 0.05)
Welch : p < 0.05 ulushi 0.0482 (kutilgan 0.05)
=== 2. H0 rost, teng bo'lmagan dispersiya VA hajm ===
Student : p < 0.05 ulushi 0.3387
Welch : p < 0.05 ulushi 0.0495
=== 3. Dispersiyalar tengligi testi (Levene) ===
Levene p = 0.0000
⭐ Welch — xavfsiz standart (equal_var=False)Nima ko'rsatdi: 2.2, 2.4-bo'limlar.
Misol 3 — Farazlar: normallik, outlier, soxta mustaqillik
"""Normallik yumshoq, outlier va soxta mustaqillik — jiddiy (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(2)
N = 10_000
print("=== 1. Kuchli qiyshiq ma'lumot (log-normal), H0 rost ===")
for n in [10, 30, 100]:
a = rng.lognormal(3, 1.0, (N, n)); b = rng.lognormal(3, 1.0, (N, n))
p = stats.ttest_ind(a, b, axis=1, equal_var=False).pvalue
print(f" n={n:>3}: p < 0.05 ulushi {np.mean(p < 0.05):.4f} (kutilgan 0.05)")
print("\n=== 2. Bitta outlier t-testni buzadi ===")
a = rng.normal(50, 5, 40); b = rng.normal(55, 5, 40)
print(f" toza: p = {stats.ttest_ind(a, b, equal_var=False).pvalue:.5f}")
a_out = a.copy(); a_out[0] = 300.0
print(f" bitta outlier: p = {stats.ttest_ind(a_out, b, equal_var=False).pvalue:.5f}")
print("\n=== 3. Soxta mustaqillik: bir foydalanuvchining 10 sessiyasi ===")
yolgon = 0
for _ in range(2000):
shaxs_a = rng.normal(50, 10, 20); shaxs_b = rng.normal(50, 10, 20)
sa = (shaxs_a[:, None] + rng.normal(0, 2, (20, 10))).ravel() # 200 "kuzatuv"
sb = (shaxs_b[:, None] + rng.normal(0, 2, (20, 10))).ravel()
yolgon += stats.ttest_ind(sa, sb, equal_var=False).pvalue < 0.05
print(f" sessiya darajasida p < 0.05: {yolgon / 2000:.3f} (kutilgan 0.05!)")
print(" ⭐ Mustaqillik buzilsa — p-qiymatlar ishonchsiz")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Kuchli qiyshiq ma'lumot (log-normal), H0 rost ===
n= 10: p < 0.05 ulushi 0.0293 (kutilgan 0.05)
n= 30: p < 0.05 ulushi 0.0420 (kutilgan 0.05)
n=100: p < 0.05 ulushi 0.0434 (kutilgan 0.05)
=== 2. Bitta outlier t-testni buzadi ===
toza: p = 0.00000
bitta outlier: p = 0.98013
=== 3. Soxta mustaqillik: bir foydalanuvchining 10 sessiyasi ===
sessiya darajasida p < 0.05: 0.537 (kutilgan 0.05!)
⭐ Mustaqillik buzilsa — p-qiymatlar ishonchsizNima ko'rsatdi: 2.4, 2.7-bo'limlar.
Misol 4 — Qiyshiq ma'lumot: log va noparametrik bilan solishtirish
"""Log o'zgartirish va Mann-Whitney bilan t-test quvvatini solishtirish (real numpy/scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
rng = np.random.default_rng(3)
N, n = 4000, 40
print("=== 1. Log-normal ma'lumot, haqiqiy farq bor (medianlar 20 vs 25) ===")
mu1, mu2, sigma = np.log(20), np.log(25), 0.8
p_t = np.empty(N); p_log = np.empty(N); p_mw = np.empty(N)
for i in range(N):
a = rng.lognormal(mu1, sigma, n)
b = rng.lognormal(mu2, sigma, n)
p_t[i] = stats.ttest_ind(a, b, equal_var=False).pvalue
p_log[i] = stats.ttest_ind(np.log(a), np.log(b), equal_var=False).pvalue
p_mw[i] = stats.mannwhitneyu(a, b).pvalue
print(f" t-test (xom): quvvat {np.mean(p_t < 0.05):.3f}")
print(f" t-test (log): quvvat {np.mean(p_log < 0.05):.3f}")
print(f" Mann-Whitney: quvvat {np.mean(p_mw < 0.05):.3f}")
print("\n=== 2. Bitta namunada uch natija ===")
a = rng.lognormal(mu1, sigma, n); b = rng.lognormal(mu2, sigma, n)
print(f" o'rtachalar: {a.mean():.1f} va {b.mean():.1f}; medianlar: "
f"{np.median(a):.1f} va {np.median(b):.1f}")
print(f" t (xom) p = {stats.ttest_ind(a, b, equal_var=False).pvalue:.4f}, "
f"t (log) p = {stats.ttest_ind(np.log(a), np.log(b), equal_var=False).pvalue:.4f}, "
f"MW p = {stats.mannwhitneyu(a, b).pvalue:.4f}")
print(" ⭐ Qiyshiq ma'lumotda log yoki noparametrik — kuchliroq")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Log-normal ma'lumot, haqiqiy farq bor (medianlar 20 vs 25) ===
t-test (xom): quvvat 0.177
t-test (log): quvvat 0.226
Mann-Whitney: quvvat 0.218
=== 2. Bitta namunada uch natija ===
o'rtachalar: 35.6 va 38.4; medianlar: 25.2 va 28.6
t (xom) p = 0.6686, t (log) p = 0.5599, MW p = 0.5670
⭐ Qiyshiq ma'lumotda log yoki noparametrik — kuchliroqNima ko'rsatdi: 2.6-bo'lim.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "ttest_ind — standart to'g'ri" | equal_var=False (Welch) |
| "Juftlashgan ma'lumotga ind" | ttest_rel (quvvat yuqori) |
| "Normallik — eng muhim faraz" | Mustaqillik muhimroq |
| "Qiyshiq ma'lumot — t-test ishlamaydi" | n katta bo'lsa ishlaydi (MLT) |
| "Ko'p sessiya — ko'p kuzatuv" | Foydalanuvchi darajasi |
| "Shapiro rad etdi — t-test yaroqsiz" | Grafik va n ga qarang |
| "p yetarli" | CI + effekt kattaligi |
| "Outlierni o'chirsam bo'ldi" | Avval tushuning (8.6) |
6. Keng tarqalgan xatolar va yechimlari
1. Student o'rniga Welch
stats.ttest_ind(a, b) # ⚠️
stats.ttest_ind(a, b, equal_var=False) # ✅2. Juftlashgan dizaynda mustaqil test
stats.ttest_ind(oldin, keyin, equal_var=False) # ⚠️
stats.ttest_rel(oldin, keyin) # ✅3. Soxta mustaqillik
stats.ttest_ind(df_a["vaqt"], df_b["vaqt"]) # sessiyalar # ⚠️
a = df_a.groupby("user_id")["vaqt"].mean() # foydalanuvchi # ✅4. Faqat p
print("p =", res.pvalue) # ⚠️
ci = res.confidence_interval(0.95); print(farq, ci, res.pvalue) # ✅5. Ko'p juft taqqoslash
for a, b in itertools.combinations(guruhlar, 2): ttest_ind(a, b) # ⚠️
stats.f_oneway(*guruhlar) # ANOVA 11.6-bob, keyin tuzatish # ✅6. NaN qiymatlar
stats.ttest_ind(a, b) # nan natija # ⚠️
stats.ttest_ind(a[~np.isnan(a)], b[~np.isnan(b)], equal_var=False) # ✅7. Juftlashgan ma'lumotda tartib buzilishi
stats.ttest_rel(df1["oldin"], df2["keyin"]) # boshqa tartib # ⚠️
d = df1.merge(df2, on="user_id"); stats.ttest_rel(d["oldin"], d["keyin"]) # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 4.13-dars (o'tilgan): t-test asoslari, ishonch oralig'i
- 11.1-11.2-darslar (o'tilgan): p, xatolar, quvvat
- 11.7-dars: Noparametrik alternativalar
- 11.8-dars: Bootstrap va permutatsiya
- 11.10-dars: A/B test loyihasi
8. Eng yaxshi amaliyotlar
Dizaynni aniqlang: juftlashganmi?
Mustaqil guruhlarda — Welch.
Mustaqillikni ta'minlang (agregatsiya).
Grafik bilan taqsimotni ko'ring.
Outlierlarni tekshiring.
Farq + CI + effekt kattaligini bering.
Qiyshiq ma'lumotda log yoki noparametrik.
Ko'p taqqoslashda tuzatish 11.9-bob.
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # "oldin/keyin" — qaysi test?
2. # ikki alohida guruh — qaysi test?
3. # o'rtacha 30 dan farqlimi — qaysi?
4. # equal_var standart qiymati?
5. # Welch qachon kerak?
6. # eng muhim faraz?
7. # juftlashgan testning afzalligi?
8. # t = ?
9. # df (bir namunali, n=25)?
10. # Cohen's d 0.8?
11. # bitta outlier ta'siri?
12. # sessiya darajasida test?Javoblar
- ttest_rel
- ttest_ind (Welch)
- ttest_1samp
- True (Student)
- Deyarli har doim
- Mustaqillik
- Shaxsiy farqlar yo'qoladi (quvvat)
- farq / SE
- 24
- Katta effekt
- p ni keskin o'zgartiradi
- Soxta mustaqillik
Vazifa 2: Xatolarni tuzating
1. stats.ttest_ind(oldin, keyin) # bir xil foydalanuvchilar
2. stats.ttest_ind(a, b) # dispersiyalar 4 barobar farqli
3. stats.ttest_ind(df_a["vaqt"], df_b["vaqt"]) # har user 10 sessiya
4. print("p:", res.pvalue) # hisobot
5. for a, b in combinations(g, 2): ttest_ind(a, b) # 5 guruhJavoblar
1. stats.ttest_rel(oldin, keyin)
2. stats.ttest_ind(a, b, equal_var=False)
3. a = df_a.groupby("user_id")["vaqt"].mean(); b = df_b.groupby("user_id")["vaqt"].mean()
4. print(f"farq {farq:+.2f} CI [{ci.low:+.2f}, {ci.high:+.2f}], p = {res.pvalue:.4f}")
5. stats.f_oneway(*g) # keyin post-hoc tuzatish bilan (11.6, 11.9)Vazifa 3: Uch test
Modellang:
- Bir namunali (xizmat vaqti va'daga mos keladimi)
- Mustaqil (ikki shahar)
- Juftlashgan (trening oldin/keyin)
- Har birida CI va effekt
Vazifa 4: Welch simulyatsiyasi
Modellang:
- Turli dispersiya va hajm kombinatsiyalari
- Student va Welch I tur xatosi
- Jadval
- Xulosa
Vazifa 5: Dizayn quvvati
Modellang:
- Bir xil effekt uchun mustaqil va juftlashgan dizayn
- Kerakli n (11.2)
- Shaxsiy tarqoqlik ta'siri
- Tavsiya
Vazifa 6: Integratsiya
Modellang:
- Quvvat (11.2)
- Log o'zgartirish (6.5)
- Outlier (8.6)
- Hisobot (8.9)
Vazifa 7: O'ylash
t-test 1908-yilda Guinness pivo zavodida ishlagan William Gosset tomonidan ishlab chiqilgan — u kichik namunalar bilan ishlashga majbur edi (har tajriba qimmat). Bugun bizda millionlab qator ma'lumot bor. Nima uchun t-test hali ham dolzarb, va katta ma'lumot davrida uning roli qanday o'zgardi?
Javob
Qisqa javob: katta ma'lumot "katta namuna" degani emas — mustaqil kuzatuvlar soni ko'pincha kichik qoladi (foydalanuvchilar, do'konlar, kunlar). Bundan tashqari, katta n da t-test boshqa muammoni keltiradi: har qanday arzimas farq ham "muhim" chiqadi — diqqat p dan effekt kattaligiga ko'chadi.
1. Nega hali dolzarb
- Mustaqil birlik soni kichik bo'lishi mumkin (100 do'kon, 30 kun)
- Segmentlarga bo'lganda har segmentda kam kuzatuv qoladi
- Tez, tushunarli, CI beradi
- Ko'p murakkab usul (regressiya, aralash modellar) ichida shu mantiq
2. Katta ma'lumotda nima o'zgardi
| Kichik n davri | Katta n davri |
|---|---|
| "Farq bormi?" | "Farq qanchalik katta?" |
| p — asosiy natija | Effekt + CI asosiy |
| Normallik muhim | MLT tufayli muammo emas |
| Bitta test | Ko'p test, tuzatishlar (11.9) |
3. Yangi muammolar
- Soxta mustaqillik (klasterlangan ma'lumot) — katta n da xavf ortadi
- Ko'p taqqoslash va p-hacking imkoniyati keskin oshdi
- "Statistik muhim, amaliy ahamiyatsiz" natijalar oqimi
4. Data Scientist qanday
- Mustaqil birlikni aniqlaydi va shunga agregatsiya qiladi
- Effekt kattaligi va CI ni birinchi o'ringa qo'yadi
- Amaliy chegarani oldindan kelishadi
- Kerak bo'lsa bootstrap/permutatsiya 11.8-bob ishlatadi
5. Xulosa
- t-test — kichik mustaqil birliklar uchun hali ham asosiy vosita
- Katta n da savol "bormi" emas, "qanchalik katta"
- Mustaqillik — katta ma'lumotdagi asosiy xavf
- p emas, effekt va CI — qaror asosi
Nimani mustahkamlaydi: 2.4, 2.5-bo'limlar.
Xulosa
Bu darsda t-testlarni o'rgandik.
Eng muhim uch fikr:
Dizayn testni belgilaydi. Bir namunali (mu0 bilan solishtirish), mustaqil (ikki alohida guruh), juftlashgan (bir xil obyektlarning ikki o'lchovi — farqlar bo'yicha test). Juftlashgan dizayn shaxsiy farqlarni yo'qotadi va quvvatni sezilarli oshiradi.
Welch — standart.
equal_var=Falsehar doim xavfsizroq: dispersiyalar teng bo'lganda deyarli bir xil, teng bo'lmaganda (ayniqsa guruh hajmlari ham farqli) I tur xatoni to'g'ri ushlaydi.Farazlar va hisobot. Mustaqillik — eng muhim (sessiya emas, foydalanuvchi darajasi); normallik — MLT tufayli yumshoq (n katta bo'lsa); outlierlar — jiddiy ta'sir qiladi. Hisobot: farq + ishonch oralig'i + effekt kattaligi + p. Kuchli qiyshiqlikda — log, Mann-Whitney 11.7-bob yoki bootstrap/permutatsiya 11.8-bob.
Keyingi darsda proporsiyalar testlarini o'rganamiz: konversiya farqlari, z-test, aniq binomial test, ishonch oraliqlari va A/B testlardagi eng ko'p uchraydigan xatolar.
Izohlar · 0
Izoh yozish uchun kiring.