4.9-dars: Korrelyatsiya
4-QISM — STATISTIKA · 9-dars
1. Kirish va motivatsiya
Ko'pincha ikki narsa bir-biri bilan bog'liq: bo'y va vazn (baland — og'irroq), reklama va savdo (ko'p reklama — ko'p savdo), yosh va daromad. Bu bog'lanishni o'lchash — korrelyatsiya. Korrelyatsiya ikki o'zgaruvchan qanchalik va qay yo'nalishda birga o'zgarishini bir son bilan ko'rsatadi: -1 dan +1 gacha. +1 — mukammal musbat (biri oshsa, ikkinchisi ham), -1 — mukammal manfiy (biri oshsa, ikkinchisi kamayadi), 0 — bog'lanish yo'q. Bu Data Science'da xususiyatlar orasidagi aloqani topish, muhim omillarni aniqlash uchun asosiy vosita. Nega muhim? (1) Bog'lanish topish — qaysi omillar bog'liq; (2) Xususiyat tanlash — ML uchun muhim omillar; (3) Tushunish — ma'lumot ichidagi aloqalar. LEKIN eng muhim ogohlantirish: korrelyatsiya sababiyat emas (keyingi dars). Bu dars korrelyatsiyani o'rgatadi — bog'lanishni o'lchash.
Korrelyatsiya — ikki o'zgaruvchan bog'lanishi: korrelyatsiya koeffitsiyenti (r — -1 dan +1 gacha), musbat (+; biri oshsa ikkinchisi ham — bo'y/vazn), manfiy (-; biri oshsa ikkinchisi kamayadi), kuch (|r| yaqin 1 — kuchli, yaqin 0 — kuchsiz), Pearson (chiziqli bog'lanish), Spearman (tartib/nochiziqli), np.corrcoef / df.corr(). Foydalanish: bog'lanish topish, xususiyat tanlash, tushunish. Bu 4.10 (sababiyat), 5-qism (heatmap) bilan bog'liq. Korrelyatsiya — -1..+1. Musbat/manfiy. Kuch.
Real vaziyat. Data Scientist do'kon ma'lumotini tahlil qildi. Savol: reklama savdoga ta'sir qiladi-mi? np.corrcoef(reklama, savdo) = 0.85 (kuchli musbat — reklama ko'p → savdo ko'p). Yosh va sport = -0.6 (manfiy — yosh oshsa sport kamayadi). Bo'y va IQ = 0.02 (~0 — bog'lanish yo'q). DataFrame korrelyatsiya matritsasi (df.corr() — barcha ustunlar juftligi; heatmap — 5-qism). Muhim omillar (savdoga eng bog'liq — reklama 0.85). LEKIN: muzqaymoq va cho'kish korrelyatsiya (0.9!) — sababiyat emas (yoz — 4.10). Korrelyatsiya bog'lanishni o'lchadi (kuch, yo'nalish). Korrelyatsiya — bog'lanish vositasi (xususiyat, tahlil).
Bu darsda korrelyatsiyani o'rganamiz.
Bu darsda:
- Korrelyatsiya koeffitsiyenti (r)
- Musbat, manfiy, kuch
- Pearson va Spearman
- Korrelyatsiya matritsasi
- Korrelyatsiya chegaralari
- Korrelyatsiya amaliyoti
- Korrelyatsiya tuzoqlari
- Amaliy: korrelyatsiya modeli
ℹ Misollar real numpy/pandas/scipy bilan (deterministik) ishlaydi.
2. Nazariya — chuqur tushuntirish
2.1. Korrelyatsiya koeffitsiyenti (r)
Bog'lanish soni (-1 dan +1):
import numpy as np
reklama = np.array([10, 20, 30, 40, 50])
savdo = np.array([100, 210, 290, 420, 480])
# corrcoef — korrelyatsiya matritsasi
r = np.corrcoef(reklama, savdo)[0, 1] # ~0.99 (kuchli musbat)
# r: -1 dan +1 gacha
# +1 mukammal musbat | 0 bog'lanish yo'q | -1 mukammal manfiy Korrelyatsiya koeffitsiyenti (r) — bog'lanish soni: np.corrcoef(x, y)[0, 1] (-1 dan +1 gacha). Sabab: ikki o'zgaruvchan bog'lanishini bir son bilan (qancha va qay yo'nalishda birga o'zgaradi); r: +1 (mukammal musbat — biri oshsa ikkinchisi ham, aniq chiziq), 0 (bog'lanish yo'q — tasodifiy), -1 (mukammal manfiy — biri oshsa ikkinchisi kamayadi). corrcoef matritsa qaytaradi ([0,1] — x va y korrelyatsiyasi). r standartlashtirilgan (birliksiz — -1..+1; turli o'lchov solishtirsa bo'ladi). Korrelyatsiya koeffitsiyenti — r (-1..+1; corrcoef). Bog'lanish. Standartlashtirilgan.
2.2. Musbat, manfiy, kuch
Musbat, manfiy, kuch — r ma'nosi: belgi (yo'nalish) — musbat (r > 0 — biri oshsa ikkinchisi ham; bo'y/vazn, reklama/savdo), manfiy (r < 0 — biri oshsa ikkinchisi kamayadi; yosh/sport, narx/talab); kuch (|r| kattaligi) — kuchli (|r| yaqin 1: 0.7-1.0), o'rta (0.3-0.7), kuchsiz (0-0.3, yaqin 0 — deyarli yo'q). Sabab: r ikki ma'lumot beradi (belgi — yo'nalish; kattalik — kuch); r=0.85 (kuchli musbat), r=-0.6 (o'rta manfiy), r=0.05 (deyarli yo'q). Belgi (musbat/manfiy — yo'nalish), |r| (kuch — bog'lanish qancha aniq). Musbat/manfiy/kuch — belgi (yo'nalish) + |r| (kuch). Yo'nalish. Kuch.
2.3. Pearson va Spearman
Ikki turi:
from scipy import stats
import numpy as np
x = np.array([1, 2, 3, 4, 5])
y = np.array([1, 4, 9, 16, 25]) # nochiziqli (kvadrat)
# PEARSON — chiziqli bog'lanish
stats.pearsonr(x, y).statistic # ~0.98 (chiziqliga yaqin)
# SPEARMAN — tartib (nochiziqli ham)
stats.spearmanr(x, y).statistic # 1.0 (mukammal — tartib bir xil) Pearson va Spearman — ikki tur: Pearson (pearsonr — chiziqli bog'lanish; to'g'ri chiziq — eng ko'p), Spearman (spearmanr — tartib bog'lanish; nochiziqli ham — qiymatlar o'rniga o'rin/rank). Sabab: Pearson chiziqli (to'g'ri chiziq — bo'y/vazn); lekin nochiziqli (kvadrat, log — egri) Pearson kam ko'rsatadi (chiziqli emas); Spearman (tartib — o'sib borsa, egri ham; monoton). x, x kvadrat — Pearson ~0.98 (taxminan), Spearman 1.0 (tartib mukammal). Pearson (chiziqli), Spearman (tartib/monoton). Pearson/Spearman — chiziqli vs tartib. Nochiziqli. Tur.
2.4. Korrelyatsiya matritsasi
Barcha juftliklar:
import pandas as pd
df = pd.DataFrame({
"reklama": [10, 20, 30, 40],
"savdo": [100, 210, 290, 420],
"yosh": [45, 30, 25, 20],
})
# corr — barcha ustunlar juftligi korrelyatsiyasi
df.corr()
# reklama savdo yosh
# reklama 1.00 0.99 -0.98
# savdo 0.99 1.00 -0.97
# yosh -0.98 -0.97 1.00 Korrelyatsiya matritsasi — barcha juftliklar: df.corr() (barcha son ustunlar juftligi korrelyatsiyasi — matritsa). Sabab: ko'p o'zgaruvchan bo'lsa barcha juftlik korrelyatsiyasi kerak (qaysi bog'liq — bir marta); df.corr() matritsa (har ustun har ustun bilan). Diagonal 1 (o'zi bilan — 1.0); simmetrik (reklama-savdo = savdo-reklama). Heatmap (5-qism — rangli matritsa, tez ko'rish). Xususiyat tanlash (maqsadga eng bog'liq — ML). Korrelyatsiya matritsasi — df.corr() (barcha juftlik). Matritsa. Heatmap.
2.5. Korrelyatsiya chegaralari
Korrelyatsiya chegaralari — nima ko'rsatmaydi: (1) sababiyat emas (korrelyatsiya ≠ sabab — muzqaymoq/cho'kish 0.9, lekin biri boshqasini keltirib chiqarmaydi; yoz — 4.10; eng muhim); (2) faqat chiziqli (Pearson — chiziqli; nochiziqli (egri) kam ko'rsatadi — r=0 lekin bog'liq bo'lishi mumkin; grafik ko'r); (3) outlier sezgir (bir chet qiymat r'ni buzadi — soxta korrelyatsiya yoki yashiradi); (4) grafik kerak (r raqam — shakl ko'rsatmaydi; Anscombe — bir xil r, turli shakl 4.5; scatter chiz). Sabab: r cheklangan (faqat chiziqli bog'lanish kuchi — sabab, shakl, nochiziqli ko'rsatmaydi); grafik (scatter — 5-qism) bilan birga. Chegaralar — sababiyat emas, chiziqli, outlier, grafik. Cheklangan. Grafik.
2.6. Korrelyatsiya amaliyoti
Korrelyatsiya amaliyoti: corrcoef/corr (r — bog'lanish); belgi + kuch (musbat/manfiy, |r|); Pearson (chiziqli), Spearman (tartib/nochiziqli); matritsa (df.corr() — barcha juftlik, heatmap); scatter (grafik — shakl, 5-qism); xususiyat tanlash (maqsadga bog'liq — ML); sababiyat emas (4.10 — eng muhim). Tuzoqlar: sababiyat deb (korrelyatsiya ≠ sabab), chiziqli faraz (nochiziqli — Spearman/grafik), outlier (r buziladi), grafiksiz (Anscombe — scatter). Amaliyot — corr, belgi/kuch, Pearson/Spearman, matritsa. Bog'lanish. Grafik.
2.7. Korrelyatsiya tuzoqlari
Korrelyatsiya asosiy tuzoqlari: korrelyatsiya = sababiyat deb (r yuqori → biri boshqasini keltirib chiqaradi deb XATO; muzqaymoq/cho'kish 0.9 — yoz sabab, muzqaymoq emas; eng muhim tuzoq — 4.10); chiziqli faraz (Pearson faqat chiziqli — nochiziqli (U shakli, kvadrat) r=0 lekin kuchli bog'liq; Spearman/grafik); outlier (bir chet qiymat r'ni buzadi — soxta yuqori yoki yashirish; grafik/outlier tekshir); grafiksiz (r raqam — shakl yashiradi; Anscombe — bir xil r, turli shakl 4.5; scatter chiz); soxta korrelyatsiya (uchinchi omil — ikkalasini keltirib chiqaradi; muzqaymoq-cho'kish: yoz; kam namuna — tasodifiy r); kam namuna (kam nuqta — tasodifiy yuqori r; katta namuna); kategoriya (matn — korrelyatsiya son uchun; kodlash yoki boshqa usul). Sabab: korrelyatsiya sabab/chiziqli/shakl nozik (sababiyat, nochiziqli, outlier — jim xato). Yechim: sababiyat emas 4.10-bob, Spearman/grafik, outlier tekshir, scatter. Tuzoqlar — sababiyat, chiziqli faraz, outlier, grafiksiz.
2.8. Korrelyatsiya — bog'lanishni o'lchash
Korrelyatsiya asosiy g'oyasi — bog'lanishni o'lchash: ikki o'zgaruvchan qancha va qay yo'nalishda birga o'zgaradi (bir son — r, -1..+1). r (koeffitsiyent — belgi yo'nalish: musbat/manfiy; |r| kuch: 0-1), Pearson (chiziqli), Spearman (tartib/nochiziqli), matritsa (df.corr() — barcha juftlik, heatmap). Foydalanish: bog'lanish topish (qaysi omillar bog'liq), xususiyat tanlash (ML — maqsadga bog'liq omil), tushunish (aloqalar). Chegaralar: sababiyat emas (eng muhim — 4.10; korrelyatsiya ≠ sabab), faqat chiziqli (Pearson — grafik ko'r), outlier sezgir, grafik kerak (Anscombe). Data Science'da keng (EDA — bog'lanish; xususiyat — ML; heatmap — vizualizatsiya). Bu 4.5 (shakl) davomi va 4.10 (sababiyat — muhim), 5-qism (heatmap), 20-qism (ML xususiyat) bilan. Korrelyatsiya — bog'lanishni o'lchash (r, Pearson/Spearman). Kuch/yo'nalish. Sababiyat emas.
3. Tez ma'lumotnoma
import numpy as np
import pandas as pd
from scipy import stats
# KORRELYATSIYA (r: -1 dan +1):
np.corrcoef(x, y)[0, 1]
# +1 mukammal musbat | 0 yo'q | -1 mukammal manfiy
# BELGI + KUCH:
# musbat (+) / manfiy (-) — yo'nalish
# |r|: 0.7-1 kuchli · 0.3-0.7 o'rta · 0-0.3 kuchsiz
# PEARSON (chiziqli) va SPEARMAN (tartib/nochiziqli):
stats.pearsonr(x, y).statistic # chiziqli
stats.spearmanr(x, y).statistic # tartib (nochiziqli ham)
# MATRITSA (barcha juftlik):
df.corr() # heatmap (5-qism)
# CHEGARALAR:
# sababiyat EMAS 4.10-bob · faqat chiziqli · outlier sezgir
# grafik kerak (Anscombe — scatter)
QOIDA: korrelyatsiya ≠ sababiyat · scatter chiz · Spearman (nochiziqli) · outlierKorrelyatsiya xulosasi
Korrelyatsiya — bog'lanishni o'lchash (r: -1..+1)
Belgi — musbat (+) / manfiy (-) yo'nalish
Kuch — |r| (0.7-1 kuchli, 0-0.3 kuchsiz)
Pearson (chiziqli) · Spearman (tartib/nochiziqli)
Chegara — sababiyat EMAS (4.10), chiziqli, grafik kerak4. Batafsil misollar
Misollar real numpy/pandas/scipy bilan (deterministik) ishlaydi.
Misol 1 — Korrelyatsiya koeffitsiyenti
"""Korrelyatsiya koeffitsiyenti (real numpy)."""
import numpy as np
def main() -> None:
print("=== 1. Musbat korrelyatsiya ===")
reklama = np.array([10, 20, 30, 40, 50])
savdo = np.array([100, 210, 290, 420, 480])
r = np.corrcoef(reklama, savdo)[0, 1]
print(f" reklama-savdo: {round(r, 2)} (kuchli musbat)")
print("\n=== 2. Manfiy korrelyatsiya ===")
yosh = np.array([20, 30, 40, 50, 60])
sport = np.array([10, 8, 6, 4, 2])
r2 = np.corrcoef(yosh, sport)[0, 1]
print(f" yosh-sport: {round(r2, 2)} (manfiy)")
print("\n=== 3. Bog'lanish yo'q (~0) ===")
np.random.seed(0)
a = np.random.rand(100)
b = np.random.rand(100)
print(f" tasodifiy: {round(np.corrcoef(a, b)[0, 1], 2)} (~0)")
print("\n=== 4. Diapazon ===")
print(" r: -1 (manfiy) dan +1 (musbat) gacha")
print(" ⭐ Korrelyatsiya — bog'lanish (r: -1..+1)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Musbat korrelyatsiya ===
reklama-savdo: 1.0 (kuchli musbat)
=== 2. Manfiy korrelyatsiya ===
yosh-sport: -1.0 (manfiy)
=== 3. Bog'lanish yo'q (~0) ===
tasodifiy: -0.07 (~0)
=== 4. Diapazon ===
r: -1 (manfiy) dan +1 (musbat) gacha
⭐ Korrelyatsiya — bog'lanish (r: -1..+1)Nima ko'rsatdi: 2.1, 2.2-bo'limlar.
Misol 2 — Kuch va yo'nalish
"""Kuch va yo'nalish (real numpy)."""
import numpy as np
def main() -> None:
np.random.seed(0)
x = np.arange(100)
print("=== 1. Kuchli musbat ===")
y1 = x + np.random.normal(0, 5, 100)
print(f" |r|: {round(np.corrcoef(x, y1)[0, 1], 2)} (kuchli)")
print("\n=== 2. O'rta ===")
y2 = x + np.random.normal(0, 40, 100)
print(f" |r|: {round(np.corrcoef(x, y2)[0, 1], 2)} (o'rta)")
print("\n=== 3. Kuchsiz ===")
y3 = np.random.normal(0, 30, 100)
print(f" |r|: {round(abs(np.corrcoef(x, y3)[0, 1]), 2)} (kuchsiz)")
print("\n=== 4. Xulosa ===")
print(" |r| yaqin 1 — kuchli, yaqin 0 — kuchsiz")
print(" ⭐ Kuch (|r|) + yo'nalish (belgi)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Kuchli musbat ===
|r|: 0.98 (kuchli)
=== 2. O'rta ===
|r|: 0.48 (o'rta)
=== 3. Kuchsiz ===
|r|: 0.09 (kuchsiz)
=== 4. Xulosa ===
|r| yaqin 1 — kuchli, yaqin 0 — kuchsiz
⭐ Kuch (|r|) + yo'nalish (belgi)Nima ko'rsatdi: 2.2-bo'lim.
Misol 3 — Pearson va Spearman
"""Pearson va Spearman (real scipy)."""
import numpy as np
from scipy import stats
def main() -> None:
x = np.array([1, 2, 3, 4, 5, 6])
print("=== 1. Chiziqli (ikkalasi yuqori) ===")
y_chiziq = np.array([2, 4, 6, 8, 10, 12])
print(f" Pearson: {round(stats.pearsonr(x, y_chiziq).statistic, 2)}")
print(f" Spearman: {round(stats.spearmanr(x, y_chiziq).statistic, 2)}")
print("\n=== 2. Nochiziqli (kvadrat) ===")
y_kvadrat = x ** 2
print(f" Pearson: {round(stats.pearsonr(x, y_kvadrat).statistic, 2)} (chiziqli emas)")
print(f" Spearman: {round(stats.spearmanr(x, y_kvadrat).statistic, 2)} (tartib mukammal)")
print("\n=== 3. Farq ===")
print(" Pearson — chiziqli, Spearman — tartib (monoton)")
print("\n=== 4. Qachon qaysi ===")
print(" chiziqli — Pearson · nochiziqli/tartib — Spearman")
print(" ⭐ Pearson (chiziqli), Spearman (tartib)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Chiziqli (ikkalasi yuqori) ===
Pearson: 1.0
Spearman: 1.0
=== 2. Nochiziqli (kvadrat) ===
Pearson: 0.98 (chiziqli emas)
Spearman: 1.0 (tartib mukammal)
=== 3. Farq ===
Pearson — chiziqli, Spearman — tartib (monoton)
=== 4. Qachon qaysi ===
chiziqli — Pearson · nochiziqli/tartib — Spearman
⭐ Pearson (chiziqli), Spearman (tartib)Nima ko'rsatdi: 2.3-bo'lim.
Misol 4 — Korrelyatsiya matritsasi
"""Korrelyatsiya matritsasi (real pandas)."""
import pandas as pd
def main() -> None:
df = pd.DataFrame({
"reklama": [10, 20, 30, 40, 50],
"savdo": [100, 210, 290, 420, 480],
"yosh": [50, 40, 35, 25, 20],
})
print("=== 1. Korrelyatsiya matritsasi ===")
corr = df.corr().round(2)
print(f" reklama-savdo: {corr.loc['reklama', 'savdo']}")
print("\n=== 2. Diagonal 1 ===")
print(f" reklama-reklama: {corr.loc['reklama', 'reklama']}")
print("\n=== 3. Manfiy (yosh) ===")
print(f" reklama-yosh: {corr.loc['reklama', 'yosh']}")
print("\n=== 4. Simmetrik ===")
print(f" savdo-reklama = reklama-savdo: {corr.loc['savdo','reklama'] == corr.loc['reklama','savdo']}")
print(" ⭐ Matritsa — barcha juftlik (heatmap)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Korrelyatsiya matritsasi ===
reklama-savdo: 1.0
=== 2. Diagonal 1 ===
reklama-reklama: 1.0
=== 3. Manfiy (yosh) ===
reklama-yosh: -0.99
=== 4. Simmetrik ===
savdo-reklama = reklama-savdo: True
⭐ Matritsa — barcha juftlik (heatmap)Nima ko'rsatdi: 2.4-bo'lim.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "korrelyatsiya = sababiyat" | Yo'q! (4.10) |
| "r=0 — bog'lanish yo'q" | Chiziqli yo'q (nochiziqli bo'lishi mumkin) |
| "Pearson har doim" | Nochiziqli — Spearman |
| "r raqam yetarli" | Grafik ham (Anscombe) |
| "outlier ta'sir qilmaydi" | r ni buzadi |
| "yuqori r doim muhim" | Soxta (uchinchi omil) |
| "r yo'nalishni ko'rsatmaydi" | Belgi (musbat/manfiy) |
| "korrelyatsiya kategoriya" | Son uchun |
6. Keng tarqalgan xatolar va yechimlari
1. Sababiyat deb
# r=0.9 → biri sabab deb # ⚠️
# korrelyatsiya ≠ sababiyat 4.10-bob # ✅2. Chiziqli faraz
np.corrcoef(x, y) # nochiziqli — r past (lekin bog'liq) # ⚠️
stats.spearmanr(x, y) # tartib (nochiziqli) # ✅3. Outlier
np.corrcoef(x, y) # bir outlier buzadi # ⚠️
# outlier tekshir (scatter) # ✅4. Grafiksiz
r = np.corrcoef(x, y) # shakl yashirin (Anscombe) # ⚠️
# scatter chiz (shakl ko'r — 5-qism) # ✅5. Soxta korrelyatsiya
# muzqaymoq-cho'kish 0.9 (yoz — uchinchi omil) # ⚠️
# uchinchi omil tekshir # ✅6. Kam namuna
np.corrcoef([1,2], [3,4]) # 2 nuqta (tasodifiy 1.0) # ⚠️
# katta namuna (ishonchli r) # ✅7. Kategoriya
df.corr() # matn ustunlar tashlanadi # ⚠️
# son ustunlar (kategoriya — boshqa usul) # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 4.5-dars (o'tilgan): Taqsimot (shakl — Anscombe)
- 4.10-dars: Korrelyatsiya vs sababiyat
- 5-qism: Vizualizatsiya (heatmap, scatter)
- 9-qism (reja): EDA (bivariate)
- 20-qism: ML (xususiyat tanlash)
8. Eng yaxshi amaliyotlar
r — belgi (yo'nalish) + |r| (kuch).
Pearson (chiziqli), Spearman (tartib).
df.corr()— matritsa (heatmap).Scatter chiz (shakl — Anscombe).
Korrelyatsiya ≠ sababiyat 4.10-bob.
Outlier tekshir (r buzadi).
Katta namuna (ishonchli r).
Korrelyatsiya — bog'lanishni o'lchash.
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # korrelyatsiya nima?
2. # r diapazoni?
3. # +1 nima?
4. # -1 nima?
5. # 0 nima?
6. # belgi nima ko'rsatadi?
7. # |r| nima ko'rsatadi?
8. # Pearson nima?
9. # Spearman nima?
10. # matritsa nima?
11. # korrelyatsiya = sababiyat?
12. # nega grafik kerak?Javoblar
- Ikki o'zgaruvchan bog'lanishi
- -1 dan +1
- Mukammal musbat
- Mukammal manfiy
- Bog'lanish yo'q (chiziqli)
- Yo'nalish (musbat/manfiy)
- Kuch (0-1)
- Chiziqli bog'lanish
- Tartib (nochiziqli ham)
- Barcha juftlik korrelyatsiyasi
- Yo'q! (4.10)
- Shakl (Anscombe — r yashiradi)
Vazifa 2: Xatolarni tuzating
1. # r=0.9 → sabab
2. np.corrcoef(x, y) # nochiziqli
3. np.corrcoef(x, y) # outlier bor
4. r = corrcoef(x, y) # grafiksiz
5. # muzqaymoq-cho'kish sababJavoblar
1. korrelyatsiya ≠ sababiyat
2. stats.spearmanr(x, y)
3. outlier tekshir (scatter)
4. scatter chiz (shakl)
5. uchinchi omil (yoz)Vazifa 3: r
Modellang:
- -1..+1
- Musbat
- Manfiy
- 0
Vazifa 4: Kuch/yo'nalish
Modellang:
- Belgi
- |r|
- Kuchli
- Kuchsiz
Vazifa 5: Pearson/Spearman
Modellang:
- Pearson (chiziqli)
- Spearman (tartib)
- Nochiziqli
- Qachon qaysi
Vazifa 6: Chegaralar
Modellang:
- Sababiyat emas
- Chiziqli
- Outlier
- Grafik
Vazifa 7: O'ylash
Korrelyatsiya ikki o'zgaruvchan bog'lanishini bir son (r) bilan o'lchaydi, lekin bu son taqsimotning shaklini yashirishi mumkin (Anscombe kvarteti: bir xil r, butunlay boshqa shakl). Nima uchun korrelyatsiya raqamiga yolg'iz ishonish xavfli, va nega scatter plot (nuqtali grafik) korrelyatsiya bilan birga zarur?
Javob
Qisqa javob: Korrelyatsiya raqami (r) shaklni yashirishi mumkin, r'ga yolg'iz ishonish xavfli, scatter plot zarur, chunki: (1) r — bir son, siqiq — r butun bog'lanishni bir songa siqadi (ko'p ma'lumot yo'qoladi — shakl); bir xil r turli shakl bo'lishi mumkin (Anscombe — 4 to'plam, bir xil r0.82, butunlay boshqa shakl: chiziqli, egri, outlier bilan, vertikal); (2) r faqat chiziqli — Pearson chiziqli bog'lanish; nochiziqli (U shakli, kvadrat) — r past (r0) lekin kuchli bog'liq (grafik — aniq egri; r — yashiradi); (3) outlier r'ni buzadi — bir chet qiymat r'ni oshiradi/pasaytiradi (soxta yuqori r yoki yashirish; scatter — outlier ko'rinadi); "Nega scatter zarur": (a) shakl ko'rinadi — scatter (nuqtalar — x vs y) shaklni ko'rsatadi (chiziqli? egri? outlier? guruh?; r yashiradi); (b) Anscombe darsi — bir xil r, turli shakl (grafik — farq aniq; raqamga ishonma); (c) nochiziqli — scatter egri bog'lanishni ko'rsatadi (r=0 lekin U shakli — scatter aniq); (d) outlier — scatter chetdagi nuqtani ko'rsatadi (r'ni buzgan — tekshir); (e) guruh — scatter alohida guruhlarni (bimodal, klaster). Saboqlar: r siqiq (shakl yo'qoladi — Anscombe); r chiziqli (nochiziqli yashiradi); outlier buzadi (scatter ko'rsatadi); scatter zarur (shakl — r bilan birga). To'g'ri: r + scatter (raqam + shakl); nochiziqli — Spearman/scatter; outlier tekshir. Muvozanat: r (siqiq — umumiy kuch) + scatter (shakl — to'liq) — ikkalasi; r yolg'iz aldaydi (Anscombe). Bu 4.5 (Anscombe — shakl) davomi (korrelyatsiyada ham); "ma'lumotni ko'r" (scatter — shakl; raqam yashiradi). Data Science asosiy dars (grafik chiz — korrelyatsiya + scatter; raqamga ko'r-ko'rona ishonma). Scatter — korrelyatsiyaning haqiqiy hikoyasi (shakl; r — bir son).
1. Nega r'ga yolg'iz ishonish xavfli
- r bir son, siqiq (shakl yo'qoladi — Anscombe)
- r faqat chiziqli (nochiziqli yashiradi)
- Outlier r'ni buzadi (soxta yuqori/yashirish)
2. Nega scatter zarur
- Shakl ko'rinadi (chiziqli/egri/outlier)
- Anscombe (bir xil r, turli shakl)
- Nochiziqli (r=0 lekin egri — scatter)
- Outlier/guruh (scatter ko'rsatadi)
3. Anscombe (korrelyatsiya)
- 4 to'plam — bir xil r (~0.82)
- Butunlay boshqa shakl (chiziqli, egri, outlier)
- Grafik — farq aniq (raqam yashiradi)
4. r vs scatter
| r (raqam) | Scatter (grafik) |
|---|---|
| Siqiq (bir son) | To'liq (shakl) |
| Yashiradi | Ochadi (egri, outlier) |
5. Saboqlar
- r siqiq (shakl yo'qoladi)
- r chiziqli (nochiziqli yashiradi)
- Outlier buzadi (scatter ko'rsatadi)
- Scatter zarur (r bilan birga)
6. Xulosa
- r'ga yolg'iz ishonish xavfli (shakl yashirin)
- Scatter zarur (shakl — Anscombe)
- Nochiziqli/outlier (scatter ochadi)
- r + scatter (raqam + shakl)
Nimani mustahkamlaydi: 2.5, 2.7-bo'limlar.
Xulosa
Bu darsda korrelyatsiyani o'rgandik.
Eng muhim uch fikr:
Koeffitsiyent va kuch. Korrelyatsiya koeffitsiyenti (r) — bog'lanish soni -1 dan +1 (
np.corrcoef(x, y)[0, 1]); +1 (mukammal musbat), 0 (bog'lanish yo'q), -1 (mukammal manfiy). Belgi + kuch — belgi (yo'nalish: musbat biri oshsa ikkinchisi ham; manfiy kamayadi), |r| (kuch: 0.7-1 kuchli, 0.3-0.7 o'rta, 0-0.3 kuchsiz).Pearson, Spearman, matritsa. Pearson (
pearsonr— chiziqli bog'lanish — eng ko'p), Spearman (spearmanr— tartib/monoton — nochiziqli ham; qiymat o'rniga rank). Korrelyatsiya matritsasi (df.corr()— barcha son ustunlar juftligi; diagonal 1, simmetrik; heatmap — 5-qism; xususiyat tanlash).Bog'lanish o'lchash. Chegaralar — sababiyat emas (eng muhim — 4.10; muzqaymoq/cho'kish 0.9, yoz sabab), faqat chiziqli (nochiziqli — r past lekin bog'liq; Spearman/grafik), outlier sezgir, grafik kerak (Anscombe — bir xil r turli shakl; scatter chiz). Korrelyatsiya — bog'lanishni o'lchash (kuch/yo'nalish — r; bog'lanish topish, xususiyat tanlash, tushunish). Data Science'da keng (EDA, ML xususiyat, heatmap). Tuzoqlar: sababiyat deb 4.10-bob, chiziqli faraz (Spearman), outlier (scatter), grafiksiz (Anscombe).
Keyingi darsda korrelyatsiya vs sababiyatni o'rganamiz: nega bog'lanish sabab emas — soxta korrelyatsiya, uchinchi omil, Data Science'ning eng muhim ogohlantirishi.
Izohlar · 0
Izoh yozish uchun kiring.