Data Science va sun'iy intellekt4.9-dars: Korrelyatsiya
Data Science va sun'iy intellekt · Statistika

4.9-dars: Korrelyatsiya

17 daqiqa9/14-dars

4-QISM — STATISTIKA · 9-dars


1. Kirish va motivatsiya

Ko'pincha ikki narsa bir-biri bilan bog'liq: bo'y va vazn (baland — og'irroq), reklama va savdo (ko'p reklama — ko'p savdo), yosh va daromad. Bu bog'lanishni o'lchash — korrelyatsiya. Korrelyatsiya ikki o'zgaruvchan qanchalik va qay yo'nalishda birga o'zgarishini bir son bilan ko'rsatadi: -1 dan +1 gacha. +1 — mukammal musbat (biri oshsa, ikkinchisi ham), -1 — mukammal manfiy (biri oshsa, ikkinchisi kamayadi), 0 — bog'lanish yo'q. Bu Data Science'da xususiyatlar orasidagi aloqani topish, muhim omillarni aniqlash uchun asosiy vosita. Nega muhim? (1) Bog'lanish topish — qaysi omillar bog'liq; (2) Xususiyat tanlash — ML uchun muhim omillar; (3) Tushunish — ma'lumot ichidagi aloqalar. LEKIN eng muhim ogohlantirish: korrelyatsiya sababiyat emas (keyingi dars). Bu dars korrelyatsiyani o'rgatadi — bog'lanishni o'lchash.

Korrelyatsiya — ikki o'zgaruvchan bog'lanishi: korrelyatsiya koeffitsiyenti (r — -1 dan +1 gacha), musbat (+; biri oshsa ikkinchisi ham — bo'y/vazn), manfiy (-; biri oshsa ikkinchisi kamayadi), kuch (|r| yaqin 1 — kuchli, yaqin 0 — kuchsiz), Pearson (chiziqli bog'lanish), Spearman (tartib/nochiziqli), np.corrcoef / df.corr(). Foydalanish: bog'lanish topish, xususiyat tanlash, tushunish. Bu 4.10 (sababiyat), 5-qism (heatmap) bilan bog'liq. Korrelyatsiya — -1..+1. Musbat/manfiy. Kuch.

Real vaziyat. Data Scientist do'kon ma'lumotini tahlil qildi. Savol: reklama savdoga ta'sir qiladi-mi? np.corrcoef(reklama, savdo) = 0.85 (kuchli musbat — reklama ko'p → savdo ko'p). Yosh va sport = -0.6 (manfiy — yosh oshsa sport kamayadi). Bo'y va IQ = 0.02 (~0 — bog'lanish yo'q). DataFrame korrelyatsiya matritsasi (df.corr() — barcha ustunlar juftligi; heatmap — 5-qism). Muhim omillar (savdoga eng bog'liq — reklama 0.85). LEKIN: muzqaymoq va cho'kish korrelyatsiya (0.9!) — sababiyat emas (yoz — 4.10). Korrelyatsiya bog'lanishni o'lchadi (kuch, yo'nalish). Korrelyatsiya — bog'lanish vositasi (xususiyat, tahlil).

Bu darsda korrelyatsiyani o'rganamiz.

Bu darsda:

  • Korrelyatsiya koeffitsiyenti (r)
  • Musbat, manfiy, kuch
  • Pearson va Spearman
  • Korrelyatsiya matritsasi
  • Korrelyatsiya chegaralari
  • Korrelyatsiya amaliyoti
  • Korrelyatsiya tuzoqlari
  • Amaliy: korrelyatsiya modeli

ℹ Misollar real numpy/pandas/scipy bilan (deterministik) ishlaydi.


2. Nazariya — chuqur tushuntirish

2.1. Korrelyatsiya koeffitsiyenti (r)

Bog'lanish soni (-1 dan +1):

python
import numpy as np

reklama = np.array([10, 20, 30, 40, 50])
savdo = np.array([100, 210, 290, 420, 480])

# corrcoef — korrelyatsiya matritsasi
r = np.corrcoef(reklama, savdo)[0, 1]   # ~0.99 (kuchli musbat)

# r: -1 dan +1 gacha
#   +1 mukammal musbat | 0 bog'lanish yo'q | -1 mukammal manfiy

Korrelyatsiya koeffitsiyenti (r) — bog'lanish soni: np.corrcoef(x, y)[0, 1] (-1 dan +1 gacha). Sabab: ikki o'zgaruvchan bog'lanishini bir son bilan (qancha va qay yo'nalishda birga o'zgaradi); r: +1 (mukammal musbat — biri oshsa ikkinchisi ham, aniq chiziq), 0 (bog'lanish yo'q — tasodifiy), -1 (mukammal manfiy — biri oshsa ikkinchisi kamayadi). corrcoef matritsa qaytaradi ([0,1] — x va y korrelyatsiyasi). r standartlashtirilgan (birliksiz — -1..+1; turli o'lchov solishtirsa bo'ladi). Korrelyatsiya koeffitsiyenti — r (-1..+1; corrcoef). Bog'lanish. Standartlashtirilgan.

2.2. Musbat, manfiy, kuch

Musbat, manfiy, kuch — r ma'nosi: belgi (yo'nalish) — musbat (r > 0 — biri oshsa ikkinchisi ham; bo'y/vazn, reklama/savdo), manfiy (r < 0 — biri oshsa ikkinchisi kamayadi; yosh/sport, narx/talab); kuch (|r| kattaligi) — kuchli (|r| yaqin 1: 0.7-1.0), o'rta (0.3-0.7), kuchsiz (0-0.3, yaqin 0 — deyarli yo'q). Sabab: r ikki ma'lumot beradi (belgi — yo'nalish; kattalik — kuch); r=0.85 (kuchli musbat), r=-0.6 (o'rta manfiy), r=0.05 (deyarli yo'q). Belgi (musbat/manfiy — yo'nalish), |r| (kuch — bog'lanish qancha aniq). Musbat/manfiy/kuch — belgi (yo'nalish) + |r| (kuch). Yo'nalish. Kuch.

2.3. Pearson va Spearman

Ikki turi:

python
from scipy import stats
import numpy as np

x = np.array([1, 2, 3, 4, 5])
y = np.array([1, 4, 9, 16, 25])   # nochiziqli (kvadrat)

# PEARSON — chiziqli bog'lanish
stats.pearsonr(x, y).statistic     # ~0.98 (chiziqliga yaqin)

# SPEARMAN — tartib (nochiziqli ham)
stats.spearmanr(x, y).statistic    # 1.0 (mukammal — tartib bir xil)

Pearson va Spearman — ikki tur: Pearson (pearsonr — chiziqli bog'lanish; to'g'ri chiziq — eng ko'p), Spearman (spearmanr — tartib bog'lanish; nochiziqli ham — qiymatlar o'rniga o'rin/rank). Sabab: Pearson chiziqli (to'g'ri chiziq — bo'y/vazn); lekin nochiziqli (kvadrat, log — egri) Pearson kam ko'rsatadi (chiziqli emas); Spearman (tartib — o'sib borsa, egri ham; monoton). x, x kvadrat — Pearson ~0.98 (taxminan), Spearman 1.0 (tartib mukammal). Pearson (chiziqli), Spearman (tartib/monoton). Pearson/Spearman — chiziqli vs tartib. Nochiziqli. Tur.

2.4. Korrelyatsiya matritsasi

Barcha juftliklar:

python
import pandas as pd

df = pd.DataFrame({
    "reklama": [10, 20, 30, 40],
    "savdo": [100, 210, 290, 420],
    "yosh": [45, 30, 25, 20],
})

# corr — barcha ustunlar juftligi korrelyatsiyasi
df.corr()
#          reklama  savdo   yosh
# reklama    1.00   0.99  -0.98
# savdo      0.99   1.00  -0.97
# yosh      -0.98  -0.97   1.00

Korrelyatsiya matritsasi — barcha juftliklar: df.corr() (barcha son ustunlar juftligi korrelyatsiyasi — matritsa). Sabab: ko'p o'zgaruvchan bo'lsa barcha juftlik korrelyatsiyasi kerak (qaysi bog'liq — bir marta); df.corr() matritsa (har ustun har ustun bilan). Diagonal 1 (o'zi bilan — 1.0); simmetrik (reklama-savdo = savdo-reklama). Heatmap (5-qism — rangli matritsa, tez ko'rish). Xususiyat tanlash (maqsadga eng bog'liq — ML). Korrelyatsiya matritsasi — df.corr() (barcha juftlik). Matritsa. Heatmap.

2.5. Korrelyatsiya chegaralari

Korrelyatsiya chegaralari — nima ko'rsatmaydi: (1) sababiyat emas (korrelyatsiya ≠ sabab — muzqaymoq/cho'kish 0.9, lekin biri boshqasini keltirib chiqarmaydi; yoz — 4.10; eng muhim); (2) faqat chiziqli (Pearson — chiziqli; nochiziqli (egri) kam ko'rsatadi — r=0 lekin bog'liq bo'lishi mumkin; grafik ko'r); (3) outlier sezgir (bir chet qiymat r'ni buzadi — soxta korrelyatsiya yoki yashiradi); (4) grafik kerak (r raqam — shakl ko'rsatmaydi; Anscombe — bir xil r, turli shakl 4.5; scatter chiz). Sabab: r cheklangan (faqat chiziqli bog'lanish kuchi — sabab, shakl, nochiziqli ko'rsatmaydi); grafik (scatter — 5-qism) bilan birga. Chegaralar — sababiyat emas, chiziqli, outlier, grafik. Cheklangan. Grafik.

2.6. Korrelyatsiya amaliyoti

Korrelyatsiya amaliyoti: corrcoef/corr (r — bog'lanish); belgi + kuch (musbat/manfiy, |r|); Pearson (chiziqli), Spearman (tartib/nochiziqli); matritsa (df.corr() — barcha juftlik, heatmap); scatter (grafik — shakl, 5-qism); xususiyat tanlash (maqsadga bog'liq — ML); sababiyat emas (4.10 — eng muhim). Tuzoqlar: sababiyat deb (korrelyatsiya ≠ sabab), chiziqli faraz (nochiziqli — Spearman/grafik), outlier (r buziladi), grafiksiz (Anscombe — scatter). Amaliyot — corr, belgi/kuch, Pearson/Spearman, matritsa. Bog'lanish. Grafik.

2.7. Korrelyatsiya tuzoqlari

Korrelyatsiya asosiy tuzoqlari: korrelyatsiya = sababiyat deb (r yuqori → biri boshqasini keltirib chiqaradi deb XATO; muzqaymoq/cho'kish 0.9 — yoz sabab, muzqaymoq emas; eng muhim tuzoq — 4.10); chiziqli faraz (Pearson faqat chiziqli — nochiziqli (U shakli, kvadrat) r=0 lekin kuchli bog'liq; Spearman/grafik); outlier (bir chet qiymat r'ni buzadi — soxta yuqori yoki yashirish; grafik/outlier tekshir); grafiksiz (r raqam — shakl yashiradi; Anscombe — bir xil r, turli shakl 4.5; scatter chiz); soxta korrelyatsiya (uchinchi omil — ikkalasini keltirib chiqaradi; muzqaymoq-cho'kish: yoz; kam namuna — tasodifiy r); kam namuna (kam nuqta — tasodifiy yuqori r; katta namuna); kategoriya (matn — korrelyatsiya son uchun; kodlash yoki boshqa usul). Sabab: korrelyatsiya sabab/chiziqli/shakl nozik (sababiyat, nochiziqli, outlier — jim xato). Yechim: sababiyat emas 4.10-bob, Spearman/grafik, outlier tekshir, scatter. Tuzoqlar — sababiyat, chiziqli faraz, outlier, grafiksiz.

2.8. Korrelyatsiya — bog'lanishni o'lchash

Korrelyatsiya asosiy g'oyasi — bog'lanishni o'lchash: ikki o'zgaruvchan qancha va qay yo'nalishda birga o'zgaradi (bir son — r, -1..+1). r (koeffitsiyent — belgi yo'nalish: musbat/manfiy; |r| kuch: 0-1), Pearson (chiziqli), Spearman (tartib/nochiziqli), matritsa (df.corr() — barcha juftlik, heatmap). Foydalanish: bog'lanish topish (qaysi omillar bog'liq), xususiyat tanlash (ML — maqsadga bog'liq omil), tushunish (aloqalar). Chegaralar: sababiyat emas (eng muhim — 4.10; korrelyatsiya ≠ sabab), faqat chiziqli (Pearson — grafik ko'r), outlier sezgir, grafik kerak (Anscombe). Data Science'da keng (EDA — bog'lanish; xususiyat — ML; heatmap — vizualizatsiya). Bu 4.5 (shakl) davomi va 4.10 (sababiyat — muhim), 5-qism (heatmap), 20-qism (ML xususiyat) bilan. Korrelyatsiya — bog'lanishni o'lchash (r, Pearson/Spearman). Kuch/yo'nalish. Sababiyat emas.


3. Tez ma'lumotnoma

python
import numpy as np
import pandas as pd
from scipy import stats

# KORRELYATSIYA (r: -1 dan +1):
np.corrcoef(x, y)[0, 1]
#   +1 mukammal musbat | 0 yo'q | -1 mukammal manfiy

# BELGI + KUCH:
#   musbat (+) / manfiy (-) — yo'nalish
#   |r|: 0.7-1 kuchli · 0.3-0.7 o'rta · 0-0.3 kuchsiz

# PEARSON (chiziqli) va SPEARMAN (tartib/nochiziqli):
stats.pearsonr(x, y).statistic     # chiziqli
stats.spearmanr(x, y).statistic    # tartib (nochiziqli ham)

# MATRITSA (barcha juftlik):
df.corr()   # heatmap (5-qism)

# CHEGARALAR:
#   sababiyat EMAS 4.10-bob · faqat chiziqli · outlier sezgir
#   grafik kerak (Anscombe — scatter)

QOIDA: korrelyatsiya ≠ sababiyat · scatter chiz · Spearman (nochiziqli) · outlier

Korrelyatsiya xulosasi

Korrelyatsiya — bog'lanishni o'lchash (r: -1..+1)
Belgi — musbat (+) / manfiy (-) yo'nalish
Kuch — |r| (0.7-1 kuchli, 0-0.3 kuchsiz)
Pearson (chiziqli) · Spearman (tartib/nochiziqli)
Chegara — sababiyat EMAS (4.10), chiziqli, grafik kerak

4. Batafsil misollar

Misollar real numpy/pandas/scipy bilan (deterministik) ishlaydi.

Misol 1 — Korrelyatsiya koeffitsiyenti

python
"""Korrelyatsiya koeffitsiyenti (real numpy)."""

import numpy as np


def main() -> None:
    print("=== 1. Musbat korrelyatsiya ===")
    reklama = np.array([10, 20, 30, 40, 50])
    savdo = np.array([100, 210, 290, 420, 480])
    r = np.corrcoef(reklama, savdo)[0, 1]
    print(f"  reklama-savdo: {round(r, 2)} (kuchli musbat)")

    print("\n=== 2. Manfiy korrelyatsiya ===")
    yosh = np.array([20, 30, 40, 50, 60])
    sport = np.array([10, 8, 6, 4, 2])
    r2 = np.corrcoef(yosh, sport)[0, 1]
    print(f"  yosh-sport: {round(r2, 2)} (manfiy)")

    print("\n=== 3. Bog'lanish yo'q (~0) ===")
    np.random.seed(0)
    a = np.random.rand(100)
    b = np.random.rand(100)
    print(f"  tasodifiy: {round(np.corrcoef(a, b)[0, 1], 2)} (~0)")

    print("\n=== 4. Diapazon ===")
    print("  r: -1 (manfiy) dan +1 (musbat) gacha")
    print("  ⭐ Korrelyatsiya — bog'lanish (r: -1..+1)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Musbat korrelyatsiya ===
  reklama-savdo: 1.0 (kuchli musbat)

=== 2. Manfiy korrelyatsiya ===
  yosh-sport: -1.0 (manfiy)

=== 3. Bog'lanish yo'q (~0) ===
  tasodifiy: -0.07 (~0)

=== 4. Diapazon ===
  r: -1 (manfiy) dan +1 (musbat) gacha
  ⭐ Korrelyatsiya — bog'lanish (r: -1..+1)

Nima ko'rsatdi: 2.1, 2.2-bo'limlar.

Misol 2 — Kuch va yo'nalish

python
"""Kuch va yo'nalish (real numpy)."""

import numpy as np


def main() -> None:
    np.random.seed(0)
    x = np.arange(100)

    print("=== 1. Kuchli musbat ===")
    y1 = x + np.random.normal(0, 5, 100)
    print(f"  |r|: {round(np.corrcoef(x, y1)[0, 1], 2)} (kuchli)")

    print("\n=== 2. O'rta ===")
    y2 = x + np.random.normal(0, 40, 100)
    print(f"  |r|: {round(np.corrcoef(x, y2)[0, 1], 2)} (o'rta)")

    print("\n=== 3. Kuchsiz ===")
    y3 = np.random.normal(0, 30, 100)
    print(f"  |r|: {round(abs(np.corrcoef(x, y3)[0, 1]), 2)} (kuchsiz)")

    print("\n=== 4. Xulosa ===")
    print("  |r| yaqin 1 — kuchli, yaqin 0 — kuchsiz")
    print("  ⭐ Kuch (|r|) + yo'nalish (belgi)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Kuchli musbat ===
  |r|: 0.98 (kuchli)

=== 2. O'rta ===
  |r|: 0.48 (o'rta)

=== 3. Kuchsiz ===
  |r|: 0.09 (kuchsiz)

=== 4. Xulosa ===
  |r| yaqin 1 — kuchli, yaqin 0 — kuchsiz
  ⭐ Kuch (|r|) + yo'nalish (belgi)

Nima ko'rsatdi: 2.2-bo'lim.

Misol 3 — Pearson va Spearman

python
"""Pearson va Spearman (real scipy)."""

import numpy as np
from scipy import stats


def main() -> None:
    x = np.array([1, 2, 3, 4, 5, 6])

    print("=== 1. Chiziqli (ikkalasi yuqori) ===")
    y_chiziq = np.array([2, 4, 6, 8, 10, 12])
    print(f"  Pearson: {round(stats.pearsonr(x, y_chiziq).statistic, 2)}")
    print(f"  Spearman: {round(stats.spearmanr(x, y_chiziq).statistic, 2)}")

    print("\n=== 2. Nochiziqli (kvadrat) ===")
    y_kvadrat = x ** 2
    print(f"  Pearson: {round(stats.pearsonr(x, y_kvadrat).statistic, 2)} (chiziqli emas)")
    print(f"  Spearman: {round(stats.spearmanr(x, y_kvadrat).statistic, 2)} (tartib mukammal)")

    print("\n=== 3. Farq ===")
    print("  Pearson — chiziqli, Spearman — tartib (monoton)")

    print("\n=== 4. Qachon qaysi ===")
    print("  chiziqli — Pearson · nochiziqli/tartib — Spearman")
    print("  ⭐ Pearson (chiziqli), Spearman (tartib)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Chiziqli (ikkalasi yuqori) ===
  Pearson: 1.0
  Spearman: 1.0

=== 2. Nochiziqli (kvadrat) ===
  Pearson: 0.98 (chiziqli emas)
  Spearman: 1.0 (tartib mukammal)

=== 3. Farq ===
  Pearson — chiziqli, Spearman — tartib (monoton)

=== 4. Qachon qaysi ===
  chiziqli — Pearson · nochiziqli/tartib — Spearman
  ⭐ Pearson (chiziqli), Spearman (tartib)

Nima ko'rsatdi: 2.3-bo'lim.

Misol 4 — Korrelyatsiya matritsasi

python
"""Korrelyatsiya matritsasi (real pandas)."""

import pandas as pd


def main() -> None:
    df = pd.DataFrame({
        "reklama": [10, 20, 30, 40, 50],
        "savdo": [100, 210, 290, 420, 480],
        "yosh": [50, 40, 35, 25, 20],
    })

    print("=== 1. Korrelyatsiya matritsasi ===")
    corr = df.corr().round(2)
    print(f"  reklama-savdo: {corr.loc['reklama', 'savdo']}")

    print("\n=== 2. Diagonal 1 ===")
    print(f"  reklama-reklama: {corr.loc['reklama', 'reklama']}")

    print("\n=== 3. Manfiy (yosh) ===")
    print(f"  reklama-yosh: {corr.loc['reklama', 'yosh']}")

    print("\n=== 4. Simmetrik ===")
    print(f"  savdo-reklama = reklama-savdo: {corr.loc['savdo','reklama'] == corr.loc['reklama','savdo']}")
    print("  ⭐ Matritsa — barcha juftlik (heatmap)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Korrelyatsiya matritsasi ===
  reklama-savdo: 1.0

=== 2. Diagonal 1 ===
  reklama-reklama: 1.0

=== 3. Manfiy (yosh) ===
  reklama-yosh: -0.99

=== 4. Simmetrik ===
  savdo-reklama = reklama-savdo: True
  ⭐ Matritsa — barcha juftlik (heatmap)

Nima ko'rsatdi: 2.4-bo'lim.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"korrelyatsiya = sababiyat" Yo'q! (4.10)
"r=0 — bog'lanish yo'q" Chiziqli yo'q (nochiziqli bo'lishi mumkin)
"Pearson har doim" Nochiziqli — Spearman
"r raqam yetarli" Grafik ham (Anscombe)
"outlier ta'sir qilmaydi" r ni buzadi
"yuqori r doim muhim" Soxta (uchinchi omil)
"r yo'nalishni ko'rsatmaydi" Belgi (musbat/manfiy)
"korrelyatsiya kategoriya" Son uchun

6. Keng tarqalgan xatolar va yechimlari

1. Sababiyat deb

python
# r=0.9 → biri sabab deb                                      # ⚠️
# korrelyatsiya ≠ sababiyat 4.10-bob                             # ✅

2. Chiziqli faraz

python
np.corrcoef(x, y)   # nochiziqli — r past (lekin bog'liq)     # ⚠️
stats.spearmanr(x, y)   # tartib (nochiziqli)                 # ✅

3. Outlier

python
np.corrcoef(x, y)   # bir outlier buzadi                      # ⚠️
# outlier tekshir (scatter)                                    # ✅

4. Grafiksiz

python
r = np.corrcoef(x, y)   # shakl yashirin (Anscombe)           # ⚠️
# scatter chiz (shakl ko'r — 5-qism)                           # ✅

5. Soxta korrelyatsiya

python
# muzqaymoq-cho'kish 0.9 (yoz — uchinchi omil)                # ⚠️
# uchinchi omil tekshir                                        # ✅

6. Kam namuna

python
np.corrcoef([1,2], [3,4])   # 2 nuqta (tasodifiy 1.0)         # ⚠️
# katta namuna (ishonchli r)                                   # ✅

7. Kategoriya

python
df.corr()   # matn ustunlar tashlanadi                        # ⚠️
# son ustunlar (kategoriya — boshqa usul)                      # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 4.5-dars (o'tilgan): Taqsimot (shakl — Anscombe)
  • 4.10-dars: Korrelyatsiya vs sababiyat
  • 5-qism: Vizualizatsiya (heatmap, scatter)
  • 9-qism (reja): EDA (bivariate)
  • 20-qism: ML (xususiyat tanlash)

8. Eng yaxshi amaliyotlar

  1. r — belgi (yo'nalish) + |r| (kuch).

  2. Pearson (chiziqli), Spearman (tartib).

  3. df.corr() — matritsa (heatmap).

  4. Scatter chiz (shakl — Anscombe).

  5. Korrelyatsiya ≠ sababiyat 4.10-bob.

  6. Outlier tekshir (r buzadi).

  7. Katta namuna (ishonchli r).

  8. Korrelyatsiya — bog'lanishni o'lchash.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # korrelyatsiya nima?
2.  # r diapazoni?
3.  # +1 nima?
4.  # -1 nima?
5.  # 0 nima?
6.  # belgi nima ko'rsatadi?
7.  # |r| nima ko'rsatadi?
8.  # Pearson nima?
9.  # Spearman nima?
10. # matritsa nima?
11. # korrelyatsiya = sababiyat?
12. # nega grafik kerak?
Javoblar
  1. Ikki o'zgaruvchan bog'lanishi
  2. -1 dan +1
  3. Mukammal musbat
  4. Mukammal manfiy
  5. Bog'lanish yo'q (chiziqli)
  6. Yo'nalish (musbat/manfiy)
  7. Kuch (0-1)
  8. Chiziqli bog'lanish
  9. Tartib (nochiziqli ham)
  10. Barcha juftlik korrelyatsiyasi
  11. Yo'q! (4.10)
  12. Shakl (Anscombe — r yashiradi)

Vazifa 2: Xatolarni tuzating

python
1.  # r=0.9 → sabab

2.  np.corrcoef(x, y)   # nochiziqli

3.  np.corrcoef(x, y)   # outlier bor

4.  r = corrcoef(x, y)   # grafiksiz

5.  # muzqaymoq-cho'kish sabab
Javoblar
python
1.  korrelyatsiya ≠ sababiyat

2.  stats.spearmanr(x, y)

3.  outlier tekshir (scatter)

4.  scatter chiz (shakl)

5.  uchinchi omil (yoz)

Vazifa 3: r

Modellang:

  1. -1..+1
  2. Musbat
  3. Manfiy
  4. 0

Vazifa 4: Kuch/yo'nalish

Modellang:

  1. Belgi
  2. |r|
  3. Kuchli
  4. Kuchsiz

Vazifa 5: Pearson/Spearman

Modellang:

  1. Pearson (chiziqli)
  2. Spearman (tartib)
  3. Nochiziqli
  4. Qachon qaysi

Vazifa 6: Chegaralar

Modellang:

  1. Sababiyat emas
  2. Chiziqli
  3. Outlier
  4. Grafik

Vazifa 7: O'ylash

Korrelyatsiya ikki o'zgaruvchan bog'lanishini bir son (r) bilan o'lchaydi, lekin bu son taqsimotning shaklini yashirishi mumkin (Anscombe kvarteti: bir xil r, butunlay boshqa shakl). Nima uchun korrelyatsiya raqamiga yolg'iz ishonish xavfli, va nega scatter plot (nuqtali grafik) korrelyatsiya bilan birga zarur?

Javob

Qisqa javob: Korrelyatsiya raqami (r) shaklni yashirishi mumkin, r'ga yolg'iz ishonish xavfli, scatter plot zarur, chunki: (1) r — bir son, siqiq — r butun bog'lanishni bir songa siqadi (ko'p ma'lumot yo'qoladi — shakl); bir xil r turli shakl bo'lishi mumkin (Anscombe — 4 to'plam, bir xil r0.82, butunlay boshqa shakl: chiziqli, egri, outlier bilan, vertikal); (2) r faqat chiziqli — Pearson chiziqli bog'lanish; nochiziqli (U shakli, kvadrat) — r past (r0) lekin kuchli bog'liq (grafik — aniq egri; r — yashiradi); (3) outlier r'ni buzadi — bir chet qiymat r'ni oshiradi/pasaytiradi (soxta yuqori r yoki yashirish; scatter — outlier ko'rinadi); "Nega scatter zarur": (a) shakl ko'rinadi — scatter (nuqtalar — x vs y) shaklni ko'rsatadi (chiziqli? egri? outlier? guruh?; r yashiradi); (b) Anscombe darsi — bir xil r, turli shakl (grafik — farq aniq; raqamga ishonma); (c) nochiziqli — scatter egri bog'lanishni ko'rsatadi (r=0 lekin U shakli — scatter aniq); (d) outlier — scatter chetdagi nuqtani ko'rsatadi (r'ni buzgan — tekshir); (e) guruh — scatter alohida guruhlarni (bimodal, klaster). Saboqlar: r siqiq (shakl yo'qoladi — Anscombe); r chiziqli (nochiziqli yashiradi); outlier buzadi (scatter ko'rsatadi); scatter zarur (shakl — r bilan birga). To'g'ri: r + scatter (raqam + shakl); nochiziqli — Spearman/scatter; outlier tekshir. Muvozanat: r (siqiq — umumiy kuch) + scatter (shakl — to'liq) — ikkalasi; r yolg'iz aldaydi (Anscombe). Bu 4.5 (Anscombe — shakl) davomi (korrelyatsiyada ham); "ma'lumotni ko'r" (scatter — shakl; raqam yashiradi). Data Science asosiy dars (grafik chiz — korrelyatsiya + scatter; raqamga ko'r-ko'rona ishonma). Scatter — korrelyatsiyaning haqiqiy hikoyasi (shakl; r — bir son).

1. Nega r'ga yolg'iz ishonish xavfli

  • r bir son, siqiq (shakl yo'qoladi — Anscombe)
  • r faqat chiziqli (nochiziqli yashiradi)
  • Outlier r'ni buzadi (soxta yuqori/yashirish)

2. Nega scatter zarur

  • Shakl ko'rinadi (chiziqli/egri/outlier)
  • Anscombe (bir xil r, turli shakl)
  • Nochiziqli (r=0 lekin egri — scatter)
  • Outlier/guruh (scatter ko'rsatadi)

3. Anscombe (korrelyatsiya)

  • 4 to'plam — bir xil r (~0.82)
  • Butunlay boshqa shakl (chiziqli, egri, outlier)
  • Grafik — farq aniq (raqam yashiradi)

4. r vs scatter

r (raqam) Scatter (grafik)
Siqiq (bir son) To'liq (shakl)
Yashiradi Ochadi (egri, outlier)

5. Saboqlar

  1. r siqiq (shakl yo'qoladi)
  2. r chiziqli (nochiziqli yashiradi)
  3. Outlier buzadi (scatter ko'rsatadi)
  4. Scatter zarur (r bilan birga)

6. Xulosa

  1. r'ga yolg'iz ishonish xavfli (shakl yashirin)
  2. Scatter zarur (shakl — Anscombe)
  3. Nochiziqli/outlier (scatter ochadi)
  4. r + scatter (raqam + shakl)

Nimani mustahkamlaydi: 2.5, 2.7-bo'limlar.


Xulosa

Bu darsda korrelyatsiyani o'rgandik.

Eng muhim uch fikr:

  1. Koeffitsiyent va kuch. Korrelyatsiya koeffitsiyenti (r) — bog'lanish soni -1 dan +1 (np.corrcoef(x, y)[0, 1]); +1 (mukammal musbat), 0 (bog'lanish yo'q), -1 (mukammal manfiy). Belgi + kuch — belgi (yo'nalish: musbat biri oshsa ikkinchisi ham; manfiy kamayadi), |r| (kuch: 0.7-1 kuchli, 0.3-0.7 o'rta, 0-0.3 kuchsiz).

  2. Pearson, Spearman, matritsa. Pearson (pearsonr — chiziqli bog'lanish — eng ko'p), Spearman (spearmanr — tartib/monoton — nochiziqli ham; qiymat o'rniga rank). Korrelyatsiya matritsasi (df.corr() — barcha son ustunlar juftligi; diagonal 1, simmetrik; heatmap — 5-qism; xususiyat tanlash).

  3. Bog'lanish o'lchash. Chegaralar — sababiyat emas (eng muhim — 4.10; muzqaymoq/cho'kish 0.9, yoz sabab), faqat chiziqli (nochiziqli — r past lekin bog'liq; Spearman/grafik), outlier sezgir, grafik kerak (Anscombe — bir xil r turli shakl; scatter chiz). Korrelyatsiya — bog'lanishni o'lchash (kuch/yo'nalish — r; bog'lanish topish, xususiyat tanlash, tushunish). Data Science'da keng (EDA, ML xususiyat, heatmap). Tuzoqlar: sababiyat deb 4.10-bob, chiziqli faraz (Spearman), outlier (scatter), grafiksiz (Anscombe).

Keyingi darsda korrelyatsiya vs sababiyatni o'rganamiz: nega bog'lanish sabab emas — soxta korrelyatsiya, uchinchi omil, Data Science'ning eng muhim ogohlantirishi.

Statistika · 9-dars yakunlandi

4.9-dars: Korrelyatsiya

17 daqvaqt
0belgi
Keyingi dars: 4.10-dars: Korrelyatsiya vs sababiyat
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0