IlmHamroh
Data Science va sun'iy intellekt/EDA9/10-dars15 daqiqa
Mundarija (22)

8.9-dars: EDA hisoboti

8-QISM — EDA (RAZVEDKA TAHLILI) · 9-dars


1. Kirish va motivatsiya

EDA (8.1-8.8) ko'p narsani topdi: taqsimotlar, aloqalar, anomaliyalar, segmentlar, gipotezalar. Lekin topilma faqat sizning noutbukingizda qolsa — hech kimga foyda bermaydi. EDA hisoboti — topilmalarni hujjatlash va boshqalarga yetkazish: qanday tuzilma (maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar), qaysi grafiklar 5.12-bob, qanday halollik 5.13-bob, va kim uchun (menejer, jamoa, texnik). Yaxshi hisobot — qaror uchun asos; yomon hisobot — 50 ta grafik va hech qanday xulosa. Nega muhim? (1) Qaror — hisobot qarorga aylanadi; (2) Takrorlanuvchanlik — boshqalar tekshira oladi; (3) Ishonch — cheklovlarni ochiq aytish ishonch yaratadi.

EDA hisoboti — topilmalarni yetkazish: tuzilma (xulosa birinchi — "piramida"; keyin maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar, keyingi qadamlar), auditoriya (menejer — xulosa va qaror; texnik — usul va raqamlar), grafik (har topilma — bitta aniq grafik; 5.12), halollik (cheklovlar, noaniqlik, EDA ≠ dalil; 5.13, 8.8), takrorlanuvchanlik (kod, seed, ma'lumot versiyasi). Bu 8.1-8.8 (topilmalar), 5.12-5.13 (grafik tamoyillari), 8.10 (amaliy loyiha) bilan bog'liq.

Real vaziyat. Data Scientist bir hafta EDA qildi va menejerga 40 sahifalik notebook yubordi: 60 ta grafik, izohsiz, xulosa oxirida (agar bor bo'lsa). Menejer 2 daqiqa ko'rib, yopdi — hech qanday qaror qabul qilinmadi. To'g'ri yondashuv: 1 sahifa — (1) asosiy xulosa (3 ta topilma, birinchi o'rinda), (2) har topilma — bitta grafik va bir gap izoh, (3) cheklovlar ("ma'lumot faqat 2 shahardan; 5% narx yetishmaydi"), (4) tavsiya ("Toshkent narx gipotezasini yangi oy ma'lumotida tekshirish"). Texnik tafsilot — ilovada (notebook havolasi). Menejer 2 daqiqada tushundi va qaror qildi. EDA hisoboti — topilmani qarorga aylantirish.

Bu darsda EDA hisobotini o'rganamiz.

Bu darsda:

  • Hisobot tuzilmasi (xulosa birinchi)
  • Auditoriyaga moslash
  • Topilmani yozish (da'vo + dalil + ma'nosi)
  • Grafik tanlash (bitta topilma — bitta grafik)
  • Cheklovlar va halollik
  • Takrorlanuvchanlik
  • Hisobot tuzoqlari
  • Amaliy: hisobotni avtomatik yig'ish

ℹ Misollar real pandas/numpy/matplotlib bilan (Python 3.14).


2. Nazariya — chuqur tushuntirish

2.1. Hisobot tuzilmasi (xulosa birinchi)

"Piramida" tamoyili — eng muhim narsa birinchi:

text
EDA HISOBOTI TUZILMASI:
  1. ASOSIY XULOSA   — 3-5 ta topilma (1 paragraf) — BIRINCHI
  2. MAQSAD          — qanday savolga javob izladik 8.2-bob
  3. MA'LUMOT        — manba, hajm, davr, sifat 8.1-bob
  4. TOPILMALAR      — har biri: da'vo + grafik + raqam
  5. GIPOTEZALAR     — tekshirish kerak bo'lganlar 8.8-bob
  6. CHEKLOVLAR      — nima bilmaymiz, nimaga ishonmaslik kerak
  7. KEYINGI QADAMLAR— tavsiya (tekshiruv, ma'lumot yig'ish, model)
  ILOVA              — texnik tafsilot, kod, qo'shimcha grafiklar

Hisobot tuzilmasi — xulosa birinchi: o'quvchi ko'pincha faqat boshini o'qiydi; shuning uchun asosiy xulosa tepada (detektiv hikoyasi emas — javob avval). Keyin maqsad (8.2 savollari), ma'lumot (manba, hajm, davr, sifat muammolari), topilmalar (har biri alohida), gipotezalar (8.8 — dalil emas, tekshirish kerak), cheklovlar, keyingi qadamlar. Texnik tafsilot — ilovada. Sabab: vaqt cheklangan o'quvchi ham asosiy narsani oladi; qiziqqan o'quvchi chuqurlasha oladi. Xulosa birinchi. Tafsilot ilovada.

2.2. Auditoriyaga moslash

text
AUDITORIYA       NIMA KERAK                      QANDAY
menejer          xulosa, qaror, ta'sir ($, %)    1 sahifa, oddiy til, 3-4 grafik
jamoa (DS/ML)    usul, raqamlar, gipotezalar     notebook + hisobot, statistika
muhandis         ma'lumot sifati, pipeline       ustunlar, tur, yetishmovchilik

Auditoriyaga moslash — bitta EDA, turli hisobot: menejer (qaror — "nima qilamiz?"; oddiy til, biznes birliklari — so'm, foiz, mijoz; jargon yo'q — "IQR" emas, "odatdagidan ancha qimmat"), DS jamoasi (usul — qanday tozalandi, qaysi test, p-qiymat, gipotezalar), ma'lumot muhandisi (sifat — qaysi ustunda yetishmovchilik, format xatolari, dublikatlar). Sabab: bir xil hisobot hammaga — hech kimga mos emas. Auditoriya — hisobot shaklini belgilaydi.

2.3. Topilmani yozish (da'vo + dalil + ma'nosi)

Topilma formulasi — uch qism: da'vo (bir gap — "Toshkent uylari o'rtacha 18% qimmatroq"), dalil (raqam va grafik — "median 140 ming $ vs 118 ming $, n=280"), ma'nosi (so what? — "narx modelida shahar muhim belgi bo'ladi"). Yomon topilma: "2-grafikda narx taqsimoti ko'rsatilgan" (da'vo yo'q). Yaxshi topilma — o'quvchi grafikni ko'rmasdan ham tushunadi. Sarlavha ham da'vo bo'lsin: "Narx taqsimoti" emas — "Narxlar o'ngga qiyshiq: 10% uy — narxning 30%". Da'vo. Dalil. Ma'nosi.

2.4. Grafik tanlash (bitta topilma — bitta grafik)

Grafik tanlash — har topilma uchun bitta, eng aniq grafik 5.12-bob: taqsimot — histogram/boxplot; ikki guruh — boxplot yoki ustun; aloqa — scatter; vaqt — chiziq. Hisobotda faqat topilmani ko'rsatadigan grafik — EDA jarayonidagi 60 ta grafik emas (ular ilovada yoki notebookda). Bezak: da'vo-sarlavha, o'q nomlari va birliklar, muhim nuqtani ajratish (rang). Halollik 5.13-bob: o'q noldan (ustunlar), bir xil shkala (solishtirishda).

2.5. Cheklovlar va halollik

Cheklovlar — hisobotning eng ko'p unutiladigan, lekin eng muhim qismi: ma'lumot cheklovi (davr, qamrov — "faqat 2 shahar", "faqat 2025"), sifat ("5% narx yetishmaydi — o'chirildi"), usul ("EDA — kashfiyot, dalil emas; gipotezalar mustaqil ma'lumotda tekshirilmagan" — 8.8), aloqa ≠ sabab 4.10-bob, noaniqlik (ishonch oralig'i, n kichik guruhlar). Sabab: cheklovni yashirish — noto'g'ri qarorga olib keladi; ochiq aytish — ishonch yaratadi va keyingi ishni ko'rsatadi. Cheklov — zaiflik emas, halollik.

2.6. Takrorlanuvchanlik

Takrorlanuvchanlik — boshqa odam (yoki 3 oydan keyin siz) xuddi shu natijani olishi: kod (notebook/skript — tartibli, yuqoridan pastga ishlaydi), seed (tasodifiylik — np.random.seed, random_state), ma'lumot versiyasi (qaysi fayl, qaysi sana, hajm), muhit (kutubxona versiyalari — pd.__version__), tozalash qadamlari (nima o'chirildi va nega — 6.11 quvuri). Hisobot oxirida — "Qanday takrorlash" bo'limi. Takrorlanmaydigan hisobot — tekshirib bo'lmaydigan hisobot.

2.7. Hisobot tuzoqlari

Asosiy tuzoqlar: grafik to'kish (60 ta grafik, xulosasiz — o'quvchi o'zi topishi kerak; yechim: topilma → grafik, qolgani ilovada); xulosa oxirida (menejer u yergacha yetmaydi; yechim: piramida); jargon ("kurtosis 4.2, IQR outlier" — menejer uchun; yechim: oddiy til); cheklovsiz (hamma narsa ishonchli ko'rinadi — yolg'on ishonch); EDA = isbot ("Toshkent qimmatroq ekani isbotlandi" — yo'q, gipoteza; 8.8); aloqa = sabab ("remont narxni oshiradi" — aloqa, 4.10); raqam ortiqcha aniqligi ("o'rtacha 140 237.84 $" — "~140 ming $" yetarli); takrorlanmas (seed, versiya yo'q). Yechim: piramida, auditoriya, da'vo-sarlavha, cheklovlar, takrorlash bo'limi.

2.8. EDA hisoboti — topilmadan qarorgacha

EDA hisoboti asosiy g'oyasi — topilmani qarorga aylantirish: tuzilma — xulosa birinchi (piramida), keyin maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar, keyingi qadamlar, ilova; auditoriya (menejer — qaror; jamoa — usul; muhandis — sifat); topilma — da'vo + dalil + ma'nosi (sarlavha ham da'vo); grafik — bitta topilma, bitta aniq grafik (5.12, 5.13); cheklovlar — halollik (EDA ≠ dalil, aloqa ≠ sabab); takrorlanuvchanlik — kod, seed, versiya. Bu 8.1-8.8 (topilmalar manbai), 5.12-5.13 (grafik), 8.10 (amaliy loyiha) bilan bog'liq. Hisobot — topilmadan qarorgacha.


3. Tez ma'lumotnoma

python
import pandas as pd

# TOPILMA — da'vo + dalil + ma'nosi
topilma = {
    "da'vo": "Toshkent uylari o'rtacha 18% qimmatroq",
    "dalil": "median 140 vs 118 ming $, n=280",
    "ma'nosi": "shahar — narx modelida muhim belgi",
}

# MA'LUMOT PASPORTI
pasport = {"qator": len(df), "ustun": df.shape[1],
           "yetishmovchilik_%": round(df.isna().mean().mean() * 100, 1),
           "dublikat": int(df.duplicated().sum())}

# TAKRORLANUVCHANLIK
print(pd.__version__)   # versiya
# np.random.seed(0), random_state=0

# MARKDOWN HISOBOT — satrlarni yig'ib faylga yozish
qatorlar = ["# EDA hisoboti", "## Asosiy xulosa", "- ..."]
open("hisobot.md", "w", encoding="utf-8").write("\n".join(qatorlar))
QOIDA: xulosa birinchi · auditoriya · da'vo+dalil+ma'no · cheklovlar · takrorlash

EDA hisoboti xulosasi

Tuzilma — xulosa birinchi (piramida), tafsilot ilovada
Auditoriya — menejer (qaror), jamoa (usul), muhandis (sifat)
Topilma — da'vo + dalil + ma'nosi; sarlavha ham da'vo
Grafik — bitta topilma, bitta aniq grafik (5.12, 5.13)
Cheklovlar — EDA ≠ dalil, aloqa ≠ sabab, ma'lumot qamrovi
Takrorlanuvchanlik — kod, seed, versiya, tozalash qadamlari

4. Batafsil misollar

Misollar real pandas/numpy/matplotlib bilan (Python 3.14).

Misol 1 — Ma'lumot pasporti

python
"""Ma'lumot pasporti — hisobotning 'Ma'lumot' bo'limi (real pandas/numpy)."""

import numpy as np
import pandas as pd


def main() -> None:
    np.random.seed(0)
    n = 300
    df = pd.DataFrame({
        "shahar": np.random.choice(["Toshkent", "Samarqand"], n),
        "maydon": np.random.normal(70, 20, n).round(0),
        "narx": np.random.normal(130, 30, n).round(1),
    })
    df.loc[np.random.choice(n, 15, replace=False), "narx"] = np.nan
    df = pd.concat([df, df.iloc[:4]], ignore_index=True)

    print("=== 1. Hajm ===")
    print(f"  qator: {len(df)}, ustun: {df.shape[1]}")

    print("\n=== 2. Sifat ===")
    yet = (df.isna().mean() * 100).round(1)
    for ustun, foiz in yet.items():
        print(f"  {ustun}: {foiz}% yetishmaydi")
    print(f"  dublikat qator: {int(df.duplicated().sum())}")

    print("\n=== 3. Hisobot uchun bir gap ===")
    print(f"  '{len(df)} qator, narxda {yet['narx']}% yetishmovchilik, "
          f"{int(df.duplicated().sum())} dublikat'")
    print("  ⭐ Ma'lumot pasporti — hisobotning asosi")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Hajm ===
  qator: 304, ustun: 3

=== 2. Sifat ===
  shahar: 0.0% yetishmaydi
  maydon: 0.0% yetishmaydi
  narx: 4.9% yetishmaydi
  dublikat qator: 6

=== 3. Hisobot uchun bir gap ===
  '304 qator, narxda 4.9% yetishmovchilik, 6 dublikat'
  ⭐ Ma'lumot pasporti — hisobotning asosi

Nima ko'rsatdi: 2.1, 2.5-bo'limlar.

Misol 2 — Topilma: da'vo + dalil + ma'nosi

python
"""Topilmani yozish: da'vo + dalil + ma'nosi (real pandas/numpy)."""

import numpy as np
import pandas as pd


def main() -> None:
    np.random.seed(0)
    df = pd.DataFrame({
        "shahar": np.repeat(["Toshkent", "Samarqand"], 150),
        "narx": np.concatenate([np.random.normal(140, 30, 150),
                                np.random.normal(118, 28, 150)]),
    })

    print("=== 1. Yomon topilma ===")
    print("  '2-grafikda shaharlar bo'yicha narx ko'rsatilgan'")

    print("\n=== 2. Dalil (raqamlar) ===")
    med = df.groupby("shahar")["narx"].median().round(0)
    t, s = med["Toshkent"], med["Samarqand"]
    farq = round((t - s) / s * 100)
    print(f"  median: Toshkent {t:.0f}, Samarqand {s:.0f} (ming $)")

    print("\n=== 3. Yaxshi topilma ===")
    print(f"  da'vo:   Toshkent uylari ~{farq}% qimmatroq")
    print(f"  dalil:   median {t:.0f} vs {s:.0f} ming $, n=150 + 150")
    print("  ma'nosi: shahar — narx modelida muhim belgi")
    print("  ⭐ Da'vo + dalil + ma'nosi")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Yomon topilma ===
  '2-grafikda shaharlar bo'yicha narx ko'rsatilgan'

=== 2. Dalil (raqamlar) ===
  median: Toshkent 144, Samarqand 115 (ming $)

=== 3. Yaxshi topilma ===
  da'vo:   Toshkent uylari ~25% qimmatroq
  dalil:   median 144 vs 115 ming $, n=150 + 150
  ma'nosi: shahar — narx modelida muhim belgi
  ⭐ Da'vo + dalil + ma'nosi

Nima ko'rsatdi: 2.3-bo'lim.

Misol 3 — Da'vo-sarlavhali grafik

python
"""Hisobot grafigi: da'vo-sarlavha (real matplotlib)."""

import os
import tempfile

import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import numpy as np


def main() -> None:
    np.random.seed(0)
    toshkent = np.random.normal(140, 30, 150)
    samarqand = np.random.normal(118, 28, 150)

    print("=== 1. Grafik (bitta topilma) ===")
    fig, ax = plt.subplots(figsize=(6, 4))
    ax.boxplot([toshkent, samarqand], tick_labels=["Toshkent", "Samarqand"])
    ax.set_title("Toshkent uylari ~25% qimmatroq")
    ax.set_ylabel("Narx, ming $")

    print("\n=== 2. Tekshiruv ===")
    print(f"  sarlavha: '{ax.get_title()}' (da'vo)")
    print(f"  y o'qi: '{ax.get_ylabel()}' (birlik bor)")

    print("\n=== 3. Saqlash ===")
    yol = os.path.join(tempfile.gettempdir(), "topilma_1.png")
    fig.savefig(yol, dpi=80)
    plt.close(fig)
    print(f"  saqlandi: {os.path.basename(yol)}, {os.path.getsize(yol) > 0}")
    print("  ⭐ Sarlavha — da'vo, o'q — birlik")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Grafik (bitta topilma) ===

=== 2. Tekshiruv ===
  sarlavha: 'Toshkent uylari ~25% qimmatroq' (da'vo)
  y o'qi: 'Narx, ming $' (birlik bor)

=== 3. Saqlash ===
  saqlandi: topilma_1.png, True
  ⭐ Sarlavha — da'vo, o'q — birlik

Nima ko'rsatdi: 2.3, 2.4-bo'limlar.

Misol 4 — Markdown hisobotni avtomatik yig'ish

python
"""EDA hisobotini Markdown faylga yig'ish (real pandas/numpy)."""

import os
import tempfile

import numpy as np
import pandas as pd


def main() -> None:
    np.random.seed(0)
    df = pd.DataFrame({
        "shahar": np.repeat(["Toshkent", "Samarqand"], 150),
        "maydon": np.random.normal(70, 20, 300),
    })
    df["narx"] = 50 + 1.2 * df["maydon"] + np.where(
        df["shahar"] == "Toshkent", 20, 0) + np.random.normal(0, 15, 300)

    r = df["maydon"].corr(df["narx"])
    med = df.groupby("shahar")["narx"].median()

    qatorlar = [
        "# EDA hisoboti: uy narxlari",
        "## Asosiy xulosa",
        f"- Maydon va narx kuchli bog'liq (r = {r:.2f})",
        f"- Toshkent median narxi {med['Toshkent']:.0f}, "
        f"Samarqand {med['Samarqand']:.0f} ming $",
        "## Ma'lumot",
        f"- {len(df)} qator, {df.shape[1]} ustun",
        "## Cheklovlar",
        "- Faqat 2 shahar; EDA natijasi dalil emas (gipoteza)",
        "## Takrorlash",
        f"- seed=0, pandas {pd.__version__.split('.')[0]}.x",
    ]

    yol = os.path.join(tempfile.gettempdir(), "eda_hisobot.md")
    with open(yol, "w", encoding="utf-8") as f:
        f.write("\n".join(qatorlar))

    print("=== Hisobot fayli ===")
    with open(yol, encoding="utf-8") as f:
        print(f.read())
    os.remove(yol)
    print("\n  ⭐ Hisobot — kod bilan yig'iladi (takrorlanadi)")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== Hisobot fayli ===
# EDA hisoboti: uy narxlari
## Asosiy xulosa
- Maydon va narx kuchli bog'liq (r = 0.82)
- Toshkent median narxi 156, Samarqand 132 ming $
## Ma'lumot
- 300 qator, 3 ustun
## Cheklovlar
- Faqat 2 shahar; EDA natijasi dalil emas (gipoteza)
## Takrorlash
- seed=0, pandas 3.x

  ⭐ Hisobot — kod bilan yig'iladi (takrorlanadi)

Nima ko'rsatdi: 2.1, 2.6-bo'limlar.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"Ko'p grafik — yaxshi hisobot" Topilma → bitta grafik
"Xulosa oxirida" Xulosa birinchi (piramida)
"Bir hisobot hammaga" Auditoriyaga moslash
"Sarlavha — mavzu nomi" Sarlavha — da'vo
"Cheklov — zaiflik" Cheklov — halollik
"EDA isbotladi" Gipoteza (8.8)
"Aniq raqam yaxshi" Mos aniqlik (~140 ming $)
"Notebook — hisobot" Notebook — ilova

6. Keng tarqalgan xatolar va yechimlari

1. Grafik to'kish

python
# 60 ta grafik, izohsiz                                           # ⚠️
# har topilma — bitta grafik + bir gap; qolgani ilovada           # ✅

2. Xulosa oxirida

python
# kirish → usul → ... → 40-sahifada xulosa                        # ⚠️
# 1-sahifa: asosiy xulosa (3-5 topilma)                            # ✅

3. Mavzu-sarlavha

python
ax.set_title("Narx taqsimoti")                                     # ⚠️
ax.set_title("Narxlar o'ngga qiyshiq: 10% uy — narxning 30%")      # ✅

4. Jargon menejerga

python
# "kurtosis 4.2, IQR bo'yicha 12 outlier"                         # ⚠️
# "12 ta uy odatdagidan ancha qimmat — tekshirish kerak"          # ✅

5. Cheklovsiz

python
# "Toshkent qimmatroq" (hamma narsa aniq ko'rinadi)               # ⚠️
# + "Cheklov: faqat 2025 yil, 2 shahar; gipoteza"                 # ✅

6. Ortiqcha aniqlik

python
print(f"{140237.8412} $")                                          # ⚠️
print(f"~{round(140237.8412 / 1000)} ming $")                      # ✅

7. Takrorlanmas

python
# seed yo'q, fayl nomi yo'q, versiya yo'q                         # ⚠️
# "Takrorlash" bo'limi: seed, fayl, sana, pandas versiyasi        # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 8.1-8.8-darslar (o'tilgan): Hisobot topilmalari manbai
  • 5.12-5.13-darslar (o'tilgan): Yaxshi va halol grafik
  • 6.11-dars (o'tilgan): Tozalash quvuri (takrorlash)
  • 8.10-dars: EDA amaliy loyiha (to'liq hisobot)
  • Keyingi qismlar: ML natijalari hisoboti (xuddi shu tamoyillar)

8. Eng yaxshi amaliyotlar

  1. Xulosa birinchi — 3-5 topilma.

  2. Auditoriyani aniqlang.

  3. Topilma — da'vo + dalil + ma'nosi.

  4. Sarlavha — da'vo.

  5. Bitta topilma — bitta grafik.

  6. Cheklovlarni ochiq yozing.

  7. Gipotezani dalil deb yozmang.

  8. Takrorlash bo'limi — seed, versiya, fayl.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # hisobotda nima birinchi?
2.  # piramida tamoyili?
3.  # menejerga nima kerak?
4.  # topilma formulasi?
5.  # yaxshi sarlavha?
6.  # nechta grafik bir topilmaga?
7.  # cheklov nega kerak?
8.  # EDA topilmasi = isbot?
9.  # takrorlash uchun nima?
10. # 60 ta grafik qayerga?
11. # "140237.84 $" to'g'rimi?
12. # jargon kimga mos?
Javoblar
  1. Asosiy xulosa
  2. Muhim narsa birinchi
  3. Xulosa va qaror
  4. Da'vo + dalil + ma'nosi
  5. Da'vo (mavzu emas)
  6. Bitta
  7. Halollik, noto'g'ri qarordan himoya
  8. Yo'q, gipoteza
  9. Kod, seed, versiya, fayl
  10. Ilovaga
  11. Yo'q — "~140 ming $"
  12. Texnik jamoaga

Vazifa 2: Xatolarni tuzating

python
1.  ax.set_title("Maydon va narx")

2.  # xulosa 40-sahifada

3.  # "Toshkent qimmatligi isbotlandi"

4.  # "remont narxni oshiradi"

5.  # seed yo'q
Javoblar
python
1.  ax.set_title("Katta uy — qimmat: r = 0.8")

2.  # 1-sahifada asosiy xulosa

3.  # "gipoteza: Toshkent qimmatroq — tekshirish kerak"

4.  # "remontli uylar qimmatroq — aloqa, sabab emas"

5.  np.random.seed(0)  # va hisobotda yozing

Vazifa 3: Tuzilma

Modellang:

  1. Asosiy xulosa
  2. Maqsad va ma'lumot
  3. Topilmalar
  4. Cheklovlar va keyingi qadamlar

Vazifa 4: Auditoriya

Modellang:

  1. Menejer versiyasi
  2. DS jamoa versiyasi
  3. Muhandis versiyasi
  4. Farqlar

Vazifa 5: Topilma

Modellang:

  1. Da'vo
  2. Dalil
  3. Ma'nosi
  4. Da'vo-sarlavhali grafik

Vazifa 6: Integratsiya

Modellang:

  1. EDA topilmalari (8.1-8.8)
  2. Grafik tamoyillari (5.12)
  3. Halollik (5.13)
  4. Gipotezalar (8.8)

Vazifa 7: O'ylash

Ko'p tahlilchilar yaxshi EDA qiladi, lekin ularning ishi hech qanday qarorga ta'sir qilmaydi. Nima uchun "tahlil qildim" va "tahlilim qarorni o'zgartirdi" orasida katta farq bor, va nima uchun hisobot yozish Data Scientist uchun kod yozish kabi muhim ko'nikma?

Javob

Qisqa javob: tahlilning qiymati — u o'zgartirgan qarorda. Qarorni odamlar qabul qiladi, odamlar esa faqat tushungan va ishongan narsaga asoslanadi. Hisobot — tahlil va qaror orasidagi yagona ko'prik.

1. Nega yaxshi tahlil yo'qoladi

  • Xulosa ko'milgan (60 grafik orasida)
  • Til noto'g'ri (jargon — menejer tushunmaydi)
  • "So what?" yo'q (topilma bor, ma'nosi yo'q)
  • Ishonch yo'q (cheklovlar yashiringan — bitta xato hammasini shubha ostiga qo'yadi)

2. Hisobot nimani beradi

Tahlil Hisobot
Topilma Qaror uchun asos
Notebook Tushunarli hikoya
Raqamlar Ma'no (so what)
Ichki bilim Jamoa bilimi (takrorlanadi)

3. Nega kod kabi muhim

  • Kod — kompyuterga, hisobot — odamga (ikkalasi ham "dasturlash")
  • Yaxshi kod qayta ishlatiladi; yaxshi hisobot qayta o'qiladi va keltiriladi
  • Data Scientist qiymati — qarorlar orqali o'lchanadi, qatorlar soni orqali emas

4. Data Scientist qanday

  1. Avval savol va auditoriya (kim, qanday qaror)
  2. Xulosa birinchi, da'vo-sarlavhalar
  3. Cheklovlarni ochiq yozish (ishonch)
  4. Takrorlanadigan kod (hisobot avtomatik yig'iladi)

5. Xulosa

  1. Tahlil qiymati — o'zgargan qarorda
  2. Hisobot — tahlil va qaror orasidagi ko'prik
  3. Halollik (cheklovlar) — ishonch manbai
  4. Hisobot yozish — asosiy ko'nikma, qo'shimcha emas

Nimani mustahkamlaydi: 2.1, 2.2, 2.5-bo'limlar.


Xulosa

Bu darsda EDA hisobotini o'rgandik.

Eng muhim uch fikr:

  1. Xulosa birinchi. Hisobot tuzilmasi — piramida: asosiy xulosa (3-5 topilma) tepada, keyin maqsad, ma'lumot pasporti, topilmalar, gipotezalar 8.8-bob, cheklovlar, keyingi qadamlar; texnik tafsilot — ilovada. Auditoriyaga moslang: menejer — qaror va oddiy til; jamoa — usul va raqamlar; muhandis — ma'lumot sifati.

  2. Topilma = da'vo + dalil + ma'nosi. Har topilma — bir gap da'vo, raqam va bitta aniq grafik 5.12-bob, va "so what". Grafik sarlavhasi ham da'vo ("Narx taqsimoti" emas — "Narxlar o'ngga qiyshiq"). Mos aniqlik ("~140 ming $").

  3. Halollik va takrorlanuvchanlik. Cheklovlarni ochiq yozing (qamrov, sifat, EDA ≠ dalil, aloqa ≠ sabab); gipotezani isbot deb yozmang 8.8-bob. Hisobot kod bilan yig'ilsin va "Takrorlash" bo'limi bo'lsin (seed, fayl, versiya). Tuzoqlar: grafik to'kish, xulosa oxirida, jargon, cheklovsiz, ortiqcha aniqlik.

Keyingi darsda EDA amaliy loyihasini qilamiz: to'liq sikl — savol, ma'lumot pasporti, bir va ikki o'zgaruvchi tahlili, korrelyatsiya, anomaliyalar, segmentlar, gipotezalar va yakuniy hisobot — 8-qismning barcha bilimlari bitta loyihada.

Ulashish:Telegram'da

Izohlar (0)

Izoh yozish uchun kiring.

  • Hozircha izoh yo'q. Birinchi bo'ling!
8.9-dars: EDA hisoboti — IlmHamroh