Mundarija (22)
- 1. Kirish va motivatsiya
- 2. Nazariya — chuqur tushuntirish
- 2.1. Hisobot tuzilmasi (xulosa birinchi)
- 2.2. Auditoriyaga moslash
- 2.3. Topilmani yozish (da'vo + dalil + ma'nosi)
- 2.4. Grafik tanlash (bitta topilma — bitta grafik)
- 2.5. Cheklovlar va halollik
- 2.6. Takrorlanuvchanlik
- 2.7. Hisobot tuzoqlari
- 2.8. EDA hisoboti — topilmadan qarorgacha
- 3. Tez ma'lumotnoma
- 4. Batafsil misollar
- Misol 1 — Ma'lumot pasporti
- Misol 2 — Topilma: da'vo + dalil + ma'nosi
- Misol 3 — Da'vo-sarlavhali grafik
- Misol 4 — Markdown hisobotni avtomatik yig'ish
- 5. To'g'ri va noto'g'ri tushunishlar
- 6. Keng tarqalgan xatolar va yechimlari
- 7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 8. Eng yaxshi amaliyotlar
- 9. Amaliy topshiriq
- Xulosa
8.9-dars: EDA hisoboti
8-QISM — EDA (RAZVEDKA TAHLILI) · 9-dars
1. Kirish va motivatsiya
EDA (8.1-8.8) ko'p narsani topdi: taqsimotlar, aloqalar, anomaliyalar, segmentlar, gipotezalar. Lekin topilma faqat sizning noutbukingizda qolsa — hech kimga foyda bermaydi. EDA hisoboti — topilmalarni hujjatlash va boshqalarga yetkazish: qanday tuzilma (maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar), qaysi grafiklar 5.12-bob, qanday halollik 5.13-bob, va kim uchun (menejer, jamoa, texnik). Yaxshi hisobot — qaror uchun asos; yomon hisobot — 50 ta grafik va hech qanday xulosa. Nega muhim? (1) Qaror — hisobot qarorga aylanadi; (2) Takrorlanuvchanlik — boshqalar tekshira oladi; (3) Ishonch — cheklovlarni ochiq aytish ishonch yaratadi.
EDA hisoboti — topilmalarni yetkazish: tuzilma (xulosa birinchi — "piramida"; keyin maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar, keyingi qadamlar), auditoriya (menejer — xulosa va qaror; texnik — usul va raqamlar), grafik (har topilma — bitta aniq grafik; 5.12), halollik (cheklovlar, noaniqlik, EDA ≠ dalil; 5.13, 8.8), takrorlanuvchanlik (kod, seed, ma'lumot versiyasi). Bu 8.1-8.8 (topilmalar), 5.12-5.13 (grafik tamoyillari), 8.10 (amaliy loyiha) bilan bog'liq.
Real vaziyat. Data Scientist bir hafta EDA qildi va menejerga 40 sahifalik notebook yubordi: 60 ta grafik, izohsiz, xulosa oxirida (agar bor bo'lsa). Menejer 2 daqiqa ko'rib, yopdi — hech qanday qaror qabul qilinmadi. To'g'ri yondashuv: 1 sahifa — (1) asosiy xulosa (3 ta topilma, birinchi o'rinda), (2) har topilma — bitta grafik va bir gap izoh, (3) cheklovlar ("ma'lumot faqat 2 shahardan; 5% narx yetishmaydi"), (4) tavsiya ("Toshkent narx gipotezasini yangi oy ma'lumotida tekshirish"). Texnik tafsilot — ilovada (notebook havolasi). Menejer 2 daqiqada tushundi va qaror qildi. EDA hisoboti — topilmani qarorga aylantirish.
Bu darsda EDA hisobotini o'rganamiz.
Bu darsda:
- Hisobot tuzilmasi (xulosa birinchi)
- Auditoriyaga moslash
- Topilmani yozish (da'vo + dalil + ma'nosi)
- Grafik tanlash (bitta topilma — bitta grafik)
- Cheklovlar va halollik
- Takrorlanuvchanlik
- Hisobot tuzoqlari
- Amaliy: hisobotni avtomatik yig'ish
ℹ Misollar real pandas/numpy/matplotlib bilan (Python 3.14).
2. Nazariya — chuqur tushuntirish
2.1. Hisobot tuzilmasi (xulosa birinchi)
"Piramida" tamoyili — eng muhim narsa birinchi:
EDA HISOBOTI TUZILMASI:
1. ASOSIY XULOSA — 3-5 ta topilma (1 paragraf) — BIRINCHI
2. MAQSAD — qanday savolga javob izladik 8.2-bob
3. MA'LUMOT — manba, hajm, davr, sifat 8.1-bob
4. TOPILMALAR — har biri: da'vo + grafik + raqam
5. GIPOTEZALAR — tekshirish kerak bo'lganlar 8.8-bob
6. CHEKLOVLAR — nima bilmaymiz, nimaga ishonmaslik kerak
7. KEYINGI QADAMLAR— tavsiya (tekshiruv, ma'lumot yig'ish, model)
ILOVA — texnik tafsilot, kod, qo'shimcha grafiklarHisobot tuzilmasi — xulosa birinchi: o'quvchi ko'pincha faqat boshini o'qiydi; shuning uchun asosiy xulosa tepada (detektiv hikoyasi emas — javob avval). Keyin maqsad (8.2 savollari), ma'lumot (manba, hajm, davr, sifat muammolari), topilmalar (har biri alohida), gipotezalar (8.8 — dalil emas, tekshirish kerak), cheklovlar, keyingi qadamlar. Texnik tafsilot — ilovada. Sabab: vaqt cheklangan o'quvchi ham asosiy narsani oladi; qiziqqan o'quvchi chuqurlasha oladi. Xulosa birinchi. Tafsilot ilovada.
2.2. Auditoriyaga moslash
AUDITORIYA NIMA KERAK QANDAY
menejer xulosa, qaror, ta'sir ($, %) 1 sahifa, oddiy til, 3-4 grafik
jamoa (DS/ML) usul, raqamlar, gipotezalar notebook + hisobot, statistika
muhandis ma'lumot sifati, pipeline ustunlar, tur, yetishmovchilikAuditoriyaga moslash — bitta EDA, turli hisobot: menejer (qaror — "nima qilamiz?"; oddiy til, biznes birliklari — so'm, foiz, mijoz; jargon yo'q — "IQR" emas, "odatdagidan ancha qimmat"), DS jamoasi (usul — qanday tozalandi, qaysi test, p-qiymat, gipotezalar), ma'lumot muhandisi (sifat — qaysi ustunda yetishmovchilik, format xatolari, dublikatlar). Sabab: bir xil hisobot hammaga — hech kimga mos emas. Auditoriya — hisobot shaklini belgilaydi.
2.3. Topilmani yozish (da'vo + dalil + ma'nosi)
Topilma formulasi — uch qism: da'vo (bir gap — "Toshkent uylari o'rtacha 18% qimmatroq"), dalil (raqam va grafik — "median 140 ming $ vs 118 ming $, n=280"), ma'nosi (so what? — "narx modelida shahar muhim belgi bo'ladi"). Yomon topilma: "2-grafikda narx taqsimoti ko'rsatilgan" (da'vo yo'q). Yaxshi topilma — o'quvchi grafikni ko'rmasdan ham tushunadi. Sarlavha ham da'vo bo'lsin: "Narx taqsimoti" emas — "Narxlar o'ngga qiyshiq: 10% uy — narxning 30%". Da'vo. Dalil. Ma'nosi.
2.4. Grafik tanlash (bitta topilma — bitta grafik)
Grafik tanlash — har topilma uchun bitta, eng aniq grafik 5.12-bob: taqsimot — histogram/boxplot; ikki guruh — boxplot yoki ustun; aloqa — scatter; vaqt — chiziq. Hisobotda faqat topilmani ko'rsatadigan grafik — EDA jarayonidagi 60 ta grafik emas (ular ilovada yoki notebookda). Bezak: da'vo-sarlavha, o'q nomlari va birliklar, muhim nuqtani ajratish (rang). Halollik 5.13-bob: o'q noldan (ustunlar), bir xil shkala (solishtirishda).
2.5. Cheklovlar va halollik
Cheklovlar — hisobotning eng ko'p unutiladigan, lekin eng muhim qismi: ma'lumot cheklovi (davr, qamrov — "faqat 2 shahar", "faqat 2025"), sifat ("5% narx yetishmaydi — o'chirildi"), usul ("EDA — kashfiyot, dalil emas; gipotezalar mustaqil ma'lumotda tekshirilmagan" — 8.8), aloqa ≠ sabab 4.10-bob, noaniqlik (ishonch oralig'i, n kichik guruhlar). Sabab: cheklovni yashirish — noto'g'ri qarorga olib keladi; ochiq aytish — ishonch yaratadi va keyingi ishni ko'rsatadi. Cheklov — zaiflik emas, halollik.
2.6. Takrorlanuvchanlik
Takrorlanuvchanlik — boshqa odam (yoki 3 oydan keyin siz) xuddi shu natijani olishi: kod (notebook/skript — tartibli, yuqoridan pastga ishlaydi), seed (tasodifiylik — np.random.seed, random_state), ma'lumot versiyasi (qaysi fayl, qaysi sana, hajm), muhit (kutubxona versiyalari — pd.__version__), tozalash qadamlari (nima o'chirildi va nega — 6.11 quvuri). Hisobot oxirida — "Qanday takrorlash" bo'limi. Takrorlanmaydigan hisobot — tekshirib bo'lmaydigan hisobot.
2.7. Hisobot tuzoqlari
Asosiy tuzoqlar: grafik to'kish (60 ta grafik, xulosasiz — o'quvchi o'zi topishi kerak; yechim: topilma → grafik, qolgani ilovada); xulosa oxirida (menejer u yergacha yetmaydi; yechim: piramida); jargon ("kurtosis 4.2, IQR outlier" — menejer uchun; yechim: oddiy til); cheklovsiz (hamma narsa ishonchli ko'rinadi — yolg'on ishonch); EDA = isbot ("Toshkent qimmatroq ekani isbotlandi" — yo'q, gipoteza; 8.8); aloqa = sabab ("remont narxni oshiradi" — aloqa, 4.10); raqam ortiqcha aniqligi ("o'rtacha 140 237.84 $" — "~140 ming $" yetarli); takrorlanmas (seed, versiya yo'q). Yechim: piramida, auditoriya, da'vo-sarlavha, cheklovlar, takrorlash bo'limi.
2.8. EDA hisoboti — topilmadan qarorgacha
EDA hisoboti asosiy g'oyasi — topilmani qarorga aylantirish: tuzilma — xulosa birinchi (piramida), keyin maqsad, ma'lumot, topilmalar, gipotezalar, cheklovlar, keyingi qadamlar, ilova; auditoriya (menejer — qaror; jamoa — usul; muhandis — sifat); topilma — da'vo + dalil + ma'nosi (sarlavha ham da'vo); grafik — bitta topilma, bitta aniq grafik (5.12, 5.13); cheklovlar — halollik (EDA ≠ dalil, aloqa ≠ sabab); takrorlanuvchanlik — kod, seed, versiya. Bu 8.1-8.8 (topilmalar manbai), 5.12-5.13 (grafik), 8.10 (amaliy loyiha) bilan bog'liq. Hisobot — topilmadan qarorgacha.
3. Tez ma'lumotnoma
import pandas as pd
# TOPILMA — da'vo + dalil + ma'nosi
topilma = {
"da'vo": "Toshkent uylari o'rtacha 18% qimmatroq",
"dalil": "median 140 vs 118 ming $, n=280",
"ma'nosi": "shahar — narx modelida muhim belgi",
}
# MA'LUMOT PASPORTI
pasport = {"qator": len(df), "ustun": df.shape[1],
"yetishmovchilik_%": round(df.isna().mean().mean() * 100, 1),
"dublikat": int(df.duplicated().sum())}
# TAKRORLANUVCHANLIK
print(pd.__version__) # versiya
# np.random.seed(0), random_state=0
# MARKDOWN HISOBOT — satrlarni yig'ib faylga yozish
qatorlar = ["# EDA hisoboti", "## Asosiy xulosa", "- ..."]
open("hisobot.md", "w", encoding="utf-8").write("\n".join(qatorlar))
QOIDA: xulosa birinchi · auditoriya · da'vo+dalil+ma'no · cheklovlar · takrorlashEDA hisoboti xulosasi
Tuzilma — xulosa birinchi (piramida), tafsilot ilovada
Auditoriya — menejer (qaror), jamoa (usul), muhandis (sifat)
Topilma — da'vo + dalil + ma'nosi; sarlavha ham da'vo
Grafik — bitta topilma, bitta aniq grafik (5.12, 5.13)
Cheklovlar — EDA ≠ dalil, aloqa ≠ sabab, ma'lumot qamrovi
Takrorlanuvchanlik — kod, seed, versiya, tozalash qadamlari4. Batafsil misollar
Misollar real pandas/numpy/matplotlib bilan (Python 3.14).
Misol 1 — Ma'lumot pasporti
"""Ma'lumot pasporti — hisobotning 'Ma'lumot' bo'limi (real pandas/numpy)."""
import numpy as np
import pandas as pd
def main() -> None:
np.random.seed(0)
n = 300
df = pd.DataFrame({
"shahar": np.random.choice(["Toshkent", "Samarqand"], n),
"maydon": np.random.normal(70, 20, n).round(0),
"narx": np.random.normal(130, 30, n).round(1),
})
df.loc[np.random.choice(n, 15, replace=False), "narx"] = np.nan
df = pd.concat([df, df.iloc[:4]], ignore_index=True)
print("=== 1. Hajm ===")
print(f" qator: {len(df)}, ustun: {df.shape[1]}")
print("\n=== 2. Sifat ===")
yet = (df.isna().mean() * 100).round(1)
for ustun, foiz in yet.items():
print(f" {ustun}: {foiz}% yetishmaydi")
print(f" dublikat qator: {int(df.duplicated().sum())}")
print("\n=== 3. Hisobot uchun bir gap ===")
print(f" '{len(df)} qator, narxda {yet['narx']}% yetishmovchilik, "
f"{int(df.duplicated().sum())} dublikat'")
print(" ⭐ Ma'lumot pasporti — hisobotning asosi")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Hajm ===
qator: 304, ustun: 3
=== 2. Sifat ===
shahar: 0.0% yetishmaydi
maydon: 0.0% yetishmaydi
narx: 4.9% yetishmaydi
dublikat qator: 6
=== 3. Hisobot uchun bir gap ===
'304 qator, narxda 4.9% yetishmovchilik, 6 dublikat'
⭐ Ma'lumot pasporti — hisobotning asosiNima ko'rsatdi: 2.1, 2.5-bo'limlar.
Misol 2 — Topilma: da'vo + dalil + ma'nosi
"""Topilmani yozish: da'vo + dalil + ma'nosi (real pandas/numpy)."""
import numpy as np
import pandas as pd
def main() -> None:
np.random.seed(0)
df = pd.DataFrame({
"shahar": np.repeat(["Toshkent", "Samarqand"], 150),
"narx": np.concatenate([np.random.normal(140, 30, 150),
np.random.normal(118, 28, 150)]),
})
print("=== 1. Yomon topilma ===")
print(" '2-grafikda shaharlar bo'yicha narx ko'rsatilgan'")
print("\n=== 2. Dalil (raqamlar) ===")
med = df.groupby("shahar")["narx"].median().round(0)
t, s = med["Toshkent"], med["Samarqand"]
farq = round((t - s) / s * 100)
print(f" median: Toshkent {t:.0f}, Samarqand {s:.0f} (ming $)")
print("\n=== 3. Yaxshi topilma ===")
print(f" da'vo: Toshkent uylari ~{farq}% qimmatroq")
print(f" dalil: median {t:.0f} vs {s:.0f} ming $, n=150 + 150")
print(" ma'nosi: shahar — narx modelida muhim belgi")
print(" ⭐ Da'vo + dalil + ma'nosi")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Yomon topilma ===
'2-grafikda shaharlar bo'yicha narx ko'rsatilgan'
=== 2. Dalil (raqamlar) ===
median: Toshkent 144, Samarqand 115 (ming $)
=== 3. Yaxshi topilma ===
da'vo: Toshkent uylari ~25% qimmatroq
dalil: median 144 vs 115 ming $, n=150 + 150
ma'nosi: shahar — narx modelida muhim belgi
⭐ Da'vo + dalil + ma'nosiNima ko'rsatdi: 2.3-bo'lim.
Misol 3 — Da'vo-sarlavhali grafik
"""Hisobot grafigi: da'vo-sarlavha (real matplotlib)."""
import os
import tempfile
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt
import numpy as np
def main() -> None:
np.random.seed(0)
toshkent = np.random.normal(140, 30, 150)
samarqand = np.random.normal(118, 28, 150)
print("=== 1. Grafik (bitta topilma) ===")
fig, ax = plt.subplots(figsize=(6, 4))
ax.boxplot([toshkent, samarqand], tick_labels=["Toshkent", "Samarqand"])
ax.set_title("Toshkent uylari ~25% qimmatroq")
ax.set_ylabel("Narx, ming $")
print("\n=== 2. Tekshiruv ===")
print(f" sarlavha: '{ax.get_title()}' (da'vo)")
print(f" y o'qi: '{ax.get_ylabel()}' (birlik bor)")
print("\n=== 3. Saqlash ===")
yol = os.path.join(tempfile.gettempdir(), "topilma_1.png")
fig.savefig(yol, dpi=80)
plt.close(fig)
print(f" saqlandi: {os.path.basename(yol)}, {os.path.getsize(yol) > 0}")
print(" ⭐ Sarlavha — da'vo, o'q — birlik")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Grafik (bitta topilma) ===
=== 2. Tekshiruv ===
sarlavha: 'Toshkent uylari ~25% qimmatroq' (da'vo)
y o'qi: 'Narx, ming $' (birlik bor)
=== 3. Saqlash ===
saqlandi: topilma_1.png, True
⭐ Sarlavha — da'vo, o'q — birlikNima ko'rsatdi: 2.3, 2.4-bo'limlar.
Misol 4 — Markdown hisobotni avtomatik yig'ish
"""EDA hisobotini Markdown faylga yig'ish (real pandas/numpy)."""
import os
import tempfile
import numpy as np
import pandas as pd
def main() -> None:
np.random.seed(0)
df = pd.DataFrame({
"shahar": np.repeat(["Toshkent", "Samarqand"], 150),
"maydon": np.random.normal(70, 20, 300),
})
df["narx"] = 50 + 1.2 * df["maydon"] + np.where(
df["shahar"] == "Toshkent", 20, 0) + np.random.normal(0, 15, 300)
r = df["maydon"].corr(df["narx"])
med = df.groupby("shahar")["narx"].median()
qatorlar = [
"# EDA hisoboti: uy narxlari",
"## Asosiy xulosa",
f"- Maydon va narx kuchli bog'liq (r = {r:.2f})",
f"- Toshkent median narxi {med['Toshkent']:.0f}, "
f"Samarqand {med['Samarqand']:.0f} ming $",
"## Ma'lumot",
f"- {len(df)} qator, {df.shape[1]} ustun",
"## Cheklovlar",
"- Faqat 2 shahar; EDA natijasi dalil emas (gipoteza)",
"## Takrorlash",
f"- seed=0, pandas {pd.__version__.split('.')[0]}.x",
]
yol = os.path.join(tempfile.gettempdir(), "eda_hisobot.md")
with open(yol, "w", encoding="utf-8") as f:
f.write("\n".join(qatorlar))
print("=== Hisobot fayli ===")
with open(yol, encoding="utf-8") as f:
print(f.read())
os.remove(yol)
print("\n ⭐ Hisobot — kod bilan yig'iladi (takrorlanadi)")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== Hisobot fayli ===
# EDA hisoboti: uy narxlari
## Asosiy xulosa
- Maydon va narx kuchli bog'liq (r = 0.82)
- Toshkent median narxi 156, Samarqand 132 ming $
## Ma'lumot
- 300 qator, 3 ustun
## Cheklovlar
- Faqat 2 shahar; EDA natijasi dalil emas (gipoteza)
## Takrorlash
- seed=0, pandas 3.x
⭐ Hisobot — kod bilan yig'iladi (takrorlanadi)Nima ko'rsatdi: 2.1, 2.6-bo'limlar.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "Ko'p grafik — yaxshi hisobot" | Topilma → bitta grafik |
| "Xulosa oxirida" | Xulosa birinchi (piramida) |
| "Bir hisobot hammaga" | Auditoriyaga moslash |
| "Sarlavha — mavzu nomi" | Sarlavha — da'vo |
| "Cheklov — zaiflik" | Cheklov — halollik |
| "EDA isbotladi" | Gipoteza (8.8) |
| "Aniq raqam yaxshi" | Mos aniqlik (~140 ming $) |
| "Notebook — hisobot" | Notebook — ilova |
6. Keng tarqalgan xatolar va yechimlari
1. Grafik to'kish
# 60 ta grafik, izohsiz # ⚠️
# har topilma — bitta grafik + bir gap; qolgani ilovada # ✅2. Xulosa oxirida
# kirish → usul → ... → 40-sahifada xulosa # ⚠️
# 1-sahifa: asosiy xulosa (3-5 topilma) # ✅3. Mavzu-sarlavha
ax.set_title("Narx taqsimoti") # ⚠️
ax.set_title("Narxlar o'ngga qiyshiq: 10% uy — narxning 30%") # ✅4. Jargon menejerga
# "kurtosis 4.2, IQR bo'yicha 12 outlier" # ⚠️
# "12 ta uy odatdagidan ancha qimmat — tekshirish kerak" # ✅5. Cheklovsiz
# "Toshkent qimmatroq" (hamma narsa aniq ko'rinadi) # ⚠️
# + "Cheklov: faqat 2025 yil, 2 shahar; gipoteza" # ✅6. Ortiqcha aniqlik
print(f"{140237.8412} $") # ⚠️
print(f"~{round(140237.8412 / 1000)} ming $") # ✅7. Takrorlanmas
# seed yo'q, fayl nomi yo'q, versiya yo'q # ⚠️
# "Takrorlash" bo'limi: seed, fayl, sana, pandas versiyasi # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 8.1-8.8-darslar (o'tilgan): Hisobot topilmalari manbai
- 5.12-5.13-darslar (o'tilgan): Yaxshi va halol grafik
- 6.11-dars (o'tilgan): Tozalash quvuri (takrorlash)
- 8.10-dars: EDA amaliy loyiha (to'liq hisobot)
- Keyingi qismlar: ML natijalari hisoboti (xuddi shu tamoyillar)
8. Eng yaxshi amaliyotlar
Xulosa birinchi — 3-5 topilma.
Auditoriyani aniqlang.
Topilma — da'vo + dalil + ma'nosi.
Sarlavha — da'vo.
Bitta topilma — bitta grafik.
Cheklovlarni ochiq yozing.
Gipotezani dalil deb yozmang.
Takrorlash bo'limi — seed, versiya, fayl.
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # hisobotda nima birinchi?
2. # piramida tamoyili?
3. # menejerga nima kerak?
4. # topilma formulasi?
5. # yaxshi sarlavha?
6. # nechta grafik bir topilmaga?
7. # cheklov nega kerak?
8. # EDA topilmasi = isbot?
9. # takrorlash uchun nima?
10. # 60 ta grafik qayerga?
11. # "140237.84 $" to'g'rimi?
12. # jargon kimga mos?Javoblar
- Asosiy xulosa
- Muhim narsa birinchi
- Xulosa va qaror
- Da'vo + dalil + ma'nosi
- Da'vo (mavzu emas)
- Bitta
- Halollik, noto'g'ri qarordan himoya
- Yo'q, gipoteza
- Kod, seed, versiya, fayl
- Ilovaga
- Yo'q — "~140 ming $"
- Texnik jamoaga
Vazifa 2: Xatolarni tuzating
1. ax.set_title("Maydon va narx")
2. # xulosa 40-sahifada
3. # "Toshkent qimmatligi isbotlandi"
4. # "remont narxni oshiradi"
5. # seed yo'qJavoblar
1. ax.set_title("Katta uy — qimmat: r = 0.8")
2. # 1-sahifada asosiy xulosa
3. # "gipoteza: Toshkent qimmatroq — tekshirish kerak"
4. # "remontli uylar qimmatroq — aloqa, sabab emas"
5. np.random.seed(0) # va hisobotda yozingVazifa 3: Tuzilma
Modellang:
- Asosiy xulosa
- Maqsad va ma'lumot
- Topilmalar
- Cheklovlar va keyingi qadamlar
Vazifa 4: Auditoriya
Modellang:
- Menejer versiyasi
- DS jamoa versiyasi
- Muhandis versiyasi
- Farqlar
Vazifa 5: Topilma
Modellang:
- Da'vo
- Dalil
- Ma'nosi
- Da'vo-sarlavhali grafik
Vazifa 6: Integratsiya
Modellang:
- EDA topilmalari (8.1-8.8)
- Grafik tamoyillari (5.12)
- Halollik (5.13)
- Gipotezalar (8.8)
Vazifa 7: O'ylash
Ko'p tahlilchilar yaxshi EDA qiladi, lekin ularning ishi hech qanday qarorga ta'sir qilmaydi. Nima uchun "tahlil qildim" va "tahlilim qarorni o'zgartirdi" orasida katta farq bor, va nima uchun hisobot yozish Data Scientist uchun kod yozish kabi muhim ko'nikma?
Javob
Qisqa javob: tahlilning qiymati — u o'zgartirgan qarorda. Qarorni odamlar qabul qiladi, odamlar esa faqat tushungan va ishongan narsaga asoslanadi. Hisobot — tahlil va qaror orasidagi yagona ko'prik.
1. Nega yaxshi tahlil yo'qoladi
- Xulosa ko'milgan (60 grafik orasida)
- Til noto'g'ri (jargon — menejer tushunmaydi)
- "So what?" yo'q (topilma bor, ma'nosi yo'q)
- Ishonch yo'q (cheklovlar yashiringan — bitta xato hammasini shubha ostiga qo'yadi)
2. Hisobot nimani beradi
| Tahlil | Hisobot |
|---|---|
| Topilma | Qaror uchun asos |
| Notebook | Tushunarli hikoya |
| Raqamlar | Ma'no (so what) |
| Ichki bilim | Jamoa bilimi (takrorlanadi) |
3. Nega kod kabi muhim
- Kod — kompyuterga, hisobot — odamga (ikkalasi ham "dasturlash")
- Yaxshi kod qayta ishlatiladi; yaxshi hisobot qayta o'qiladi va keltiriladi
- Data Scientist qiymati — qarorlar orqali o'lchanadi, qatorlar soni orqali emas
4. Data Scientist qanday
- Avval savol va auditoriya (kim, qanday qaror)
- Xulosa birinchi, da'vo-sarlavhalar
- Cheklovlarni ochiq yozish (ishonch)
- Takrorlanadigan kod (hisobot avtomatik yig'iladi)
5. Xulosa
- Tahlil qiymati — o'zgargan qarorda
- Hisobot — tahlil va qaror orasidagi ko'prik
- Halollik (cheklovlar) — ishonch manbai
- Hisobot yozish — asosiy ko'nikma, qo'shimcha emas
Nimani mustahkamlaydi: 2.1, 2.2, 2.5-bo'limlar.
Xulosa
Bu darsda EDA hisobotini o'rgandik.
Eng muhim uch fikr:
Xulosa birinchi. Hisobot tuzilmasi — piramida: asosiy xulosa (3-5 topilma) tepada, keyin maqsad, ma'lumot pasporti, topilmalar, gipotezalar 8.8-bob, cheklovlar, keyingi qadamlar; texnik tafsilot — ilovada. Auditoriyaga moslang: menejer — qaror va oddiy til; jamoa — usul va raqamlar; muhandis — ma'lumot sifati.
Topilma = da'vo + dalil + ma'nosi. Har topilma — bir gap da'vo, raqam va bitta aniq grafik 5.12-bob, va "so what". Grafik sarlavhasi ham da'vo ("Narx taqsimoti" emas — "Narxlar o'ngga qiyshiq"). Mos aniqlik ("~140 ming $").
Halollik va takrorlanuvchanlik. Cheklovlarni ochiq yozing (qamrov, sifat, EDA ≠ dalil, aloqa ≠ sabab); gipotezani isbot deb yozmang 8.8-bob. Hisobot kod bilan yig'ilsin va "Takrorlash" bo'limi bo'lsin (seed, fayl, versiya). Tuzoqlar: grafik to'kish, xulosa oxirida, jargon, cheklovsiz, ortiqcha aniqlik.
Keyingi darsda EDA amaliy loyihasini qilamiz: to'liq sikl — savol, ma'lumot pasporti, bir va ikki o'zgaruvchi tahlili, korrelyatsiya, anomaliyalar, segmentlar, gipotezalar va yakuniy hisobot — 8-qismning barcha bilimlari bitta loyihada.
Izohlar (0)
Izoh yozish uchun kiring.
- Hozircha izoh yo'q. Birinchi bo'ling!