13.5-dars: Polinomial va nochiziqli belgilar
13-QISM — REGRESSIYA · 5-dars
1. Kirish va motivatsiya
Chiziqli model koeffitsiyentlarga nisbatan chiziqli — bu esa katta erkinlik beradi: x^2, log x, sin x yoki x1 × x2 belgilarini qo'shsangiz, model nochiziqli bog'liqlikni ushlaydi, lekin baribir chiziqli regressiya bo'lib qoladi (tez, barqaror, talqin qilinadigan).
Bu darsda: polinomial belgilar va ularning xavfi, splaynlar (bo'lakli polinomlar) — nega ular polinomdan yaxshiroq, o'zaro ta'sir (interaction) belgilari, transformatsiyalar (log, sqrt, teskari), binning va nochiziqlikni qanday tanlash (CV bilan, ko'z bilan emas).
Real vaziyat. Energiya kompaniyasi harorat bo'yicha iste'molni bashorat qiladi. Chiziqli model yomon ishladi (MAE 480 kVt), chunki bog'liqlik U shaklida: sovuqda isitish, issiqda konditsioner. 2-darajali polinom MAE ni 310 ga tushirdi, splayn esa 240 ga — chunki bog'liqlik simmetrik parabola emas edi. 12-darajali polinom sinaldi: o'quvda ajoyib, test'da 520 — klassik overfitting 12.4-bob.
Bu darsda nochiziqlikni chiziqli model ichida ushlashni o'rganamiz.
Bu darsda:
- Polinomial belgilar
- Splaynlar
- O'zaro ta'sirlar
- Transformatsiyalar
- Binning
- Nochiziqlikni tanlash
- Tuzoqlar
- Amaliy: harorat va iste'mol
ℹ Misollar real numpy/sklearn bilan (Python 3.14).
2. Nazariya — chuqur tushuntirish
2.1. Polinomial belgilar
from sklearn.preprocessing import PolynomialFeatures
PolynomialFeatures(degree=2) # 1, x1, x2, x1^2, x1x2, x2^2
PolynomialFeatures(degree=2, include_bias=False)
PolynomialFeatures(degree=2, interaction_only=True) # faqat x1x2
Belgi soni tez o'sadi: p belgi, d daraja → C(p+d, d) ta belgi
p=10, d=2 → 66; p=10, d=3 → 286; p=20, d=3 → 1771 Polinomial belgilar — eng oddiy nochiziqlik: x^2, x^3. Ikki xavfi bor: (1) belgi soni portlaydi (kombinatorik o'sish — 9.2) va overfitting boshlanadi; (2) yuqori darajali polinomlar chekkalarda yovvoyi harakat qiladi (Runge hodisasi) — ekstrapolyatsiya halokatli. Amalda daraja 2, ba'zan 3 — undan yuqorisi kamdan-kam oqlanadi.
2.2. Splaynlar
from sklearn.preprocessing import SplineTransformer
SplineTransformer(n_knots=5, degree=3) # kubik B-splayn
Splayn = BO'LAKLI polinom: har bo'lakda past darajali, tugunlarda silliq ulanadi
Afzalligi: mahalliy — bir joydagi ma'lumot boshqa joyni buzmaydi
chekkalarda barqaror (polinomdan farqli)
n_knots — moslashuvchanlikni boshqaradi (CV bilan tanlanadi) Splayn — nochiziqlik uchun amaliy standart: u polinomning ikkala kamchiligini ham hal qiladi. n_knots ortsa moslashuvchanlik ortadi (va overfitting xavfi) — bu giperparametr, GridSearchCV bilan tanlanadi 12.6-bob. Ko'p hollarda n_knots=5..10, degree=3 yaxshi boshlang'ich.
2.3. O'zaro ta'sirlar
O'zaro ta'sir: bir belgining ta'siri ikkinchisiga BOG'LIQ
y = w0 + w1·maydon + w2·markaz + w3·(maydon × markaz)
markaz=0: nishab = w1
markaz=1: nishab = w1 + w3 ← markazda har m^2 boshqacha baholanadi
Qachon kerak: domen mantiqi aytsa (narx × hudud, dori × yosh, reklama × mavsum)
Diqqat: o'zaro ta'sir bilan asosiy ta'sirni ham qoldiring (ierarxiya qoidasi)O'zaro ta'sir — chiziqli modeldagi eng foydali kengaytma: u "ta'sir hammaga bir xil" degan qattiq taxminni bo'shatadi. Daraxt modellari o'zaro ta'sirni avtomatik topadi — chiziqli modelda esa siz qo'lda qo'shasiz, bu esa domen bilimini talab qiladi, lekin talqinni saqlaydi.
2.4. Transformatsiyalar
log(x) — kamayuvchi qaytim; o'ng qiyshiq belgi; x > 0
sqrt(x) — yumshoqroq log
1/x — teskari bog'liqlik (tezlik ↔ vaqt)
x^2 — U yoki teskari U shakl
log(y) — ko'paytiruvchi xato, foizli talqin 13.3-bob
Tanlash: domen mantiqi + qoldiqlar grafigi 13.4-bob + CV Transformatsiya ko'pincha polinomdan yaxshiroq: u domen mantiqiga asoslanadi va bitta belgi qo'shmaydi. Masalan, reklama va sotuv orasida log(x) — "kamayuvchi qaytim" iqtisodiy qonuni; masofa va vaqt orasida 1/x — fizika. Bunday belgilar barqaror va tushunarli bo'ladi.
2.5. Binning
Uzluksiz belgini oraliqlarga bo'lish: yosh → [18-25], [26-35], [36-50], [50+]
KBinsDiscretizer yoki pd.cut
Afzalligi: har qanday shaklni ushlaydi, outlierlarga chidamli, talqin oson
Kamchiligi: ma'lumot yo'qotiladi, chegaralarda sakrash, ko'p belgi
Ko'pincha splayn yaxshiroq — u silliq va kamroq ma'lumot yo'qotadiBinning — sodda va ba'zan foydali (ayniqsa biznes segmentlari bilan mos kelsa), lekin u ma'lumot yo'qotadi: 25 va 26 yosh bir xil bo'lib qoladi, 25 va 35 esa bir xil. Statistik nuqtai nazardan splayn deyarli har doim ustun; binning faqat talqin yoki mavjud segmentatsiya talab qilganda tanlanadi.
2.6. Nochiziqlikni tanlash
1. Qoldiqlar grafigi 13.4-bob — nochiziqlik BORmi?
2. Domen mantiqi — qanday shakl kutiladi?
3. Nomzodlarni CV bilan solishtirish:
chiziqli | log | polinom(2,3) | splayn(5,10 tugun) | binning
4. Eng soddasini tanlash (farq SD dan kichik bo'lsa — 11.1)
5. Ekstrapolyatsiya xavfini tekshirish Nochiziqlik shakli CV bilan tanlanadi, "grafikka qarab" emas — ko'z osongina shovqinda naqsh ko'radi. Lekin domen mantiqi birinchi: agar nazariya log deyayotgan bo'lsa, undan boshlang. Va har doim soddalik tomonga og'ing: 3-darajali polinom 2-darajalidan 0.002 R^2 yaxshi bo'lsa, 2-darajasini oling.
2.7. Tuzoqlar
Asosiy tuzoqlar: yuqori darajali polinom (overfitting va chekkalarda portlash); polinom bilan ekstrapolyatsiya; polinomdan oldin markazlashtirmaslik (kollinearlik: x va x^2 kuchli bog'liq); o'zaro ta'sir qo'shib asosiy ta'sirni olib tashlash; nochiziqlikni test to'plamida tanlash 12.3-bob; binning chegaralarini maqsadga qarab tanlash (leakage — 12.9); transformatsiyadan keyin talqinni o'zgartirmaslik 13.3-bob; pipeline'siz transformatsiya 12.9-bob.
2.8. Nochiziqlik — belgilarda
Chiziqli model nochiziqlikni belgilar orqali ushlaydi: polinom (daraja 2-3, chekkalarda xavfli), splayn (bo'lakli polinom — mahalliy va barqaror, amaliy standart), o'zaro ta'sir (x1 × x2 — "ta'sir boshqa belgiga bog'liq"), transformatsiya (log/sqrt/1/x — domen mantiqidan) va binning (sodda, lekin ma'lumot yo'qotadi). Shakl CV bilan tanlanadi, ko'z bilan emas, va eng soddasi afzal ko'riladi. Keyingi dars — gradient tushish: koeffitsiyentlarni iterativ topish.
3. Tez ma'lumotnoma
import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (KBinsDiscretizer, PolynomialFeatures,
SplineTransformer, StandardScaler)
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
# polinom (markazlashtirish bilan)
Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(2, include_bias=False)),
("m", Ridge())])
# splayn
Pipeline([("s", SplineTransformer(n_knots=6, degree=3)), ("m", Ridge())])
GridSearchCV(pipe, {"s__n_knots": [4, 6, 8, 12]}, cv=5)
# o'zaro ta'sir
PolynomialFeatures(2, interaction_only=True, include_bias=False)
# binning
KBinsDiscretizer(n_bins=5, encode="onehot-dense", strategy="quantile")
QOIDA: splayn > polinom · daraja 2-3 · CV bilan tanla · pipeline ichidaNochiziqlik xulosasi
Polinom — sodda, chekkalarda xavfli · Splayn — mahalliy, barqaror (afzal)
O'zaro ta'sir — "ta'sir boshqasiga bog'liq" · Transformatsiya — domen mantiqidan
Binning — talqin uchun, ma'lumot yo'qotadi · Tanlov — CV bilan, eng soddasi4. Batafsil misollar
Misollar real numpy/sklearn bilan (Python 3.14).
Misol 1 — Polinom va splayn: U shaklli bog'liqlik
"""Harorat va energiya iste'moli (real numpy/sklearn)."""
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures, SplineTransformer, StandardScaler
def yarat(seed: int = 5, n: int = 2000):
rng = np.random.default_rng(seed)
harorat = rng.uniform(-15, 40, n)
isitish = np.maximum(0, 18 - harorat) * 95 # sovuqda
sovutish = np.maximum(0, harorat - 24) * 130 # issiqda
iste = 2200 + isitish + sovutish + rng.normal(0, 60, n)
return harorat.reshape(-1, 1), iste
def polinom(d: int) -> Pipeline:
return Pipeline([("sc", StandardScaler()),
("p", PolynomialFeatures(d, include_bias=False)),
("m", LinearRegression())])
def splayn(k: int) -> Pipeline:
return Pipeline([("s", SplineTransformer(n_knots=k, degree=3)),
("m", LinearRegression())])
def main() -> None:
X, y = yarat()
cv = KFold(5, shuffle=True, random_state=0)
natija = {}
def mae(nom: str, model) -> float:
if nom not in natija:
natija[nom] = -cross_val_score(
model, X, y, cv=cv, scoring="neg_mean_absolute_error").mean()
return natija[nom]
print("=== 1. Chiziqli model ===")
print(f" CV MAE = {mae('chiziqli', LinearRegression()):.1f} kVt")
print(" (bog'liqlik V shaklida — bitta to'g'ri chiziq mos kelmaydi)")
print(f" shovqin darajasi: ~{0.8 * 60:.0f} kVt (nazariy chegara)")
print("\n=== 2. Polinomlar ===")
for d in [2, 3, 5, 9, 15]:
print(f" daraja {d:>2}: CV MAE = {mae(f'p{d}', polinom(d)):6.1f}")
print("\n=== 3. Splaynlar ===")
for k in [4, 6, 8, 12, 20]:
print(f" {k:>2} tugun: CV MAE = {mae(f's{k}', splayn(k)):6.1f}")
print("\n=== 4. Bir xil moslashuvchanlikda taqqoslash ===")
print(f" {'parametr':>9} {'polinom':>18} {'splayn':>18}")
for d, k in [(3, 4), (5, 6), (9, 8)]:
print(f" {'~' + str(d + 1):>9} "
f"{f'daraja {d}: {natija[chr(112) + str(d)]:.1f}':>18} "
f"{f'{k} tugun: {natija[chr(115) + str(k)]:.1f}':>18}")
print(f" shovqin chegarasi ~{0.8 * 60:.0f} kVt")
print(" splayn kamroq parametr bilan chegaraga yaqinlashadi;")
print(" polinom esa faqat yuqori darajada yetadi — bu chekkalarda xavfli (Misol 2)")
print(" ⭐ Splayn bo'lakli shaklni arzonroq va xavfsizroq ushlaydi")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Chiziqli model ===
CV MAE = 621.7 kVt
(bog'liqlik V shaklida — bitta to'g'ri chiziq mos kelmaydi)
shovqin darajasi: ~48 kVt (nazariy chegara)
=== 2. Polinomlar ===
daraja 2: CV MAE = 242.6
daraja 3: CV MAE = 99.4
daraja 5: CV MAE = 64.3
daraja 9: CV MAE = 51.2
daraja 15: CV MAE = 50.3
=== 3. Splaynlar ===
4 tugun: CV MAE = 59.9
6 tugun: CV MAE = 55.6
8 tugun: CV MAE = 50.6
12 tugun: CV MAE = 50.2
20 tugun: CV MAE = 49.8
=== 4. Bir xil moslashuvchanlikda taqqoslash ===
parametr polinom splayn
~4 daraja 3: 99.4 4 tugun: 59.9
~6 daraja 5: 64.3 6 tugun: 55.6
~10 daraja 9: 51.2 8 tugun: 50.6
shovqin chegarasi ~48 kVt
splayn kamroq parametr bilan chegaraga yaqinlashadi;
polinom esa faqat yuqori darajada yetadi — bu chekkalarda xavfli (Misol 2)
⭐ Splayn bo'lakli shaklni arzonroq va xavfsizroq ushlaydiNima ko'rsatdi: 2.1, 2.2-bo'limlar.
Misol 2 — Polinomning chekkalardagi xavfi
"""Ekstrapolyatsiya va Runge hodisasi (real numpy/sklearn)."""
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (PolynomialFeatures, SplineTransformer,
StandardScaler)
def main() -> None:
rng = np.random.default_rng(3)
n = 300
x = rng.uniform(0, 10, n)
y = 20 + 3 * x + 8 * np.sin(x) + rng.normal(0, 1.5, n)
X = x.reshape(-1, 1)
print("=== 1. O'quv diapazonida sifat ===")
modellar = {
"polinom 3": Pipeline([("sc", StandardScaler()),
("p", PolynomialFeatures(3, include_bias=False)),
("m", LinearRegression())]),
"polinom 9": Pipeline([("sc", StandardScaler()),
("p", PolynomialFeatures(9, include_bias=False)),
("m", LinearRegression())]),
"splayn 8": Pipeline([("s", SplineTransformer(n_knots=8, degree=3)),
("m", LinearRegression())]),
}
ichki = np.linspace(0.5, 9.5, 200).reshape(-1, 1)
haqiqiy_ichki = 20 + 3 * ichki[:, 0] + 8 * np.sin(ichki[:, 0])
for nom, m in modellar.items():
m.fit(X, y)
xato = np.abs(m.predict(ichki) - haqiqiy_ichki).mean()
print(f" {nom:<10}: o'rtacha xato {xato:6.2f}")
print("\n=== 2. Diapazondan tashqarida (11..14) ===")
tash = np.linspace(11, 14, 50).reshape(-1, 1)
haqiqiy_tash = 20 + 3 * tash[:, 0] + 8 * np.sin(tash[:, 0])
for nom, m in modellar.items():
bash = m.predict(tash)
print(f" {nom:<10}: bashorat oralig'i "
f"[{bash.min():10.1f}, {bash.max():10.1f}], "
f"haqiqiy [{haqiqiy_tash.min():.1f}, {haqiqiy_tash.max():.1f}]")
print("\n=== 3. x = 14 nuqtasida ===")
for nom, m in modellar.items():
print(f" {nom:<10}: {m.predict([[14.0]])[0]:12.1f} "
f"(haqiqiy {20 + 3 * 14 + 8 * np.sin(14):.1f})")
print("\n=== 4. Xulosa ===")
print(" yuqori darajali polinom chekkalarda portlaydi (Runge hodisasi)")
print(" ⭐ Ekstrapolyatsiya har qanday modelda xavfli, polinomda — halokatli")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. O'quv diapazonida sifat ===
polinom 3 : o'rtacha xato 3.69
polinom 9 : o'rtacha xato 0.28
splayn 8 : o'rtacha xato 0.29
=== 2. Diapazondan tashqarida (11..14) ===
polinom 3 : bashorat oralig'i [ 41.5, 54.0], haqiqiy [45.0, 69.9]
polinom 9 : bashorat oralig'i [ -2034.2, 28.6], haqiqiy [45.0, 69.9]
splayn 8 : bashorat oralig'i [ 45.3, 45.3], haqiqiy [45.0, 69.9]
=== 3. x = 14 nuqtasida ===
polinom 3 : 41.5 (haqiqiy 69.9)
polinom 9 : -2034.2 (haqiqiy 69.9)
splayn 8 : 45.3 (haqiqiy 69.9)
=== 4. Xulosa ===
yuqori darajali polinom chekkalarda portlaydi (Runge hodisasi)
⭐ Ekstrapolyatsiya har qanday modelda xavfli, polinomda — halokatliNima ko'rsatdi: 2.1, 2.7-bo'limlar.
Misol 3 — O'zaro ta'sir
"""Ta'sir boshqa belgiga bog'liq bo'lganda (real numpy/sklearn)."""
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
def main() -> None:
rng = np.random.default_rng(17)
n = 3000
maydon = rng.lognormal(np.log(70), 0.33, n).clip(28, 260)
markaz = (rng.random(n) < 0.35).astype(float)
# markazda har m^2 qimmatroq: 2.4 vs 1.1
narx = (20 + 1.1 * maydon + 1.3 * maydon * markaz + 10 * markaz
+ rng.normal(0, 12, n))
cv = KFold(5, shuffle=True, random_state=0)
print("=== 1. O'zaro ta'sirsiz model ===")
X1 = np.column_stack([maydon, markaz])
m1 = LinearRegression().fit(X1, narx)
print(f" maydon {m1.coef_[0]:+.3f}, markaz {m1.coef_[1]:+.2f}")
print(f" CV R^2 = {cross_val_score(LinearRegression(), X1, narx, cv=cv).mean():.4f}")
print("\n=== 2. O'zaro ta'sir bilan ===")
X2 = np.column_stack([maydon, markaz, maydon * markaz])
m2 = LinearRegression().fit(X2, narx)
print(f" maydon {m2.coef_[0]:+.3f}, markaz {m2.coef_[1]:+.2f}, "
f"maydon×markaz {m2.coef_[2]:+.3f}")
print(f" CV R^2 = {cross_val_score(LinearRegression(), X2, narx, cv=cv).mean():.4f}")
print("\n=== 3. Talqin ===")
print(f" chekka hududda har m^2: {m2.coef_[0]:+.3f} ming (haqiqiy 1.10)")
print(f" markazda har m^2: {m2.coef_[0] + m2.coef_[2]:+.3f} ming "
f"(haqiqiy 2.40)")
print(" markaz koeffitsiyenti endi 'maydon = 0 dagi farq' — yakka ma'nosi yo'q")
print("\n=== 4. Bashoratdagi farq ===")
for m_kv in [40, 80, 150]:
b1 = m1.predict([[m_kv, 1.0]])[0]
b2 = m2.predict([[m_kv, 1.0, m_kv * 1.0]])[0]
haqiqiy = 20 + 1.1 * m_kv + 1.3 * m_kv + 10
print(f" markazda {m_kv:>3} m^2: o'zaro ta'sirsiz {b1:7.1f}, "
f"bilan {b2:7.1f}, haqiqiy {haqiqiy:7.1f}")
print(" ⭐ O'zaro ta'sir — 'ta'sir hammaga bir xil' taxminini bo'shatadi")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. O'zaro ta'sirsiz model ===
maydon +1.552, markaz +105.06
CV R^2 = 0.9110
=== 2. O'zaro ta'sir bilan ===
maydon +1.100, markaz +8.28, maydon×markaz +1.310
CV R^2 = 0.9685
=== 3. Talqin ===
chekka hududda har m^2: +1.100 ming (haqiqiy 1.10)
markazda har m^2: +2.410 ming (haqiqiy 2.40)
markaz koeffitsiyenti endi 'maydon = 0 dagi farq' — yakka ma'nosi yo'q
=== 4. Bashoratdagi farq ===
markazda 40 m^2: o'zaro ta'sirsiz 153.7, bilan 124.8, haqiqiy 126.0
markazda 80 m^2: o'zaro ta'sirsiz 215.8, bilan 221.2, haqiqiy 222.0
markazda 150 m^2: o'zaro ta'sirsiz 324.4, bilan 389.9, haqiqiy 390.0
⭐ O'zaro ta'sir — 'ta'sir hammaga bir xil' taxminini bo'shatadiNima ko'rsatdi: 2.3-bo'lim.
Misol 4 — Nomzodlarni CV bilan solishtirish
"""Qaysi nochiziqlik shakli kerak (real numpy/sklearn)."""
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (FunctionTransformer, KBinsDiscretizer,
PolynomialFeatures, SplineTransformer,
StandardScaler)
def main() -> None:
rng = np.random.default_rng(23)
n = 1500
# reklama va sotuv: kamayuvchi qaytim (log shakli)
reklama = rng.uniform(100, 20_000, n)
sotuv = 1500 + 900 * np.log(reklama) + rng.normal(0, 350, n)
X = reklama.reshape(-1, 1)
cv = KFold(5, shuffle=True, random_state=0)
def mae(model):
b = cross_val_score(model, X, sotuv, cv=cv,
scoring="neg_mean_absolute_error")
return -b.mean(), b.std()
print("=== 1. Nomzodlar ===")
nomzodlar = {
"chiziqli": LinearRegression(),
"log(x)": Pipeline([("t", FunctionTransformer(np.log)),
("m", LinearRegression())]),
"sqrt(x)": Pipeline([("t", FunctionTransformer(np.sqrt)),
("m", LinearRegression())]),
"polinom 2": Pipeline([("sc", StandardScaler()),
("p", PolynomialFeatures(2, include_bias=False)),
("m", LinearRegression())]),
"polinom 3": Pipeline([("sc", StandardScaler()),
("p", PolynomialFeatures(3, include_bias=False)),
("m", LinearRegression())]),
"splayn 6": Pipeline([("s", SplineTransformer(n_knots=6, degree=3)),
("m", LinearRegression())]),
"binning 8": Pipeline([("b", KBinsDiscretizer(n_bins=8, encode="onehot-dense",
strategy="quantile")),
("m", LinearRegression())]),
}
natija = {}
for nom, m in nomzodlar.items():
o, sd = mae(m)
natija[nom] = o
print(f" {nom:<11}: CV MAE {o:7.2f} ± {sd:5.2f}")
print("\n=== 2. Tartib ===")
for i, (nom, v) in enumerate(sorted(natija.items(), key=lambda t: t[1])[:3], 1):
print(f" {i}. {nom:<11} {v:.2f}")
print("\n=== 3. Soddalik qoidasi ===")
eng = min(natija.values())
yaqin = [n for n, v in natija.items() if v <= eng * 1.02]
print(f" eng yaxshidan 2% ichida: {yaqin}")
print(" domen mantiqi log(x) deyapti — uni tanlaymiz")
print("\n=== 4. Ekstrapolyatsiya tekshiruvi ===")
sinov = np.array([[25_000.0], [40_000.0]])
for nom in ["log(x)", "polinom 3", "splayn 6"]:
m = nomzodlar[nom].fit(X, sotuv)
b = m.predict(sinov)
haqiqiy = 1500 + 900 * np.log(sinov[:, 0])
print(f" {nom:<11}: {b.round(0)} (haqiqiy {haqiqiy.round(0)})")
print(" ⭐ Domen mantiqiga mos shakl diapazondan tashqarida ham ishonchli")
if __name__ == "__main__":
main()Natijaning muhim qismi:
=== 1. Nomzodlar ===
chiziqli : CV MAE 378.44 ± 20.61
log(x) : CV MAE 277.79 ± 9.77
sqrt(x) : CV MAE 324.41 ± 16.81
polinom 2 : CV MAE 322.01 ± 18.32
polinom 3 : CV MAE 299.82 ± 15.50
splayn 6 : CV MAE 281.06 ± 12.01
binning 8 : CV MAE 329.95 ± 12.85
=== 2. Tartib ===
1. log(x) 277.79
2. splayn 6 281.06
3. polinom 3 299.82
=== 3. Soddalik qoidasi ===
eng yaxshidan 2% ichida: ['log(x)', 'splayn 6']
domen mantiqi log(x) deyapti — uni tanlaymiz
=== 4. Ekstrapolyatsiya tekshiruvi ===
log(x) : [10625. 11049.] (haqiqiy [10614. 11037.])
polinom 3 : [12240. 32410.] (haqiqiy [10614. 11037.])
splayn 6 : [10496. 10496.] (haqiqiy [10614. 11037.])
⭐ Domen mantiqiga mos shakl diapazondan tashqarida ham ishonchliNima ko'rsatdi: 2.4, 2.6-bo'limlar.
5. To'g'ri va noto'g'ri tushunishlar
| Noto'g'ri fikr | To'g'risi |
|---|---|
| "Nochiziqlik — boshqa model kerak" | Belgilar bilan yechiladi |
| "Daraja qancha yuqori — shuncha yaxshi" | Overfitting va portlash |
| "Polinom splayndan sodda" | Splayn barqarorroq |
| "Binning — zararsiz" | Ma'lumot yo'qotadi |
| "O'zaro ta'sirni har doim qo'shish kerak" | Domen mantiqi bo'lsa |
| "Shaklni grafikdan tanlash mumkin" | CV bilan |
| "Polinom bilan ekstrapolyatsiya mumkin" | Halokatli |
| "x va x^2 mustaqil" | Kuchli bog'liq |
6. Keng tarqalgan xatolar va yechimlari
1. Yuqori daraja
PolynomialFeatures(degree=12) # ⚠️
SplineTransformer(n_knots=8, degree=3) # ✅2. Markazlashtirmasdan polinom
PolynomialFeatures(3).fit_transform(X) # x va x^3 kollinear # ⚠️
Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(3))])# ✅3. Asosiy ta'sirni tashlab yuborish
X = np.column_stack([maydon * markaz]) # ⚠️
X = np.column_stack([maydon, markaz, maydon * markaz]) # ✅4. Shaklni testda tanlash
# test MAE bo'yicha eng yaxshi darajani tanlash # ⚠️
GridSearchCV(pipe, setka, cv=5).fit(X_train, y_train) # ✅5. Binning chegaralarini maqsadga qarab tanlash
# y ga qarab chegara qo'yish # ⚠️
KBinsDiscretizer(strategy="quantile") # pipeline ichida # ✅6. Transformatsiya pipeline'dan tashqarida
X = np.log(X); cross_val_score(model, X, y) # ⚠️
Pipeline([("t", FunctionTransformer(np.log)), ("m", model)]) # ✅7. Talqinni o'zgartirmaslik
# log(x) modelida "koeffitsiyent — bir birlik ta'siri" # ⚠️
# "x 1% oshsa, y w/100 birlik" 13.3-bob # ✅7. Integratsiya — bu bilim qayerda kerak bo'ladi
- 12.4-dars (o'tilgan): Polinom darajasi va overfitting
- 13.3-dars (o'tilgan): Transformatsiyalarda talqin
- 13.4-dars (o'tilgan): Qoldiqlar nochiziqlikni ko'rsatadi
- 13.7-dars: Ko'p belgi + Ridge
- Feature engineering qismi: Belgilar yaratish
8. Eng yaxshi amaliyotlar
Avval domen mantiqi.
Splaynni afzal ko'ring.
Darajani 2-3 bilan cheklang.
Polinomdan oldin standartlashtiring.
Ierarxiya qoidasini saqlang.
CV bilan tanlang.
Pipeline ichida qiling.
Ekstrapolyatsiyani tekshiring.
9. Amaliy topshiriq
Vazifa 1: Bashorat qiling
1. # "chiziqli" nimaga nisbatan?
2. # PolynomialFeatures(2) nima beradi?
3. # belgi soni qanday o'sadi?
4. # Runge hodisasi nima?
5. # splayn nima?
6. # splaynning afzalligi?
7. # o'zaro ta'sir nimani anglatadi?
8. # ierarxiya qoidasi?
9. # log(x) qachon?
10. # binning kamchiligi?
11. # shakl qanday tanlanadi?
12. # polinomdan oldin nima qilinadi?Javoblar
- Koeffitsiyentlarga
- 1, x1, x2, x1^2, x1x2, x2^2
- Kombinatorik
- Chekkalarda portlash
- Bo'lakli polinom
- Mahalliy va barqaror
- Ta'sir boshqa belgiga bog'liq
- O'zaro ta'sir bilan asosiylarni qoldirish
- Kamayuvchi qaytim
- Ma'lumot yo'qotadi
- CV bilan
- Standartlashtirish
Vazifa 2: Xatolarni tuzating
1. PolynomialFeatures(degree=15)
2. PolynomialFeatures(3).fit_transform(X) # masshtablanmagan
3. X = np.column_stack([maydon * markaz])
4. # test bo'yicha eng yaxshi darajani tanlash
5. X = np.log(X); cross_val_score(model, X, y)Javoblar
1. SplineTransformer(n_knots=8, degree=3)
2. Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(3))])
3. X = np.column_stack([maydon, markaz, maydon * markaz])
4. GridSearchCV(pipe, setka, cv=5).fit(X_train, y_train)
5. Pipeline([("t", FunctionTransformer(np.log)), ("m", model)])Vazifa 3: U shaklli bog'liqlik
Modellang:
- Harorat va iste'mol
- Polinomlar
- Splaynlar
- Taqqoslash
Vazifa 4: Ekstrapolyatsiya
Modellang:
- Uch model
- Ichki va tashqi diapazon
- Portlash
- Xulosa
Vazifa 5: O'zaro ta'sir
Modellang:
- Guruhga bog'liq nishab
- Ikki model
- Talqin
- Bashoratlar
Vazifa 6: Shakl tanlash
Modellang:
- Yetti nomzod
- CV
- Soddalik qoidasi
- Ekstrapolyatsiya
Vazifa 7: O'ylash
Gradient boosting kabi modellar nochiziqlik va o'zaro ta'sirlarni avtomatik topadi. Shunday ekan, chiziqli modelga qo'lda nochiziqli belgilar qo'shish ortiqcha mehnatmi?
Javob
Qisqa javob: ko'pincha ha — sof bashorat uchun daraxt ansambllari qo'lda belgi muhandisligidan tezroq va yaxshiroq natija beradi. Lekin talqin, ekstrapolyatsiya va kam ma'lumot sharoitida qo'lda qo'shilgan shakl ustun bo'lib qoladi.
1. Avtomatik topishning afzalligi
- Vaqt tejaydi, domen bilimi talab qilmaydi
- Ko'p belgili vazifalarda inson topa olmaydigan o'zaro ta'sirlarni topadi
- Odatda aniqroq (jadval ma'lumotida)
2. Qo'lda shakl qachon ustun
| Holat | Sabab |
|---|---|
| Talqin talab qilinadi | Koeffitsiyent tushunarli |
| Kam ma'lumot | Daraxtlar ko'p ma'lumot talab qiladi |
| Ekstrapolyatsiya kerak | Daraxt diapazondan tashqarida doimiy |
| Domen nazariyasi bor | Fizika/iqtisod shakli aniq |
| Tartibga solish talabi | Model hujjatlashtiriladi |
3. Amaliy strategiya
- Baza: chiziqli model + oddiy transformatsiyalar
- Gradient boosting bilan solishtirish
- Farq kichik bo'lsa — soddasini qoldirish
- Boosting yutsa — SHAP bilan qaysi shakl topilganini ko'rish va chiziqli modelga qo'shish
4. Gibrid yondashuv
- Daraxt topgan nochiziqlikni splayn bilan modellash
- Chiziqli baza + qoldiqni boosting bilan modellash
- GAM (generalized additive model) — o'rta yo'l
5. Xulosa
- Bashorat uchun — avtomatik usullar kuchli
- Talqin va ekstrapolyatsiya uchun — qo'lda shakl
- Ikkalasini solishtiring
- Daraxt topgan naqshlarni chiziqli modelga o'tkazish mumkin
Nimani mustahkamlaydi: 2.6-bo'lim.
Xulosa
Bu darsda nochiziqli belgilarni o'rgandik.
Eng muhim uch fikr:
Nochiziqlik belgilarda yashiradi.
x^2,log x,x1 × x2qo'shsangiz model chiziqli qoladi (koeffitsiyentlarga nisbatan), lekin nochiziqli bog'liqlikni ushlaydi. Polinom — eng oddiy yo'l, lekin ikkita xavfi bor: belgi soni kombinatorik o'sadi va chekkalarda portlaydi (Runge hodisasi) — ekstrapolyatsiya halokatli.Splayn — amaliy standart. Bo'lakli polinom mahalliy ishlaydi: bir joydagi ma'lumot boshqa joyni buzmaydi, chekkalarda barqaror.
n_knots— giperparametr, CV bilan tanlanadi. Bo'lakli (masalan, U shaklli) bog'liqliklarda splayn polinomdan sezilarli ustun.Shakl CV bilan tanlanadi. Ko'z shovqinda naqsh ko'radi — nomzodlarni (chiziqli, log, polinom, splayn, binning) bir xil CV bilan solishtiring va farq noaniqlikdan kichik bo'lsa eng soddasini oling 11.1-bob. Domen mantiqi birinchi o'rinda:
log(x)kamayuvchi qaytim,1/xteskari bog'liqlik — bunday belgilar barqaror va diapazondan tashqarida ham ishonchli.
Keyingi darsda gradient tushishni o'rganamiz: koeffitsiyentlarni iterativ topish, o'rganish tezligi, stoxastik variant va nega bu butun Deep Learning asosida yotadi.
Izohlar · 0
Izoh yozish uchun kiring.