Data Science va sun'iy intellekt13.5-dars: Polinomial va nochiziqli belgilar
Data Science va sun'iy intellekt · Regressiya

13.5-dars: Polinomial va nochiziqli belgilar

18 daqiqa5/12-dars

13-QISM — REGRESSIYA · 5-dars


1. Kirish va motivatsiya

Chiziqli model koeffitsiyentlarga nisbatan chiziqli — bu esa katta erkinlik beradi: x^2, log x, sin x yoki x1 × x2 belgilarini qo'shsangiz, model nochiziqli bog'liqlikni ushlaydi, lekin baribir chiziqli regressiya bo'lib qoladi (tez, barqaror, talqin qilinadigan).

Bu darsda: polinomial belgilar va ularning xavfi, splaynlar (bo'lakli polinomlar) — nega ular polinomdan yaxshiroq, o'zaro ta'sir (interaction) belgilari, transformatsiyalar (log, sqrt, teskari), binning va nochiziqlikni qanday tanlash (CV bilan, ko'z bilan emas).

Real vaziyat. Energiya kompaniyasi harorat bo'yicha iste'molni bashorat qiladi. Chiziqli model yomon ishladi (MAE 480 kVt), chunki bog'liqlik U shaklida: sovuqda isitish, issiqda konditsioner. 2-darajali polinom MAE ni 310 ga tushirdi, splayn esa 240 ga — chunki bog'liqlik simmetrik parabola emas edi. 12-darajali polinom sinaldi: o'quvda ajoyib, test'da 520 — klassik overfitting 12.4-bob.

Bu darsda nochiziqlikni chiziqli model ichida ushlashni o'rganamiz.

Bu darsda:

  • Polinomial belgilar
  • Splaynlar
  • O'zaro ta'sirlar
  • Transformatsiyalar
  • Binning
  • Nochiziqlikni tanlash
  • Tuzoqlar
  • Amaliy: harorat va iste'mol

ℹ Misollar real numpy/sklearn bilan (Python 3.14).


2. Nazariya — chuqur tushuntirish

2.1. Polinomial belgilar

python
from sklearn.preprocessing import PolynomialFeatures

PolynomialFeatures(degree=2)                  # 1, x1, x2, x1^2, x1x2, x2^2
PolynomialFeatures(degree=2, include_bias=False)
PolynomialFeatures(degree=2, interaction_only=True)   # faqat x1x2

Belgi soni tez o'sadi: p belgi, d daraja → C(p+d, d) ta belgi
  p=10, d=2 → 66;  p=10, d=3 → 286;  p=20, d=3 → 1771

Polinomial belgilar — eng oddiy nochiziqlik: x^2, x^3. Ikki xavfi bor: (1) belgi soni portlaydi (kombinatorik o'sish — 9.2) va overfitting boshlanadi; (2) yuqori darajali polinomlar chekkalarda yovvoyi harakat qiladi (Runge hodisasi) — ekstrapolyatsiya halokatli. Amalda daraja 2, ba'zan 3 — undan yuqorisi kamdan-kam oqlanadi.

2.2. Splaynlar

python
from sklearn.preprocessing import SplineTransformer

SplineTransformer(n_knots=5, degree=3)        # kubik B-splayn

Splayn = BO'LAKLI polinom: har bo'lakda past darajali, tugunlarda silliq ulanadi
Afzalligi: mahalliy — bir joydagi ma'lumot boshqa joyni buzmaydi
           chekkalarda barqaror (polinomdan farqli)
n_knots — moslashuvchanlikni boshqaradi (CV bilan tanlanadi)

Splayn — nochiziqlik uchun amaliy standart: u polinomning ikkala kamchiligini ham hal qiladi. n_knots ortsa moslashuvchanlik ortadi (va overfitting xavfi) — bu giperparametr, GridSearchCV bilan tanlanadi 12.6-bob. Ko'p hollarda n_knots=5..10, degree=3 yaxshi boshlang'ich.

2.3. O'zaro ta'sirlar

text
O'zaro ta'sir: bir belgining ta'siri ikkinchisiga BOG'LIQ

y = w0 + w1·maydon + w2·markaz + w3·(maydon × markaz)
  markaz=0: nishab = w1
  markaz=1: nishab = w1 + w3      ← markazda har m^2 boshqacha baholanadi

Qachon kerak: domen mantiqi aytsa (narx × hudud, dori × yosh, reklama × mavsum)
Diqqat: o'zaro ta'sir bilan asosiy ta'sirni ham qoldiring (ierarxiya qoidasi)

O'zaro ta'sir — chiziqli modeldagi eng foydali kengaytma: u "ta'sir hammaga bir xil" degan qattiq taxminni bo'shatadi. Daraxt modellari o'zaro ta'sirni avtomatik topadi — chiziqli modelda esa siz qo'lda qo'shasiz, bu esa domen bilimini talab qiladi, lekin talqinni saqlaydi.

2.4. Transformatsiyalar

text
log(x)      — kamayuvchi qaytim; o'ng qiyshiq belgi;  x > 0
sqrt(x)     — yumshoqroq log
1/x         — teskari bog'liqlik (tezlik ↔ vaqt)
x^2         — U yoki teskari U shakl
log(y)      — ko'paytiruvchi xato, foizli talqin 13.3-bob

Tanlash: domen mantiqi + qoldiqlar grafigi 13.4-bob + CV

Transformatsiya ko'pincha polinomdan yaxshiroq: u domen mantiqiga asoslanadi va bitta belgi qo'shmaydi. Masalan, reklama va sotuv orasida log(x) — "kamayuvchi qaytim" iqtisodiy qonuni; masofa va vaqt orasida 1/x — fizika. Bunday belgilar barqaror va tushunarli bo'ladi.

2.5. Binning

text
Uzluksiz belgini oraliqlarga bo'lish: yosh → [18-25], [26-35], [36-50], [50+]
  KBinsDiscretizer yoki pd.cut

Afzalligi: har qanday shaklni ushlaydi, outlierlarga chidamli, talqin oson
Kamchiligi: ma'lumot yo'qotiladi, chegaralarda sakrash, ko'p belgi

Ko'pincha splayn yaxshiroq — u silliq va kamroq ma'lumot yo'qotadi

Binning — sodda va ba'zan foydali (ayniqsa biznes segmentlari bilan mos kelsa), lekin u ma'lumot yo'qotadi: 25 va 26 yosh bir xil bo'lib qoladi, 25 va 35 esa bir xil. Statistik nuqtai nazardan splayn deyarli har doim ustun; binning faqat talqin yoki mavjud segmentatsiya talab qilganda tanlanadi.

2.6. Nochiziqlikni tanlash

text
1. Qoldiqlar grafigi 13.4-bob — nochiziqlik BORmi?
2. Domen mantiqi — qanday shakl kutiladi?
3. Nomzodlarni CV bilan solishtirish:
     chiziqli | log | polinom(2,3) | splayn(5,10 tugun) | binning
4. Eng soddasini tanlash (farq SD dan kichik bo'lsa — 11.1)
5. Ekstrapolyatsiya xavfini tekshirish

Nochiziqlik shakli CV bilan tanlanadi, "grafikka qarab" emas — ko'z osongina shovqinda naqsh ko'radi. Lekin domen mantiqi birinchi: agar nazariya log deyayotgan bo'lsa, undan boshlang. Va har doim soddalik tomonga og'ing: 3-darajali polinom 2-darajalidan 0.002 R^2 yaxshi bo'lsa, 2-darajasini oling.

2.7. Tuzoqlar

Asosiy tuzoqlar: yuqori darajali polinom (overfitting va chekkalarda portlash); polinom bilan ekstrapolyatsiya; polinomdan oldin markazlashtirmaslik (kollinearlik: x va x^2 kuchli bog'liq); o'zaro ta'sir qo'shib asosiy ta'sirni olib tashlash; nochiziqlikni test to'plamida tanlash 12.3-bob; binning chegaralarini maqsadga qarab tanlash (leakage — 12.9); transformatsiyadan keyin talqinni o'zgartirmaslik 13.3-bob; pipeline'siz transformatsiya 12.9-bob.

2.8. Nochiziqlik — belgilarda

Chiziqli model nochiziqlikni belgilar orqali ushlaydi: polinom (daraja 2-3, chekkalarda xavfli), splayn (bo'lakli polinom — mahalliy va barqaror, amaliy standart), o'zaro ta'sir (x1 × x2 — "ta'sir boshqa belgiga bog'liq"), transformatsiya (log/sqrt/1/x — domen mantiqidan) va binning (sodda, lekin ma'lumot yo'qotadi). Shakl CV bilan tanlanadi, ko'z bilan emas, va eng soddasi afzal ko'riladi. Keyingi dars — gradient tushish: koeffitsiyentlarni iterativ topish.


3. Tez ma'lumotnoma

python
import numpy as np
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (KBinsDiscretizer, PolynomialFeatures,
                                   SplineTransformer, StandardScaler)
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV

# polinom (markazlashtirish bilan)
Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(2, include_bias=False)),
          ("m", Ridge())])

# splayn
Pipeline([("s", SplineTransformer(n_knots=6, degree=3)), ("m", Ridge())])
GridSearchCV(pipe, {"s__n_knots": [4, 6, 8, 12]}, cv=5)

# o'zaro ta'sir
PolynomialFeatures(2, interaction_only=True, include_bias=False)

# binning
KBinsDiscretizer(n_bins=5, encode="onehot-dense", strategy="quantile")
QOIDA: splayn > polinom · daraja 2-3 · CV bilan tanla · pipeline ichida

Nochiziqlik xulosasi

Polinom — sodda, chekkalarda xavfli · Splayn — mahalliy, barqaror (afzal)
O'zaro ta'sir — "ta'sir boshqasiga bog'liq" · Transformatsiya — domen mantiqidan
Binning — talqin uchun, ma'lumot yo'qotadi · Tanlov — CV bilan, eng soddasi

4. Batafsil misollar

Misollar real numpy/sklearn bilan (Python 3.14).

Misol 1 — Polinom va splayn: U shaklli bog'liqlik

python
"""Harorat va energiya iste'moli (real numpy/sklearn)."""

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures, SplineTransformer, StandardScaler


def yarat(seed: int = 5, n: int = 2000):
    rng = np.random.default_rng(seed)
    harorat = rng.uniform(-15, 40, n)
    isitish = np.maximum(0, 18 - harorat) * 95          # sovuqda
    sovutish = np.maximum(0, harorat - 24) * 130        # issiqda
    iste = 2200 + isitish + sovutish + rng.normal(0, 60, n)
    return harorat.reshape(-1, 1), iste


def polinom(d: int) -> Pipeline:
    return Pipeline([("sc", StandardScaler()),
                     ("p", PolynomialFeatures(d, include_bias=False)),
                     ("m", LinearRegression())])


def splayn(k: int) -> Pipeline:
    return Pipeline([("s", SplineTransformer(n_knots=k, degree=3)),
                     ("m", LinearRegression())])


def main() -> None:
    X, y = yarat()
    cv = KFold(5, shuffle=True, random_state=0)
    natija = {}

    def mae(nom: str, model) -> float:
        if nom not in natija:
            natija[nom] = -cross_val_score(
                model, X, y, cv=cv, scoring="neg_mean_absolute_error").mean()
        return natija[nom]

    print("=== 1. Chiziqli model ===")
    print(f"  CV MAE = {mae('chiziqli', LinearRegression()):.1f} kVt")
    print("  (bog'liqlik V shaklida — bitta to'g'ri chiziq mos kelmaydi)")
    print(f"  shovqin darajasi: ~{0.8 * 60:.0f} kVt (nazariy chegara)")

    print("\n=== 2. Polinomlar ===")
    for d in [2, 3, 5, 9, 15]:
        print(f"  daraja {d:>2}: CV MAE = {mae(f'p{d}', polinom(d)):6.1f}")

    print("\n=== 3. Splaynlar ===")
    for k in [4, 6, 8, 12, 20]:
        print(f"  {k:>2} tugun: CV MAE = {mae(f's{k}', splayn(k)):6.1f}")

    print("\n=== 4. Bir xil moslashuvchanlikda taqqoslash ===")
    print(f"  {'parametr':>9} {'polinom':>18} {'splayn':>18}")
    for d, k in [(3, 4), (5, 6), (9, 8)]:
        print(f"  {'~' + str(d + 1):>9} "
              f"{f'daraja {d}: {natija[chr(112) + str(d)]:.1f}':>18} "
              f"{f'{k} tugun: {natija[chr(115) + str(k)]:.1f}':>18}")
    print(f"  shovqin chegarasi ~{0.8 * 60:.0f} kVt")
    print("  splayn kamroq parametr bilan chegaraga yaqinlashadi;")
    print("  polinom esa faqat yuqori darajada yetadi — bu chekkalarda xavfli (Misol 2)")
    print("  ⭐ Splayn bo'lakli shaklni arzonroq va xavfsizroq ushlaydi")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Chiziqli model ===
  CV MAE = 621.7 kVt
  (bog'liqlik V shaklida — bitta to'g'ri chiziq mos kelmaydi)
  shovqin darajasi: ~48 kVt (nazariy chegara)

=== 2. Polinomlar ===
  daraja  2: CV MAE =  242.6
  daraja  3: CV MAE =   99.4
  daraja  5: CV MAE =   64.3
  daraja  9: CV MAE =   51.2
  daraja 15: CV MAE =   50.3

=== 3. Splaynlar ===
   4 tugun: CV MAE =   59.9
   6 tugun: CV MAE =   55.6
   8 tugun: CV MAE =   50.6
  12 tugun: CV MAE =   50.2
  20 tugun: CV MAE =   49.8

=== 4. Bir xil moslashuvchanlikda taqqoslash ===
   parametr            polinom             splayn
         ~4     daraja 3: 99.4      4 tugun: 59.9
         ~6     daraja 5: 64.3      6 tugun: 55.6
        ~10     daraja 9: 51.2      8 tugun: 50.6
  shovqin chegarasi ~48 kVt
  splayn kamroq parametr bilan chegaraga yaqinlashadi;
  polinom esa faqat yuqori darajada yetadi — bu chekkalarda xavfli (Misol 2)
  ⭐ Splayn bo'lakli shaklni arzonroq va xavfsizroq ushlaydi

Nima ko'rsatdi: 2.1, 2.2-bo'limlar.

Misol 2 — Polinomning chekkalardagi xavfi

python
"""Ekstrapolyatsiya va Runge hodisasi (real numpy/sklearn)."""

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (PolynomialFeatures, SplineTransformer,
                                   StandardScaler)


def main() -> None:
    rng = np.random.default_rng(3)
    n = 300
    x = rng.uniform(0, 10, n)
    y = 20 + 3 * x + 8 * np.sin(x) + rng.normal(0, 1.5, n)
    X = x.reshape(-1, 1)

    print("=== 1. O'quv diapazonida sifat ===")
    modellar = {
        "polinom 3": Pipeline([("sc", StandardScaler()),
                               ("p", PolynomialFeatures(3, include_bias=False)),
                               ("m", LinearRegression())]),
        "polinom 9": Pipeline([("sc", StandardScaler()),
                               ("p", PolynomialFeatures(9, include_bias=False)),
                               ("m", LinearRegression())]),
        "splayn 8": Pipeline([("s", SplineTransformer(n_knots=8, degree=3)),
                              ("m", LinearRegression())]),
    }
    ichki = np.linspace(0.5, 9.5, 200).reshape(-1, 1)
    haqiqiy_ichki = 20 + 3 * ichki[:, 0] + 8 * np.sin(ichki[:, 0])
    for nom, m in modellar.items():
        m.fit(X, y)
        xato = np.abs(m.predict(ichki) - haqiqiy_ichki).mean()
        print(f"  {nom:<10}: o'rtacha xato {xato:6.2f}")

    print("\n=== 2. Diapazondan tashqarida (11..14) ===")
    tash = np.linspace(11, 14, 50).reshape(-1, 1)
    haqiqiy_tash = 20 + 3 * tash[:, 0] + 8 * np.sin(tash[:, 0])
    for nom, m in modellar.items():
        bash = m.predict(tash)
        print(f"  {nom:<10}: bashorat oralig'i "
              f"[{bash.min():10.1f}, {bash.max():10.1f}], "
              f"haqiqiy [{haqiqiy_tash.min():.1f}, {haqiqiy_tash.max():.1f}]")

    print("\n=== 3. x = 14 nuqtasida ===")
    for nom, m in modellar.items():
        print(f"  {nom:<10}: {m.predict([[14.0]])[0]:12.1f} "
              f"(haqiqiy {20 + 3 * 14 + 8 * np.sin(14):.1f})")

    print("\n=== 4. Xulosa ===")
    print("  yuqori darajali polinom chekkalarda portlaydi (Runge hodisasi)")
    print("  ⭐ Ekstrapolyatsiya har qanday modelda xavfli, polinomda — halokatli")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. O'quv diapazonida sifat ===
  polinom 3 : o'rtacha xato   3.69
  polinom 9 : o'rtacha xato   0.28
  splayn 8  : o'rtacha xato   0.29

=== 2. Diapazondan tashqarida (11..14) ===
  polinom 3 : bashorat oralig'i [      41.5,       54.0], haqiqiy [45.0, 69.9]
  polinom 9 : bashorat oralig'i [   -2034.2,       28.6], haqiqiy [45.0, 69.9]
  splayn 8  : bashorat oralig'i [      45.3,       45.3], haqiqiy [45.0, 69.9]

=== 3. x = 14 nuqtasida ===
  polinom 3 :         41.5 (haqiqiy 69.9)
  polinom 9 :      -2034.2 (haqiqiy 69.9)
  splayn 8  :         45.3 (haqiqiy 69.9)

=== 4. Xulosa ===
  yuqori darajali polinom chekkalarda portlaydi (Runge hodisasi)
  ⭐ Ekstrapolyatsiya har qanday modelda xavfli, polinomda — halokatli

Nima ko'rsatdi: 2.1, 2.7-bo'limlar.

Misol 3 — O'zaro ta'sir

python
"""Ta'sir boshqa belgiga bog'liq bo'lganda (real numpy/sklearn)."""

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score


def main() -> None:
    rng = np.random.default_rng(17)
    n = 3000
    maydon = rng.lognormal(np.log(70), 0.33, n).clip(28, 260)
    markaz = (rng.random(n) < 0.35).astype(float)
    # markazda har m^2 qimmatroq: 2.4 vs 1.1
    narx = (20 + 1.1 * maydon + 1.3 * maydon * markaz + 10 * markaz
            + rng.normal(0, 12, n))
    cv = KFold(5, shuffle=True, random_state=0)

    print("=== 1. O'zaro ta'sirsiz model ===")
    X1 = np.column_stack([maydon, markaz])
    m1 = LinearRegression().fit(X1, narx)
    print(f"  maydon {m1.coef_[0]:+.3f}, markaz {m1.coef_[1]:+.2f}")
    print(f"  CV R^2 = {cross_val_score(LinearRegression(), X1, narx, cv=cv).mean():.4f}")

    print("\n=== 2. O'zaro ta'sir bilan ===")
    X2 = np.column_stack([maydon, markaz, maydon * markaz])
    m2 = LinearRegression().fit(X2, narx)
    print(f"  maydon {m2.coef_[0]:+.3f}, markaz {m2.coef_[1]:+.2f}, "
          f"maydon×markaz {m2.coef_[2]:+.3f}")
    print(f"  CV R^2 = {cross_val_score(LinearRegression(), X2, narx, cv=cv).mean():.4f}")

    print("\n=== 3. Talqin ===")
    print(f"  chekka hududda har m^2: {m2.coef_[0]:+.3f} ming (haqiqiy 1.10)")
    print(f"  markazda har m^2:       {m2.coef_[0] + m2.coef_[2]:+.3f} ming "
          f"(haqiqiy 2.40)")
    print("  markaz koeffitsiyenti endi 'maydon = 0 dagi farq' — yakka ma'nosi yo'q")

    print("\n=== 4. Bashoratdagi farq ===")
    for m_kv in [40, 80, 150]:
        b1 = m1.predict([[m_kv, 1.0]])[0]
        b2 = m2.predict([[m_kv, 1.0, m_kv * 1.0]])[0]
        haqiqiy = 20 + 1.1 * m_kv + 1.3 * m_kv + 10
        print(f"  markazda {m_kv:>3} m^2: o'zaro ta'sirsiz {b1:7.1f}, "
              f"bilan {b2:7.1f}, haqiqiy {haqiqiy:7.1f}")
    print("  ⭐ O'zaro ta'sir — 'ta'sir hammaga bir xil' taxminini bo'shatadi")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. O'zaro ta'sirsiz model ===
  maydon +1.552, markaz +105.06
  CV R^2 = 0.9110

=== 2. O'zaro ta'sir bilan ===
  maydon +1.100, markaz +8.28, maydon×markaz +1.310
  CV R^2 = 0.9685

=== 3. Talqin ===
  chekka hududda har m^2: +1.100 ming (haqiqiy 1.10)
  markazda har m^2:       +2.410 ming (haqiqiy 2.40)
  markaz koeffitsiyenti endi 'maydon = 0 dagi farq' — yakka ma'nosi yo'q

=== 4. Bashoratdagi farq ===
  markazda  40 m^2: o'zaro ta'sirsiz   153.7, bilan   124.8, haqiqiy   126.0
  markazda  80 m^2: o'zaro ta'sirsiz   215.8, bilan   221.2, haqiqiy   222.0
  markazda 150 m^2: o'zaro ta'sirsiz   324.4, bilan   389.9, haqiqiy   390.0
  ⭐ O'zaro ta'sir — 'ta'sir hammaga bir xil' taxminini bo'shatadi

Nima ko'rsatdi: 2.3-bo'lim.

Misol 4 — Nomzodlarni CV bilan solishtirish

python
"""Qaysi nochiziqlik shakli kerak (real numpy/sklearn)."""

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import KFold, cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import (FunctionTransformer, KBinsDiscretizer,
                                   PolynomialFeatures, SplineTransformer,
                                   StandardScaler)


def main() -> None:
    rng = np.random.default_rng(23)
    n = 1500
    # reklama va sotuv: kamayuvchi qaytim (log shakli)
    reklama = rng.uniform(100, 20_000, n)
    sotuv = 1500 + 900 * np.log(reklama) + rng.normal(0, 350, n)
    X = reklama.reshape(-1, 1)
    cv = KFold(5, shuffle=True, random_state=0)

    def mae(model):
        b = cross_val_score(model, X, sotuv, cv=cv,
                            scoring="neg_mean_absolute_error")
        return -b.mean(), b.std()

    print("=== 1. Nomzodlar ===")
    nomzodlar = {
        "chiziqli": LinearRegression(),
        "log(x)": Pipeline([("t", FunctionTransformer(np.log)),
                            ("m", LinearRegression())]),
        "sqrt(x)": Pipeline([("t", FunctionTransformer(np.sqrt)),
                             ("m", LinearRegression())]),
        "polinom 2": Pipeline([("sc", StandardScaler()),
                               ("p", PolynomialFeatures(2, include_bias=False)),
                               ("m", LinearRegression())]),
        "polinom 3": Pipeline([("sc", StandardScaler()),
                               ("p", PolynomialFeatures(3, include_bias=False)),
                               ("m", LinearRegression())]),
        "splayn 6": Pipeline([("s", SplineTransformer(n_knots=6, degree=3)),
                              ("m", LinearRegression())]),
        "binning 8": Pipeline([("b", KBinsDiscretizer(n_bins=8, encode="onehot-dense",
                                                      strategy="quantile")),
                               ("m", LinearRegression())]),
    }
    natija = {}
    for nom, m in nomzodlar.items():
        o, sd = mae(m)
        natija[nom] = o
        print(f"  {nom:<11}: CV MAE {o:7.2f} ± {sd:5.2f}")

    print("\n=== 2. Tartib ===")
    for i, (nom, v) in enumerate(sorted(natija.items(), key=lambda t: t[1])[:3], 1):
        print(f"  {i}. {nom:<11} {v:.2f}")

    print("\n=== 3. Soddalik qoidasi ===")
    eng = min(natija.values())
    yaqin = [n for n, v in natija.items() if v <= eng * 1.02]
    print(f"  eng yaxshidan 2% ichida: {yaqin}")
    print("  domen mantiqi log(x) deyapti — uni tanlaymiz")

    print("\n=== 4. Ekstrapolyatsiya tekshiruvi ===")
    sinov = np.array([[25_000.0], [40_000.0]])
    for nom in ["log(x)", "polinom 3", "splayn 6"]:
        m = nomzodlar[nom].fit(X, sotuv)
        b = m.predict(sinov)
        haqiqiy = 1500 + 900 * np.log(sinov[:, 0])
        print(f"  {nom:<11}: {b.round(0)} (haqiqiy {haqiqiy.round(0)})")
    print("  ⭐ Domen mantiqiga mos shakl diapazondan tashqarida ham ishonchli")


if __name__ == "__main__":
    main()

Natijaning muhim qismi:

text
=== 1. Nomzodlar ===
  chiziqli   : CV MAE  378.44 ± 20.61
  log(x)     : CV MAE  277.79 ±  9.77
  sqrt(x)    : CV MAE  324.41 ± 16.81
  polinom 2  : CV MAE  322.01 ± 18.32
  polinom 3  : CV MAE  299.82 ± 15.50
  splayn 6   : CV MAE  281.06 ± 12.01
  binning 8  : CV MAE  329.95 ± 12.85

=== 2. Tartib ===
  1. log(x)      277.79
  2. splayn 6    281.06
  3. polinom 3   299.82

=== 3. Soddalik qoidasi ===
  eng yaxshidan 2% ichida: ['log(x)', 'splayn 6']
  domen mantiqi log(x) deyapti — uni tanlaymiz

=== 4. Ekstrapolyatsiya tekshiruvi ===
  log(x)     : [10625. 11049.] (haqiqiy [10614. 11037.])
  polinom 3  : [12240. 32410.] (haqiqiy [10614. 11037.])
  splayn 6   : [10496. 10496.] (haqiqiy [10614. 11037.])
  ⭐ Domen mantiqiga mos shakl diapazondan tashqarida ham ishonchli

Nima ko'rsatdi: 2.4, 2.6-bo'limlar.


5. To'g'ri va noto'g'ri tushunishlar

Noto'g'ri fikr To'g'risi
"Nochiziqlik — boshqa model kerak" Belgilar bilan yechiladi
"Daraja qancha yuqori — shuncha yaxshi" Overfitting va portlash
"Polinom splayndan sodda" Splayn barqarorroq
"Binning — zararsiz" Ma'lumot yo'qotadi
"O'zaro ta'sirni har doim qo'shish kerak" Domen mantiqi bo'lsa
"Shaklni grafikdan tanlash mumkin" CV bilan
"Polinom bilan ekstrapolyatsiya mumkin" Halokatli
"x va x^2 mustaqil" Kuchli bog'liq

6. Keng tarqalgan xatolar va yechimlari

1. Yuqori daraja

python
PolynomialFeatures(degree=12)                                     # ⚠️
SplineTransformer(n_knots=8, degree=3)                            # ✅

2. Markazlashtirmasdan polinom

python
PolynomialFeatures(3).fit_transform(X)     # x va x^3 kollinear   # ⚠️
Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(3))])# ✅

3. Asosiy ta'sirni tashlab yuborish

python
X = np.column_stack([maydon * markaz])                            # ⚠️
X = np.column_stack([maydon, markaz, maydon * markaz])            # ✅

4. Shaklni testda tanlash

python
# test MAE bo'yicha eng yaxshi darajani tanlash                   # ⚠️
GridSearchCV(pipe, setka, cv=5).fit(X_train, y_train)             # ✅

5. Binning chegaralarini maqsadga qarab tanlash

python
# y ga qarab chegara qo'yish                                      # ⚠️
KBinsDiscretizer(strategy="quantile")  # pipeline ichida          # ✅

6. Transformatsiya pipeline'dan tashqarida

python
X = np.log(X); cross_val_score(model, X, y)                       # ⚠️
Pipeline([("t", FunctionTransformer(np.log)), ("m", model)])      # ✅

7. Talqinni o'zgartirmaslik

python
# log(x) modelida "koeffitsiyent — bir birlik ta'siri"            # ⚠️
# "x 1% oshsa, y w/100 birlik" 13.3-bob                             # ✅

7. Integratsiya — bu bilim qayerda kerak bo'ladi

  • 12.4-dars (o'tilgan): Polinom darajasi va overfitting
  • 13.3-dars (o'tilgan): Transformatsiyalarda talqin
  • 13.4-dars (o'tilgan): Qoldiqlar nochiziqlikni ko'rsatadi
  • 13.7-dars: Ko'p belgi + Ridge
  • Feature engineering qismi: Belgilar yaratish

8. Eng yaxshi amaliyotlar

  1. Avval domen mantiqi.

  2. Splaynni afzal ko'ring.

  3. Darajani 2-3 bilan cheklang.

  4. Polinomdan oldin standartlashtiring.

  5. Ierarxiya qoidasini saqlang.

  6. CV bilan tanlang.

  7. Pipeline ichida qiling.

  8. Ekstrapolyatsiyani tekshiring.


9. Amaliy topshiriq

Vazifa 1: Bashorat qiling

python
1.  # "chiziqli" nimaga nisbatan?
2.  # PolynomialFeatures(2) nima beradi?
3.  # belgi soni qanday o'sadi?
4.  # Runge hodisasi nima?
5.  # splayn nima?
6.  # splaynning afzalligi?
7.  # o'zaro ta'sir nimani anglatadi?
8.  # ierarxiya qoidasi?
9.  # log(x) qachon?
10. # binning kamchiligi?
11. # shakl qanday tanlanadi?
12. # polinomdan oldin nima qilinadi?
Javoblar
  1. Koeffitsiyentlarga
  2. 1, x1, x2, x1^2, x1x2, x2^2
  3. Kombinatorik
  4. Chekkalarda portlash
  5. Bo'lakli polinom
  6. Mahalliy va barqaror
  7. Ta'sir boshqa belgiga bog'liq
  8. O'zaro ta'sir bilan asosiylarni qoldirish
  9. Kamayuvchi qaytim
  10. Ma'lumot yo'qotadi
  11. CV bilan
  12. Standartlashtirish

Vazifa 2: Xatolarni tuzating

python
1.  PolynomialFeatures(degree=15)

2.  PolynomialFeatures(3).fit_transform(X)   # masshtablanmagan

3.  X = np.column_stack([maydon * markaz])

4.  # test bo'yicha eng yaxshi darajani tanlash

5.  X = np.log(X); cross_val_score(model, X, y)
Javoblar
python
1.  SplineTransformer(n_knots=8, degree=3)

2.  Pipeline([("sc", StandardScaler()), ("p", PolynomialFeatures(3))])

3.  X = np.column_stack([maydon, markaz, maydon * markaz])

4.  GridSearchCV(pipe, setka, cv=5).fit(X_train, y_train)

5.  Pipeline([("t", FunctionTransformer(np.log)), ("m", model)])

Vazifa 3: U shaklli bog'liqlik

Modellang:

  1. Harorat va iste'mol
  2. Polinomlar
  3. Splaynlar
  4. Taqqoslash

Vazifa 4: Ekstrapolyatsiya

Modellang:

  1. Uch model
  2. Ichki va tashqi diapazon
  3. Portlash
  4. Xulosa

Vazifa 5: O'zaro ta'sir

Modellang:

  1. Guruhga bog'liq nishab
  2. Ikki model
  3. Talqin
  4. Bashoratlar

Vazifa 6: Shakl tanlash

Modellang:

  1. Yetti nomzod
  2. CV
  3. Soddalik qoidasi
  4. Ekstrapolyatsiya

Vazifa 7: O'ylash

Gradient boosting kabi modellar nochiziqlik va o'zaro ta'sirlarni avtomatik topadi. Shunday ekan, chiziqli modelga qo'lda nochiziqli belgilar qo'shish ortiqcha mehnatmi?

Javob

Qisqa javob: ko'pincha ha — sof bashorat uchun daraxt ansambllari qo'lda belgi muhandisligidan tezroq va yaxshiroq natija beradi. Lekin talqin, ekstrapolyatsiya va kam ma'lumot sharoitida qo'lda qo'shilgan shakl ustun bo'lib qoladi.

1. Avtomatik topishning afzalligi

  • Vaqt tejaydi, domen bilimi talab qilmaydi
  • Ko'p belgili vazifalarda inson topa olmaydigan o'zaro ta'sirlarni topadi
  • Odatda aniqroq (jadval ma'lumotida)

2. Qo'lda shakl qachon ustun

Holat Sabab
Talqin talab qilinadi Koeffitsiyent tushunarli
Kam ma'lumot Daraxtlar ko'p ma'lumot talab qiladi
Ekstrapolyatsiya kerak Daraxt diapazondan tashqarida doimiy
Domen nazariyasi bor Fizika/iqtisod shakli aniq
Tartibga solish talabi Model hujjatlashtiriladi

3. Amaliy strategiya

  1. Baza: chiziqli model + oddiy transformatsiyalar
  2. Gradient boosting bilan solishtirish
  3. Farq kichik bo'lsa — soddasini qoldirish
  4. Boosting yutsa — SHAP bilan qaysi shakl topilganini ko'rish va chiziqli modelga qo'shish

4. Gibrid yondashuv

  • Daraxt topgan nochiziqlikni splayn bilan modellash
  • Chiziqli baza + qoldiqni boosting bilan modellash
  • GAM (generalized additive model) — o'rta yo'l

5. Xulosa

  1. Bashorat uchun — avtomatik usullar kuchli
  2. Talqin va ekstrapolyatsiya uchun — qo'lda shakl
  3. Ikkalasini solishtiring
  4. Daraxt topgan naqshlarni chiziqli modelga o'tkazish mumkin

Nimani mustahkamlaydi: 2.6-bo'lim.


Xulosa

Bu darsda nochiziqli belgilarni o'rgandik.

Eng muhim uch fikr:

  1. Nochiziqlik belgilarda yashiradi. x^2, log x, x1 × x2 qo'shsangiz model chiziqli qoladi (koeffitsiyentlarga nisbatan), lekin nochiziqli bog'liqlikni ushlaydi. Polinom — eng oddiy yo'l, lekin ikkita xavfi bor: belgi soni kombinatorik o'sadi va chekkalarda portlaydi (Runge hodisasi) — ekstrapolyatsiya halokatli.

  2. Splayn — amaliy standart. Bo'lakli polinom mahalliy ishlaydi: bir joydagi ma'lumot boshqa joyni buzmaydi, chekkalarda barqaror. n_knots — giperparametr, CV bilan tanlanadi. Bo'lakli (masalan, U shaklli) bog'liqliklarda splayn polinomdan sezilarli ustun.

  3. Shakl CV bilan tanlanadi. Ko'z shovqinda naqsh ko'radi — nomzodlarni (chiziqli, log, polinom, splayn, binning) bir xil CV bilan solishtiring va farq noaniqlikdan kichik bo'lsa eng soddasini oling 11.1-bob. Domen mantiqi birinchi o'rinda: log(x) kamayuvchi qaytim, 1/x teskari bog'liqlik — bunday belgilar barqaror va diapazondan tashqarida ham ishonchli.

Keyingi darsda gradient tushishni o'rganamiz: koeffitsiyentlarni iterativ topish, o'rganish tezligi, stoxastik variant va nega bu butun Deep Learning asosida yotadi.

Regressiya · 5-dars yakunlandi

13.5-dars: Polinomial va nochiziqli belgilar

18 daqvaqt
0belgi
Keyingi dars: 13.6-dars: Gradient tushish
Telegram'da
Darsda xato koʻrdingizmi?

Izohlar · 0