Makine Öğrenmesi ve Optimizasyon

• Makine öğrenmesi optimizasyonunda temel amacımızın tahminin doğruluğunu arttırmak olduğunu biliyoruz. Lineer regresyonda'da bu doğruluk oranlarını test etmek için Mean Squared Error (MSE), Mean Absolute Error (MAE) gibi yöntemleri kullandığımızı öğrenmiştik.
• Optimizasyonu, modelimize en uygun parametreleri seçerek yani, hata değerlerini(MSE, MAE vs.) düşürerek gerçekleştiriyoruz.
• Bu hata değerlerini düşürebilmek için de çeşitli yöntemler var. Bu yazımızda Lineer Regresyon üzerinden anlatımını gerçekleştireceğiz.
• Modelimizin optimizasyonunu sağlamak için ve en doğru parametreleri belirleyebilmek için aşağıdaki kavramları ayrıntılı olarak inceleyeceğiz.
  1. Cost Function(Maliyet Fonksiyonu)
  2. Ordinary Least Squares(En Küçük Kareler Yöntemi)
  3. Gradient Descent(Gradyan İnişi) --->(Bir sonraki yazımızda göreceğiz)

1. Cost Function(Maliyet Fonksiyonu) Nedir?

• Cost Function, optimizasyonun temel taşıdır.

• Cost Function, bir makine öğrenmesi modelinin tahminlerinin ne kadar yanlış olduğunu ölçmek için kullanılan matematiksel bir fonksiyondur.

• Modelin performansını değerlendirmek, optimizasyon sırasında hatayı düşürmek için araç olarak kullanırız.

  ⚠️ Cost Function, modelin doğruluk oranını doğrudan arttırmaz, modelin doğruluk oranını incelemek için kullanırız. Başka bir deyişle, bize modelin doğruluk oranını gösterir. Biz de bu doğruluk oranlarını analiz ederek modelimiz için en doğru parametreleri seçmeye çalışırız.

• Cost function'un formülü, kullanılan makine öğrenmesi modeline ve hata ölçüm yöntemine göre değişir. Örneğin, bu yazımızda lineer regresyon modelinde ve MSE hata ölçümü yöntemini kullanarak anlatımını gerçekleştireceğiz.

• Genellikle, lineer regresyon gibi en temel makine öğrenmesi modelleri için kullanılan en yaygın maliyet fonksiyonu MSE hata ölçümü yöntemi üzerine kuruludur.

Cost function, $J(\theta)$ ile ifade edilir.(Cost Function = $J(\theta)$)

• Veya birden fazla değişken olduğu durumlarda, $J(\theta)$ gösterimi ile genelleyebileceğiniz gibi ayrıca, $J(\theta_0, \theta_1)$ ile de gösterimini yapabilirsiniz.

• $J(\theta)$: Parametrelerin($\theta$) başarımını ölçer.

MSE hata ölçümü yöntemininin formülünü bir önceki yazımızdan hatırlayacak olursak:

Eğer MSE formülümüze bir de $\frac{1}{2}$ ifadesini ekleyecek olursak, bu cost function'a dönecektir:

Neden $\frac{1}{2}$ ifadesini formülümüze ekledik? Eklemesek olmaz mıydı?

• Tabii ki, MSE formülünü direkt olarak maliyet fonksiyonu olarak tanımlayabilirdiniz. Ancak bir sonraki yazımızda göreceğimiz Gradient Descent yönteminde türev işlemi alma aşamasında bize matematiksel kolaylık sağlaması için konulmuş ve böyle kabul görmüş.

Terminoloji:

• $J(\theta)$: Cost function, parametrelerin($\theta$) başarımını ölçer.
• m: Eğitim veri setindeki örnek sayısı.
• $\big(h_\theta(x^{(i)}))$: Modelin i-inci tahmini ( $h_\theta(x) = \theta_0 + \theta_1x$ )
• $y^{(i)}$: i-inci noktadaki gerçek değer.
• $\big(h_\theta(x^{(i)}) - y^{(i)}\big)^2$: i-inci tahmin ve gerçek değer arasındaki hatanın karesi.

Cost Function(Maliyet Fonksiyonu) Nasıl Çalışır?

1. Modelin tahminleri (h(x)) gerçek değerlerden (y) uzaksa:

• Maliyet fonksiyonun değeri büyük olur.

2. Modelin tahminleri gerçek değerlere yaklaştıkça:

• Maliyet fonksiyonun değeri küçük olur.

3. Hedef:

• $J(\theta) = 0$, eşitliğine olabildiğince yaklaşabilmek için gerekli olan $\theta$ değerini, değerlerini elde edebilmek.

Cost Function(Maliyet Fonksiyonu) Nasıl Minimize Edilir?

Maliyet fonksiyonunu minimize etmek için çeşitli fonksiyonlar kullanabiliriz. Bu yazıda yaygın olan 2 fonksiyonu göreceğiz.

• Ordinary Least Squares(En Küçük Kareler Yöntemi)
• Gradient Descent(Gradyan İnişi)

2. Ordinary Least Squares(En Küçük Kareler Yöntemi, OLS) Nedir?

• OLS'nin amacı, bir bağımlı değişken (y) ile bir veya daha fazla bağımsız değişken ($x_0, x_1, ..., x_n$) arasındaki ilişkiyi modelleyen bir lineer regresyon hipotezi/fonksiyonu ($y = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + ...$) için en iyi parametreleri bulmaktır.

Ordinary Least Squares(OLS) Kapalı Form İle Parametrelerin Bulunması

• $\Theta$: Bir vektördür/matristir ve doğrusal regresyon modelinin tüm katsayılarını ($\Theta_0$, $\Theta_1$, $\Theta_2$, ..., $\Theta_n$) içerir.

  • $$\Theta= \begin{bmatrix} \Theta_1 \\ \Theta_2 \\ .\\ .\\ .\\ \Theta_n \\ \end{bmatrix}$$

• X: Özellik(feature) matrisidir. 0. Sütun komple 1 yapılır

  • $$X= \begin{bmatrix} 1 & x_{11} & x_{12} & \cdots & x_{1K} \\ 1 & x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n1} & x_{n2} & \cdots & x_{nK} \end{bmatrix}$$

• Y: Bir sütun vektörüdür/matrisidir ve yalnızca bağımlı değişken değerlerini içerir.

  • $$Y= \begin{bmatrix} Y_1 \\ Y_2 \\ .\\ .\\ .\\ Y_n \\ \end{bmatrix}$$

Şekil 2.'deki veris setindeki katsayıları başka bir deyişle parametreleri($\Theta$) bulmak için bir örnek yapalım:

• Soru: Şekil 2.'deki veriseti için kapalı form yöntemini kullanarak parametreleri bulun ve modelin hipotez(tahmin) fonksiyonunu oluşturun. Ardından yaşı 22, kilosu 73 olan birisi için tahminde bulunun.

• Çözüm(numpy ile siz de deneyebilirsiniz.):

  • $\Theta = (X^T X)^{-1} X^T Y$

  $$X = \begin{bmatrix} 1 & 11 & 59.7 \\ 1 & 8 & 48.9 \\ 1 & 17 & 73.0 \\ 1 & 15 & 71.7 \\ 1 & 12 & 59.1 \\ 1 & 17 & 72.4 \\ 1 & 9 & 58.8 \\ 1 & 11 & 60.9 \\ 1 & 14 & 67.1 \\ 1 & 7 & 53.5 \end{bmatrix} \quad Y = \begin{bmatrix} 145.53 \\ 123.35 \\ 177.57 \\ 167.93 \\ 149.58 \\ 182.82 \\ 135.16 \\ 146.58 \\ 171.31 \\ 129.69 \end{bmatrix}$$
  $$X^T = \begin{bmatrix} 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 11 & 8 & 17 & 15 & 12 & 17 & 9 & 11 & 14 & 7 \\ 59.7 & 48.9 & 73.0 & 71.7 & 59.1 & 72.4 & 58.8 & 60.9 & 67.1 & 53.5 \end{bmatrix}$$
  $$X^T X = \begin{bmatrix} 10 & 121 & 625.1 \\ 121 & 1579 & 7817.4 \\ 625.1 & 7817.4 & 39690.67 \end{bmatrix}$$

  4. ...

  5. CEVAP:
  $$\Theta = \begin{bmatrix} 52.7333 \\ 3.7882 \\ 0.8700 \end{bmatrix}$$ $$h(x) = 52.7333 + 3.7882 \cdot x_1 + 0.8700 \cdot x_2$$ $$h(22, 73) = 52.7333 + 3.7882 \cdot 22 + 0.8700 \cdot 73$$ $$h(22, 73) = 199.58cm$$

  (Veri setinin az olmasından dolayı tahmin, boyumun yanından geçemedi😅. Neyse, biz cevabı bulduk 🤓.)

• Bu yazımızda OLS ve Maliyet fonksiyonu kavramlarını öğrendik ve kapalı form çözümüyle bir veri setinin katsayılarını hesaplayarak hipotez fonksiyonunu bulduk.
• Bir sonraki yazımız, Gradient Descent üzerine olacak. Bu yazıyı fazla uzatmamak adına ayrı olarak yazma kararı aldım. Zaman ayırdığınız için teşekkürler. Gradient Descent'e konusunda görüşmek üzere 👋👋👋🤙