In [1]:
# k-Fold Cross Validation
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
In [2]:
# Veri Setimiz
url='https://raw.githubusercontent.com/cagriemreakin/Machine-Learning/master/5%20-Model%20Selection/2%20-%20Grid%20Search/sosyal_ag_reklamlari.csv'
dataset = pd.read_csv(url)
X = dataset.iloc[:, [2, 3]].values
y = dataset.iloc[:, 4].values
In [3]:
# Eğitim ve Veri Setine Ayırma
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)
In [4]:
# Feature Scaling
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.transform(X_test)
C:\Users\ceakn\Anaconda3\lib\site-packages\sklearn\utils\validation.py:429: DataConversionWarning: Data with input dtype int64 was converted to float64 by StandardScaler.
  warnings.warn(msg, _DataConversionWarning)
In [5]:
# Kernel SVM
from sklearn.svm import SVC
classifier = SVC(kernel = 'rbf', random_state = 0)
classifier.fit(X_train, y_train)
Out[5]:
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=0, shrinking=True,
  tol=0.001, verbose=False)
In [6]:
# Test Set Tahmini
y_pred = classifier.predict(X_test)
In [7]:
# Confusion Matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)
cm
Out[7]:
array([[64,  4],
       [ 3, 29]])
In [8]:
# K-Fold Cross Validation
from sklearn.model_selection import cross_val_score
#Estimator'ımıza oluşturduğumuz modeli gönderiyoruz, cv : kaç parçaya bölüneceğini belirler.Genellikle 10 alınır.
accuracies = cross_val_score(estimator = classifier, X = X_train, y = y_train, cv = 10)
print("Ortalama değer (mean): %",round(accuracies.mean()*100,2))
print("std: %",round(accuracies.std()*100))
Ortalama değer (mean): % 90.05
std: % 6.0

Kernel SVM Parameters

C : float, varsayılan =1.0 Hata teriminin ceza parametresi C.

kernel : string, varsayılan değer 'rbf'tir. Modelde kullanılacak kernel tipini belirlemek için kullanılır. linear,poly,rbf,sigmoid,precomputed ya da callable olmak zorundadır.Hiçbiri kullanılmazsa 'rbf' otomatik olarak seçilir. degree : int, varsayılan değeri 3'tür. Eğer kernel = poly olduğunda kullanılır.Diğer kernel'lar için yoksayılır.

gamma : float bir değerdir. Varsayılan değeri (auto) 1/değişken sayısıdır. 'rbf' , 'poly' ve 'sigmoid' ile birlikte kullanılır.

In [9]:
# Grid Search
#Biraz zaman alabilir :/
from sklearn.model_selection import GridSearchCV

param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]
parameters = [{'C': param_range, 'kernel': ['linear']},
              {'C': param_range, 'kernel': ['rbf'], 'gamma': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]},
              {'C': param_range, 'kernel': ['poly'],'degree':[2,3,4], 'gamma': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]},
              {'C': param_range, 'kernel': ['sigmoid'], 'gamma': [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9]}]
grid_search = GridSearchCV(estimator = classifier,
                           param_grid = parameters,
                           scoring = 'accuracy', #Puanlamayı doğruluğa göre yap
                           cv = 10, #K fold değeri
                           n_jobs = -1) # -1 bütün çekirdekleri kullan
grid_search = grid_search.fit(X_train, y_train)
best_accuracy = grid_search.best_score_
best_parameters = grid_search.best_params_
In [10]:
print('En iyi tahmin oranı: %',round(best_accuracy*100,2))
print('En iyi parametreler: ',best_parameters)
En iyi tahmin oranı: % 90.33
En iyi parametreler:  {'C': 1.0, 'gamma': 0.7, 'kernel': 'rbf'}
  • Kernal SVM modeli için en iyi parametreler yukarıda listelenmiştir.Modelimizi bu parametre değerlerini kullanarak eğitirsek en iyi performansı almış oluruz.
In [11]:
# Eğitim Seti Görselleştirme
from matplotlib.colors import ListedColormap
X_set, y_set = X_train, y_train
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('Kernel SVM (Training set)')
plt.xlabel('Yas')
plt.ylabel('Maas')
plt.legend()
plt.show()
In [12]:
#Test Set Görselleştirme
from matplotlib.colors import ListedColormap
X_set, y_set = X_test, y_test
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('Kernel SVM (Test set)')
plt.xlabel('Yas')
plt.ylabel('Maas')
plt.legend()
plt.show()
In [ ]: