総合実験（４日目）¶
Jupyter Notebookを使った機械学習¶
Jupyter Notebook (IPython Notebook) とは¶
- Python という名のプログラミング言語が使えるプログラミング環境。計算コードと計算結果を同じ場所に時系列で保存できるので、実験系における実験ノートのように、いつどんな処理を行って何を得たのか記録して再現するのに便利。
- 当学の演習室での使い方
- 個人PCでのインストールと始め方
- 小寺研究室 では、MacOSX上で右記のようにセットアップしています。> 環境構築
本実習スタート¶
- 本実習では、人工知能の一分野である「機械学習」のうち、サポートベクトルマシン（SVM: Support Vector Machine）を使います。
- 機械学習とは→ コンピューターに"学習"させる
- サポートベクターマシン ・ サポートベクターマシンとは
- 各自の画面中の IPython Notebook のセルに順次入力して（コピペ可）、「Shift + Enter」してください。
- 最後に、課題を解いてもらいます。課題の結果を、指定する方法で指定するメールアドレスまで送信してください。
In [1]:
import matplotlib.pyplot as plt # 図やグラフを図示するためのライブラリ
import pylab as pl # これも図やグラフを図示するためのライブラリ
# Jupiter Notebook 上で表示させるための呪文
%matplotlib inline
import urllib # URL によるリソースへのアクセスを提供するライブラリ
import random #乱数を発生させるライブラリ
import numpy as np # 数値計算ライブラリ
import pandas as pd # データフレームワーク処理のライブラリ
from pandas.tools import plotting # 高度なプロットを行うツールのインポート
#機械学習のためのいろんなライブラリ
import sklearn.svm as svm
from sklearn.svm import SVC
from sklearn.cross_validation import train_test_split
from sklearn.metrics import roc_curve, precision_recall_curve, auc, classification_report, confusion_matrix
from sklearn import cross_validation as cv
from sklearn import svm, grid_search, datasets
総合実験１日目でも用いたデータをまた使います。
In [2]:
# ウェブ上のリソースを指定する
url = 'https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/iris.txt'
# 指定したURLからリソースをダウンロードし、名前をつける。
urllib.urlretrieve(url, 'iris.txt')
Out[2]:
とりあえずデータを確認するには、こんな方法もあります
In [3]:
# 先頭N行を表示する。カラムのタイトルも確認する。
pd.DataFrame(pd.read_csv('iris.txt', sep='\t', na_values=".")).head()
Out[3]:
In [4]:
# "Species" 列の値を重複を除いて全てリストアップする。
print list(set(pd.read_csv('iris.txt', sep='\t', na_values=".")["Species"]))
In [5]:
# それぞれに与える色を決める。
color_codes = {'setosa':'#00FF00', 'versicolor':'#FF0000', 'virginica':'#0000FF'}
In [6]:
# サンプル毎に色を与える。
colors = [color_codes[x] for x in list(pd.read_csv('iris.txt', sep='\t', na_values=".")["Species"])]
In [7]:
# 色分けした Scatter Matrix を描く。
df = pd.read_csv('iris.txt', sep='\t', na_values=".") # データの読み込み
plotting.scatter_matrix(df[['Sepal.Length', 'Sepal.Width', 'Petal.Length', 'Petal.Width']], figsize=(10, 10), color=colors) #データのプロット
plt.show()
データの整形¶
Nをサンプル数、Mを特徴量の数とする。dataからtargetを予測する問題を解く。
- feature_names : 特徴量の名前（M次元のベクトル）
- sample_names : サンプルの名前（N次元のベクトル）
- target_names : 目的変数の名前（N次元のベクトル）
- data : 説明変数（N行M列の行列）
- target : 目的変数（N次元のベクトル）
In [8]:
# 説明変数と目的変数に分ける。
data = []
target = []
feature_names = []
sample_names = []
target_names = []
for i, line in enumerate(open("iris.txt")):
a = line.replace("\n", "").split("\t")
if i == 0:
for j, word in enumerate(a):
if j == 0:
continue
elif j == len(a) - 1:
continue
else:
feature_names.append(word)
else:
vec = []
for j, word in enumerate(a):
if j == 0:
sample_names.append(word)
elif j == len(a) - 1:
word = word.strip()
if word not in target_names:
target_names.append(word)
target.append(target_names.index(word))
else:
vec.append(float(word))
data.append(vec)
In [9]:
# 名前の確認
print feature_names
print sample_names
print target_names
In [10]:
# 説明変数の確認
print data
In [11]:
# 目的変数の確認
print target
データのシャッフル¶
- 今のままだと、同じ目的変数同士でサンプルが固まっているので、サンプルの順番をランダムに入れ替えます。
In [12]:
# データをシャッフルする
p = range(len(sample_names)) # Python 2 の場合
# p = list(range(len(sample_names))) # Python 3 の場合
random.seed(0)
random.shuffle(p)
sample_names = list(np.array(sample_names)[p])
data = np.array(data)[p]
target = list(np.array(target)[p])
In [13]:
# シャッフル後のデータを確認
print sample_names
In [14]:
# シャッフル後のデータを確認
print data
In [15]:
# シャッフル後のデータを確認
print target
In [16]:
# データを分割。test_size=0.8 は、学習：テスト のデータ量比が 2:8 であることを指す。
data_train, data_test, target_train, target_test, sample_names_train, sample_names_test = train_test_split(
data, target, sample_names, test_size=0.8, random_state=0)
In [17]:
# 分割後のデータの確認（学習用）
print sample_names_train
print target_train
print data_train
In [18]:
# 分割後のデータの確認（テスト用）
print sample_names_test
print target_test
print data_test
SVMで学習・予測¶
学習用データ（ data_train と target_train ) の関係を学習して、テスト用データ( data_test )から正解( target_test ) を予測する、という流れになります。
In [19]:
# Linear SVM で学習・予測
classifier = svm.SVC(kernel='linear', probability=True)
#probas = classifier.fit(data_train, target_train).predict_proba(data_test)
pred = classifier.fit(data_train, target_train).predict(data_test)
In [20]:
# 予測結果
pd.DataFrame(pred).T
Out[20]:
In [21]:
#正解
pd.DataFrame(target_test).T
Out[21]:
混同行列 (confusion matrix)¶
データの分類で、うまくできた・できなかった回数を数えた表
In [22]:
# 予測と正解の比較。第一引数が行、第二引数が列を表す。
pd.DataFrame(confusion_matrix(pred, target_test))
Out[22]:
正解率 (Accuracy) の計算¶
In [23]:
# cv=5 で５分割クロスバリデーションし精度を計算
score=cv.cross_val_score(classifier,data,target,cv=5,n_jobs=-1)
print("Accuracy: {0:04.4f} (+/- {1:04.4f})".format(score.mean(),score.std()))
AUPRスコア と AUCスコア¶
性能評価によく使われるのがAUPRスコアとAUCスコア
- AUPRスコア : Precision-Recallカーブ下の面積。 → Precision-Recallカーブの例
- AUCスコア : ROCカーブ下の面積。→ ROC曲線・ROC曲線
In [24]:
# AUPR や AUC スコアを出そうと思ったらターゲットをバイナリ（二値）にしないといけないっぽい。
# そこで、ラベルが2のものを無視して、ラベル0のものとラベル1のものを区別する。
data2 = []
target2 = []
for da, ta in zip(data, target):
if ta == 2:
continue
data2.append(da)
target2.append(ta)
In [25]:
# 二値になっていることを確認
print target2
In [26]:
# データをシャッフル
p = range(len(data2))
random.seed(0)
random.shuffle(p)
sample_names = list(np.array(sample_names)[p])
data2 = np.array(data2)[p]
target2 = list(np.array(target2)[p])
In [27]:
# データを分割。test_size=0.8 は、学習：テスト のデータ量比が 2:8 であることを指す。
data_train, data_test, target_train, target_test, sample_names_train, sample_names_test = train_test_split(
data2, target2, sample_names, test_size=0.8, random_state=0)
In [28]:
# Linear SVM で学習・予測
classifier = svm.SVC(kernel='linear', probability=True)
probas = classifier.fit(data_train, target_train).predict_proba(data_test)
pred = classifier.fit(data_train, target_train).predict(data_test)
In [29]:
# AUPR score を出す。ラベル0とラベル1の区別は簡単
precision, recall, thresholds = precision_recall_curve(target_test, probas[:, 1])
area = auc(recall, precision)
print "AUPR score: %0.2f" % area
In [30]:
# AUC scoreを出す。ラベル0とラベル1の区別は簡単
fpr, tpr, thresholds = roc_curve(target_test, probas[:, 1])
roc_auc = auc(fpr, tpr)
print "AUC score: %f" % roc_auc
予測が簡単すぎてツマラナイので、もう少し難しくします。¶
In [31]:
# ラベルが0のものを無視して、ラベル1のものとラベル2のものを区別する。
# ラベルはバイナリ(0か1)でないといけないので、ここでは1のものを0と呼び、2のものを1と呼ぶように変換する。
data2 = []
target2 = []
for da, ta in zip(data, target):
if ta == 0:
continue
data2.append(da)
target2.append(ta - 1)
In [32]:
# データをシャッフル
p = range(len(data2))
random.seed(0)
random.shuffle(p)
shuffled_sample_names = list(np.array(sample_names)[p])
shuffled_data = np.array(data2)[p]
shuffled_target = list(np.array(target2)[p])
In [33]:
# データを分割。test_size=0.8 は、学習：テスト のデータ量比が 2:8 であることを指す。
data_train, data_test, target_train, target_test, sample_names_train, sample_names_test = train_test_split(
data2, target2, sample_names, test_size=0.8, random_state=0)
In [34]:
# Linear SVM で学習・予測
classifier = svm.SVC(kernel='linear', probability=True)
probas = classifier.fit(data_train, target_train).predict_proba(data_test)
pred = classifier.fit(data_train, target_train).predict(data_test)
In [35]:
# AUPRスコアを出す
precision, recall, thresholds = precision_recall_curve(target_test, probas[:, 1])
area = auc(recall, precision)
print "AUPR score: %0.2f" % area
In [36]:
# AUCスコアを出す。
fpr, tpr, thresholds = roc_curve(target_test, probas[:, 1])
roc_auc = auc(fpr, tpr)
print "ROC score : %f" % roc_auc
In [37]:
# PR curve を描く
pl.clf()
pl.plot(recall, precision, label='Precision-Recall curve')
pl.xlabel('Recall')
pl.ylabel('Precision')
pl.ylim([0.0, 1.05])
pl.xlim([0.0, 1.0])
pl.title('Precision-Recall example: AUPR=%0.2f' % area)
pl.legend(loc="lower left")
pl.show()
In [38]:
# ROC curve を描く
pl.clf()
pl.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)
pl.plot([0, 1], [0, 1], 'k--')
pl.xlim([0.0, 1.0])
pl.ylim([0.0, 1.0])
pl.xlabel('False Positive Rate')
pl.ylabel('True Positive Rate')
pl.title('Receiver operating characteristic example')
pl.legend(loc="lower right")
pl.show()
まだ予測が簡単すぎてツマラナイので、さらに難しくします。¶
In [39]:
# 予測を難しくするため、不要な特徴量（ノイズ）を加える
np.random.seed(0)
data2 = np.c_[data2, np.random.randn(len(target2), 96)]
In [40]:
# 新しいデータを確認。
# 左の４列は元々のデータにあった数字なので、正しい分類に使える数字のはず。
# 右の96列はランダムなノイズなので、正しい分類には使えない数字のはず。
pd.DataFrame(data2)
Out[40]:
In [41]:
# データをシャッフル
p = range(len(data2))
random.seed(0)
random.shuffle(p)
shuffled_sample_names = list(np.array(sample_names)[p])
shuffled_data = np.array(data2)[p]
shuffled_target = list(np.array(target2)[p])
In [42]:
# データを分割。test_size=0.8 は、学習：テスト のデータ量比が 2:8 であることを指す。
data_train, data_test, target_train, target_test, sample_names_train, sample_names_test = train_test_split(
data2, target2, sample_names, test_size=0.8, random_state=0)
In [43]:
# Linear SVM で学習・予測
classifier = svm.SVC(kernel='linear', probability=True)
probas = classifier.fit(data_train, target_train).predict_proba(data_test)
pred = classifier.fit(data_train, target_train).predict(data_test)
In [44]:
# AUPRスコアを出す
precision, recall, thresholds = precision_recall_curve(target_test, probas[:, 1])
area = auc(recall, precision)
print "AUPR score: %0.2f" % area
In [45]:
# AUCスコアを出す
fpr, tpr, thresholds = roc_curve(target_test, probas[:, 1])
roc_auc = auc(fpr, tpr)
print "AUC curve : %f" % roc_auc
In [46]:
# PR curve を描く
pl.clf()
pl.plot(recall, precision, label='Precision-Recall curve')
pl.xlabel('Recall')
pl.ylabel('Precision')
pl.ylim([0.0, 1.05])
pl.xlim([0.0, 1.0])
pl.title('Precision-Recall curve: AUPR=%0.2f' % area)
pl.legend(loc="lower left")
pl.show()
In [47]:
# ROC curve を描く
pl.clf()
pl.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)
pl.plot([0, 1], [0, 1], 'k--')
pl.xlim([0.0, 1.0])
pl.ylim([0.0, 1.0])
pl.xlabel('False Positive Rate')
pl.ylabel('True Positive Rate')
pl.title('ROC curve: AUC=%0.2f' % roc_auc)
pl.legend(loc="lower right")
pl.show()
ということで、分類に寄与しない余計な成分が増えると、分類が難しくなることが分かりましたね。
グリッドサーチによるパラメータ最適化¶
グリッドサーチとは、機械学習モデルのハイパーパラメータをいろいろ変えながら予測と評価を繰り返し、最適なものを探す手法。
In [48]:
# グリッドサーチを行うためのパラメーター
parameters = [{'kernel': ['rbf'], 'gamma': [1e-3, 1e-4],
'C': [1, 10, 100, 1000]},
{'kernel': ['linear'], 'C': [1, 10, 100, 1000]}]
In [49]:
# ベストなパラメーターを探し当てるためのグリッドサーチ
clf = grid_search.GridSearchCV(SVC(C=1), parameters, cv=5, n_jobs=-1)
clf.fit(data_train, target_train)
print(clf.best_estimator_)
In [51]:
# 結果発表
scores = ['accuracy', 'precision', 'recall']
for score in scores:
print '\n' + '='*50
print score
print '='*50
clf = grid_search.GridSearchCV(SVC(C=1), parameters, cv=5, scoring=score, n_jobs=-1)
clf.fit(data_train, target_train)
print "\n+ ベストパラメータ:\n"
print clf.best_estimator_
print"\n+ トレーニングデータでCVした時の平均スコア:\n"
for params, mean_score, all_scores in clf.grid_scores_:
print "{:.3f} (+/- {:.3f}) for {}".format(mean_score, all_scores.std() / 2, params)
print "\n+ テストデータでの識別結果:\n"
target_true, target_pred = target_test, clf.predict(data_test)
print classification_report(target_true, target_pred)
課題1：下記リンクのデータを用い、図1のような Scatter Matrix を描いてください。ただしこのとき、真札を青色、偽札を赤色にしてプロットすること。
https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/sbnote_dataJt.txt
ここでは、以下の列を使います。
- 'Note' : スイスフラン紙幣のID番号
- 'length' : 横幅長
- 'left': 左縦幅長
- 'right': 右縦幅長
- 'bottom': 下枠内長
- 'top': 上枠内長
- 'diagonal': 対角長
- 'class': 0 = 真札、1= 偽札
- 課題2： 上記のデータを使って学習し、サポートベクトルマシンを使って真札と偽札を区別する予測モデルを構築し、その性能を正解率 (Accuracy) で評価してください。
以上の結果を [自分の氏名].ipynb ファイルとして保存し、指定したアドレスまでメールしてください。メールタイトルは「総合実験４日目」とし、メール本文に学籍番号と氏名を明記のこと。
In [ ]:
お疲れ様でした。総合実験はこれで終了ですが、IPython Notebook (Jupyter Notebook) で出来ることは他にもたくさんあります。もし興味が湧いてきたら、自分のパソコンに Jupyter Notebook (IPython Notebook) をインストールして使ってみてください。
- 教材はこちらに随時追加予定です。→ IPython Notebook