Open In Jupyter nbviewer

Python Machine Learning Quick Tour¶

這份快速導覽主要介紹：

• 機器學習有哪些任務？
• 使用那些適當的 Python 工具完成任務？

順利執行這個筆記本的必要的套件如下：

二元分類 － Binary Classification¶

§ Breast Cancer Wisconsin 資料集¶

資料來源是公開的乳癌資料集 UCI ML Breast Cancer Wisconsin (Diagnostic) dataset，檔案是逗號分隔欄位值的格式（Comma-Separated Values, CSV），一般文字編輯器或 Excel 都可以開啟，在 Python 的程式裡可以使用 pandas 套件來操作。

§ WDBC 資料集欄位說明¶

原始數據沒有包含欄位名稱，說明在另外一個檔案 "wdbc.names" 中。

• 欄位1： 樣本 ID
• 欄位2： 診斷結果，"M" = malignant 惡性，"B" = benign 良性

十個實數值的細胞核特徵由細針抽吸（fine needle aspiration cytology）的細胞病理影像樣本計算而來：

• 半徑 radius (mean of distances from center to points on the perimeter)
• 紋理 texture (standard deviation of gray-scale values)
• 周長 perimeter
• 面積 area
• 形狀平滑度 smoothness (local variation in radius lengths)
• 緊密度 compactness (perimeter^2 / area - 1.0)
• 輪廓凹陷度 concavity (severity of concave portions of the contour)
• 輪廓凹陷點 concave points (number of concave portions of the contour)
• 對稱性 symmetry
• 碎形維度 fractal dimension ("coastline approximation" - 1)

每個影像的這十個特徵都分別計算 mean，standard error，以及 worst（三個最大值的平均），共 30 個特徵欄位。

★ 觀念 ★¶

當然可以使用 Excel 來手動為原始數據檔案加上欄位名稱，或是訓練預測模型之前的前處理，但是所有的操作必須遵循以下原則：

1. 保留原始檔案，修改的內容另存新檔。
2. 記錄所有修改步驟及歷程，說明的內容要可以從原始檔案重現修改的結果。

要符合這樣的原則，使用 Python 程式進行處理還是首選。

§ 觀察數據內容¶

一般而言，機器學習關心的是要如何從已知的資料中，建構一個可以用來預測未知資料特性的模型。 執行學習的任務使用電腦系統的演算法來*自動發現數據的規律性*，稱為模式識別（Pattern Recognition）。 所以機器學習演算法的設計，所關心的是如何識別資料中隱含的模式來作推論，而不是明確指示推論的邏輯。

然而，目前機器學習的技術還沒發展到可以完全自動的程度，開始訓練模型之前還有很多的前處理工作需要人的介入，不同的模型可能需要不同的數據前處理，所以首先要先觀察手上的資料，並盡可能了解每個欄位的意義以及跟預測目標的關聯，決定要做什麼必要的前處理：

• 哪些是特徵欄位 X？ 哪些是目標欄位 Y？ 有沒有多餘的不要進入模型訓練的欄位？
• 都是連續數值欄位嗎？ 有沒有類別欄位？
• 有沒有漏失數據？ 有沒有空值要填補或插補？
• 數值欄位的數值分布狀況？ 要怎麼正規化？
• 目標類別分布狀況如何？ 數量是否平均？
• 特徵與目標之間是否有線性或其他形式的相關？
• 各特徵之間是否有線性或其他形式的相關？

★ 觀念 ★¶

資料集中時常會包含類別數據（Categorical Data），如 WDBC 資料集中＂diagnosis＂欄位值是"B"或"M"的字元，機器學習的演算法處理的都是數值，需要將類別數據轉成數值型態。

★ 觀念 ★¶

數據的尺度差異大，直覺是尺度大的數字變化比較大，對決策的判斷會影響比較大，而實際上有很多機器學習的模型真的會受尺度大小的影響。 大多數的資料集都有尺度差異的現象，所以開始訓練預測模型之前，時常會先對數據進行正規化（Normalization），指的就是將數據調整到相同的尺度。

§ Logistic Regression¶

Logistic Regression 是線性的分類模型（不是回歸），預測結果的可能性是擬合 logistic (sigmoid) 函數的模型。

★ 觀念 ★¶

機器學習的手法是使用資料集 $X$ 來調整匹配模型的參數，在監督式學習裡，每筆 $X$ 資料都有已知的對應類別 $Y$，所執行的學習演算法可以表示為 $\hat{Y} = f(X)$，最後的 $f(X)$ 函數模型是透過 訓練（training） 的過程來決定，也稱為 學習（learning）。

至此，只有丟掉不需要的欄位，把預測目標$Y$的類別轉為數值，$X$還沒做正規化或其他前處理。 不過有些機器學習的模型不受資料尺度差異的影響，直接先訓練看看來當作後續處理方法的評估基準，這也是常見的手法。 我們利用*Scikit-Learn*提供的工具來訓練 Logistic Regression 的模型。

• sklearn.linear_model.LogisticRegression

有些機器學習的模型不受資料尺度差異的影響，看來 Logistic Regression 不是這樣的模型，最好還是先做一下正規化。

§ 正規化 Normalization¶

常用正規化類別如下：

• sklearn.preprocessing.MinMaxScaler： 一般通用型正規化，尺度調整至 [0, 1] 區間。
• sklearn.preprocessing.StandardScaler： 又稱標準化（z-score），尺度調整至 mean 為 0 的單位標準差區間範圍。

對應的正規化函式如下：

• sklearn.preprocessing.minmax_scale
• sklearn.preprocessing.scale

模型確效 Model Validation¶

模型訓練後，要有方法來度量模型的預測品質。 在上一個範例的二元分類裡，模型訓練後輸出了一個分類正確率（Accuracy）的指標，但是計算分數的輸入是原始的訓練集$X$，所以只能用來表示模型可以被訓練起來。 機器學習希望建立的是能夠預測真實世界資料（real-world data）的模型，因此訓練資料越多越好，但最終我們還是只能從有限的取樣資料中來擬合真實世界的模型，而實際進行預測的資料不會跟用來訓練的資料一模一樣，因此模型準確度的評估應該使用另外一個（不是用來訓練模型的）資料集。

機器學習裡通常的做法是把資料分成兩份，一份訓練集（training set），另外一份完全不參與模型訓練的測試集（test set），最後模型的準確度只使用測試集來評估。 實際在訓練過程中，我們仍然希望所有的訓練集都可以用來訓練，同時也能有效地評估訓練過程參數的改變所影響的模型的效力，因此常用的折衷方式是把訓練集拆成 k 個小段（k-fold），每次都只保留其中某一段作驗證，其餘的作訓練，全部小段都同樣輪流作一次，然後把 k 次的結果作平均。 這樣就所有的資料都有訓練過也驗證過，這種交叉驗證的手法我們稱為 k-Fold Cross-Validation。

上圖中將訓練集切割為五段，每一段包含所有訓練集的其中 20%，這樣我們稱為 5-fold。 因為沒有浪費任何資料，這樣的交叉驗證方式可以更精準的評估學習模型的效能。 缺點是 k 次的交叉驗證要花比較久的時間運算，所以如果是如百萬筆等級的大型資料集，隨機抽樣 1% 都還有個一萬筆，這樣就可以不需要 k-fold。 至於要選擇幾個 k 的 fold 則沒有一定的準則，通常還是觀察訓練集的大小來決定，若是非常小的訓練集甚至可以採取 leave-one-out（共 n 筆作 n-fold）的特殊作法。

Scikit-learn 將交叉驗證的工具放在 model_selection 模組中，常用的如下：

• sklearn.model_selection.train_test_split
• sklearn.model_selection.KFold
• sklearn.model_selection.StratifiedKFold
• sklearn.model_selection.cross_validate
• sklearn.model_selection.cross_val_score

§ 數據洩漏¶

將資料集切割出訓練集和測試集以及進行k-fold交叉驗證時，必須注意避免數據洩漏（data leakage）的問題。

簡單地說，k-fold進行驗證的驗證集資料特徵，或是最後進行模型驗證的測試集資料特徵，都不能在訓練集訓練時被偷學到。 數據洩漏通常發生在資料的前處理過程，例如資料缺值的填補、或是數據的正規化等，套用這些處理時經常要先取得資料集的統計特徵（如平均值、標準差），像這樣的前處理不能在資料集分割前處理，否則結果會導致驗證時精準的假象，實際用來預測新資料時卻非常的不準。

Scikit-learn 提供一個 pipeline 的工具，可以用來簡化工作的流程：

1. 先把個別處理步驟的方法分別定義好。
2. 將負責處理每個步驟的物件，按照順序放進流程清單，學習模型物件放最後。
3. 對資料集都套用指定的（前）處理，而且會避免數據洩漏的問題。

• sklearn.pipeline.Pipeline(steps)
  • steps： 是工作流程的清單，照工作順序放 (name, transform) 的 tuple 的清單，最後一個一定要是 estimator。

★ 觀念 ★¶

當需要測試許多不同超參數所訓練出來的模型時，光看正確率來評估時常是不夠的。

• sklearn.metrics

特徵選取¶

§ 相關係數¶

統計上有幾種常用的相關係數，一般提到相關係數指的都是 Pearson相關係數 $r$。

• Pearson相關係數度量兩個數列 x 和 y 之間的線性相關程度。
• 相關係數 $r$ 的值介於 [-1, 1] 之間。
• $r=1$ 表示完全線性匹配的正相關，y 在一條直線上隨著 x 增加而增加。
• $r=0$ 表示x 和 y 之間沒有線性相關性。
• $r=-1$ 表示完全線性匹配的負相關，y 在一條直線上隨著 x 增加而減少。
• $r$ 值大小與關係強弱的對應解釋方式沒有標準，需考慮變數實際意義上的度量精度。
• 除了觀察 $r$ 值大小，同時也應該要檢驗 "假設沒有關係" 的推論的 $p$-value 顯著性。
• 相關係數不受變數的尺度差異影響，正規化與否相關性不改變。

Pandas.DataFrame 有提供 corr() 的方法，預設就是 Pearson 相關係數，可以用來在 seaborn.heatmap上視覺化顯示。 若需要 $p$-value 的計算結果，可以使用 scypy.stats 模組的 pearsonr() 函數。

很多資料集的數據不是常態分佈，欄位之間也很難有線性關係。 在 WDBC 資料集中，我們很幸運地可以觀察到有些特徵值與診斷結果有線性相關，特徵與特徵兩兩之間也出現一些高度相關的。 根據相關係數觀察到的現象，可以用來篩選特徵（feature selection），以降低特徵的維度，有效的特徵篩選通常可以讓模型更容易訓練，泛化能力更好。

• 首先丟掉與目標欄位相關性非常低的特徵（如： $-0.2 \le r \le 0.2$），保留相關性高的特徵。
• 保留下來相關性高的特徵中，有出現兩兩高度相關的（如： $r> 0.9$），很可能去掉其中一個對模型的預測能力影響不大。

§ 其他特徵處理¶

沒有一種指標適用所有的資料特性，有時需要嘗試不同的指標或選取方法才能找到適合資料特性的方法。 有些方法不是透過指標選取，而是將特徵轉換或映射到不同的維度空間。

• sklearn.feature_selection
• dimensionality reduction