Open In Jupyter nbviewer

14. Building A Machine Learning Model from Scratch¶

本章開始進入機器學習（Machine Learning）的領域，使用公開資料集來介紹如何運用 Python 的工具實現機器學習。 一開始會先只用基本工具來從頭建構一個機器學習的演算法，所以在學習本章節的內容前，需要先熟悉 Python 的基本容器、Numpy ndarray、 Pandas DataFrame 和 Series 的操作、以及 Matplotlib 的繪圖工具。 有了自己動手從頭建構演算法的經驗後，接著會介紹 Scikit-Learn 套件所提供的機器學習工具。

工具函式庫套件	網址
numpy	numpy.org
pandas	pandas.pydata.org
matplotlib	matplotlib.org
scikit-learn	scikit-learn.org

• 14.1 機器學習的基本認識
• 14.2 二元分類案例 — 乳癌檢測
• 14.3 Logistic Regression 學習模型
• 14.4 Gradient Descent 最佳化演算法
• 14.5 從頭實作 Binary Logistic Regression
• 14.6 使用 Scikit-Learn 的 LogisticRegression
• 參考資料

14.1 機器學習的基本認識¶

一般而言，機器學習關心的是要如何從已知的資料中，建構一個可以用來預測未知資料特性的模型。 執行學習的任務使用電腦系統的演算法來*自動發現數據的規律性*，稱為模式識別（Pattern Recognition）。 所以機器學習演算法的設計，所關心的是如何識別資料中隱含的模式來作推論，而不是明確指示推論的邏輯。

以著名的 MNIST 手寫辯識資料庫為例。每一個數字是 28x28 個像素的影像，也就是要從 784 個實數的向量資料中，辨識出所代表的 0, 1, 2, ..., 9 的正確數字。 要達到接近人類辨識的正確率，用手工打造（hand-engineering）辨識的特徵及規則非常的困難。 透過機器學習的方法可以取得比手工打造規則還要好的結果，甚至於超越人類辨識的正確率。

常見的 監督式學習（supervised learning） 手法，使用帶有正確答案且數量夠大的資料集 $X$ 來調整匹配模型的參數，這個資料集稱為 訓練集（training set）。 每筆資料（影像）的類別（數字）都已經事先知道，並且在資料集裡都有對應欄位作標籤註記正確答案（例如標註是0-9其中某個數字），我們稱為標籤向量或目標向量 $Y$。 所執行的機器學習演算法可以表示為學習一個複雜函數的對應關係。

$$Y = f(X)$$

確切的 $f(X)$ 函數模型則是透過 訓練（training） 的過程來決定，這個過程也稱為 學習（learning）。 模型經過訓練後可以用來 推論（inference） 判斷訓練過程沒見過的新資料，稱為 測試集（test set），足以正確判斷分類新資料的能力稱為 泛化（generalization），設計具備足夠泛化能力的演算法就是機器學習的主要目標。

監督式學習中，根據學習目標數據的特質有不同的解決手法。 常見的術語，例如從手寫數字的影像辨識成有限數量的 0 到 9 的數字類別，這樣的問題稱為 分類（classification） 問題，由於是分辨多個類別的其中一種，又叫 多元分類（multiclass classification）。 如果是醫學中常見的區分有病（positive）、沒病（negative）的推斷，稱為 二元分類（binary classification）。 現實中另外還常見有一種輸入帶有多種類別標籤的數據，例如電影的分類，某部片可能同時有家庭、科幻、動作、史詩、愛情片，這種稱為 multi-label calssification。 假如問題輸出的目標包含一個或多個連續數值的變量，則稱為 回歸（regression）。

另外有一種 非監督式學習（unsupervised learning） 的方式，使用的訓練集資料沒有包含任何對應的目標向量，而學習的目標則是從資料集中探索如何將類似的觀察資料分門別類，稱為 聚類（clustering）。

14.2 二元分類案例 — 乳癌檢測¶

§ Breast Cancer Wisconsin 資料集¶

資料來源是公開的乳癌資料集 UCI ML Breast Cancer Wisconsin (Diagnostic) dataset，檔案是逗號分隔欄位值的格式（Comma-Separated Values, CSV），一般文字編輯器或 Excel 都可以開啟，在 Python 的程式裡可以使用 pandas 套件來操作。 任何機器學習專案的第一個步驟都是要先熟悉取得的數據，pandas 非常適合用來執行探索數據的任務。

§ WDBC 資料集欄位說明¶

原始數據沒有包含欄位名稱，說明在另外一個檔案 "wdbc.names" 中。

• 欄位1： 樣本 ID
• 欄位2： 診斷結果，"M" = malignant 惡性，"B" = benign 良性

十個實數值的細胞核特徵由細針抽吸（fine needle aspiration cytology）的細胞病理影像樣本計算而來：

• 半徑 radius (mean of distances from center to points on the perimeter)
• 紋理 texture (standard deviation of gray-scale values)
• 周長 perimeter
• 面積 area
• 形狀平滑度 smoothness (local variation in radius lengths)
• 緊密度 compactness (perimeter^2 / area - 1.0)
• 輪廓凹陷度 concavity (severity of concave portions of the contour)
• 輪廓凹陷點 concave points (number of concave portions of the contour)
• 對稱性 symmetry
• 碎形維度 fractal dimension ("coastline approximation" - 1)

每個影像的這十個特徵都分別計算 mean，standard error，以及 worst（三個最大值的平均），共 30 個特徵欄位。

細針穿刺抽吸細胞學影像 (影像來源)

§ 加上欄位名稱¶

原始數據中沒有包含欄位名稱，帶有欄位名稱的資料表會比較方便處理，與使用固定序號比起來較不容易出錯，程式可讀性也比較高。

★ 原始數據處理準則 ★¶

當然也可以使用 Excel 來手動為原始數據檔案加上欄位名稱，甚至於訓練預測模型之前的很多前處理也可以，但是所有的操作必須遵循以下原則：

1. 保留原始檔案，修改的內容另存新檔。
2. 記錄所有修改步驟及歷程，說明的內容要可以從原始檔案重現修改的結果。

要符合這樣的原則，使用 Python 程式進行處理還是首選。

§ 觀察數據內容¶

雖然機器學習關心的是自動識別數據中隱含的模式，但是目前機器學習的技術還沒發展到可以完全自動的程度，開始訓練模型之前還有很多的前處理工作需要人的介入，不同的模型可能需要不同的數據前處理，所以首先要先觀察手上的資料，並盡可能了解每個欄位的意義以及跟預測目標的關聯，決定要做什麼必要的前處理：

• 哪些是特徵欄位 X？ 哪些是目標欄位 Y？ 有沒有多餘的不要進入模型訓練的欄位？
• 都是連續數值欄位嗎？ 有沒有類別欄位？
• 有沒有漏失數據？ 有沒有空值要填補或插補？
• 數值欄位的數值分布狀況？ 要怎麼正規化？
• 目標類別分布狀況如何？ 數量是否平均？
• 特徵與目標之間是否有線性或其他形式的相關？
• 各特徵之間是否有線性或其他形式的相關？

§ 類別資料轉為數值¶

資料集中時常會包含非數值型態的類別數據（Categorical Data），如 WDBC 資料集中＂diagnosis＂欄位值是"B"或"M"的字元，機器學習的演算法處理的都是數值，需要將類別數據轉成數值型態。

§ Normalization 數據正規化¶

數據的尺度差異大，直覺是尺度較大的數字變化就比較大，對決策的判斷就會影響比較大，而實際上有很多機器學習的模型真的會受尺度大小的影響。 大多數的資料集都有尺度差異的現象，我們不希望因此影響了數據中原本應該被演算法發掘的模式，所以開始訓練預測模型之前，時常會先對數據進行正規化（Normalization） 或 標準化（Standardization），指的就是將數據調整到相同的尺度。

Standard Score¶

$$\frac{X - \mu}{\sigma}$$

請參閱 維基百科 Normalization 條目。

§ 將資料集的載入包裝成類別¶

載入資料集以及前處理的工作繁瑣，時常會反覆修改再重新執行訓練。 通常將這部分的工作包裝成一個 class 類別，跟模型的定義與訓練分開處理。

14.3 Logistic Regression 學習模型¶

Logistic Regression 是廣泛運用在許多工程和科學的領域的線性分類模型 $p \left( y | \mathbf{x}; \mathbf{w} \right)$，輸入 $\mathbf{x}$ 藉由擬合 logistic 函數（sigmoid 函數）來學習目標 $y$ 正確預測的機率，是對線性可分的資料非常有效而且非常容易實作的分類模型。

Sigmoid function¶

$$\sigma(z) = \frac{1}{1 + e^{-z}} = \frac{e^{z}}{1 + e^{z}} \tag{1}$$

Properties of sigmoid function¶

$$\begin{cases} \text{for } z \to \infty, & \sigma(z) \to 1\\ \text{for } z \to -\infty, & \sigma(z) \to 0 \end{cases}$$ $$1 - \sigma(z) = 1 - \frac{1}{1 + e^{-z}} = \frac{e^{-z}}{1 + e^{-z}} = \frac{1}{1 + e^{z}} = \sigma(-z) \tag{2}$$ $$\frac{d}{d z} \sigma(z) = \sigma(z) \big( 1 - \sigma(z) \big) \tag{3}$$

§ Binary Logistic Regression 學習模型¶

Given an input example $\mathbf{x} \in \mathbb{R}^{n}$ and class label $y \in \left\{ 0, 1 \right\}$, the binary logistic regression is the following model under Bernoulli distribution.

$$p \left( y \, | \, \mathbf{x}; \mathbf{w} \right) = Bernoulli \left( y \, | \, \sigma(\mathbf{w}^{\mathsf{T}}\mathbf{x} + b) \right) \tag{4}$$

where $z = \mathbf{w}^{\mathsf{T}}\mathbf{x} + b$ is a linear predictor with parameter $\mathbf{w} \in \mathbb{R}^{n}, b \in \mathbb{R}$ , and $\sigma$ is the sigmoid function. The corresponding probability mass function is

$$\begin{cases} p \left( y = 1\, | \, \mathbf{x}; \mathbf{w} \right) = \sigma(z)\\ p \left( y = 0\, | \, \mathbf{x}; \mathbf{w} \right) = 1 - \sigma(z) \end{cases}$$

which can be written in a more concise form as

$$p \left( y \, | \, \mathbf{x}; \mathbf{w} \right) = \sigma(z)^{y} \left( 1 - \sigma( z) \right)^{1 - y} \tag{5}$$

We want the model to yield probability ouput $a = \sigma(z), \, 0 < a < 1$ such that $\hat{y} = 1$ is correct for $a > 0.5$.

$$\hat{y} = p \left( y = 1\, | \, \mathbf{x}; \mathbf{w} \right) = a = \sigma(z) = \frac{1}{1 + e^{-z}} = \frac{1}{1 + e^{-(\mathbf{w}^{\mathsf{T}}\mathbf{x} + b)}} \tag{6}$$

$\mathbf{w}^{\mathsf{T}}\mathbf{x}$ is the inner product between the weight vector $\mathbf{w}$ and the feature vector $\mathbf{x}$. This function defines a linear hyperplane, with normal vecetor $\mathbf{w}$ and an offset $b$ from the origin. Supposed a plane in a 3D feature space going through a point $\mathbf{x}_{0}$ with surface normal $\mathbf{w}$. Points on the surface satisfy $\mathbf{w}^{\mathsf{T}}(\mathbf{x} - \mathbf{x}_{0}) = 0$. If we define $b = -\mathbf{w}^{\mathsf{T}}\mathbf{x}_{0}$, we can rewrite this as $\mathbf{w}^{\mathsf{T}}\mathbf{x} + b = 0$. This plane separate 3D space into two half spaces. This linear plane is known as decsion boundary [3].

Maximum likelihood estimation¶

We can estimate the parameters of a logistic regression model using maximum likelihood estimation (MLE), and the estimation can be done by minimize Negative Log Likelihood (NLL) as the objective function. For $i = 1 \dots m$ input samples, $a_{i} = \sigma(z_{i})$ is the probability of class 1, $\mathbf{NLL}$ is given by

$$\begin{align*} \mathbf{NLL}(\mathbf{w}) &= - \, \log \prod_{i=1}^{i} Bernoulli( y_{i} | a_{i}) \\ &= - \sum_{i=1}^{m} \log \left[ a_{i}^{y_{i}} \, (1 - a_{i})^{1 - y_{i}} \right] \\ &= - \sum_{i=1}^{m} \left[ y_{i} \, \log(a_{i}) + (1 - y_{i}) \, \log(1 - a_{i})\right] \\ &= \sum_{i=1}^{m} \mathbb{H}(y_{i}, a_{i}) \end{align*}$$

where $\mathbb{H}(y_{i}, a_{i})$ is the binary cross entropy defined by

$$\mathbb{H}(p, q) = - \left[ p \, \log(q) + (1 - p) \, \log(1 - q) \right]$$

$\mathbb{H}(p, q)$ measures how much $q$ differs from $p$. In other words, $\mathbb{H}(y, a)$ is the loss function $\mathcal{L}(\mathbf{w})$ to measure how much $\hat{y}$ estimated by $a$ differs from true $y$. The loss is smaller if the estimation is close to correct.

$$\mathcal{L}(\mathbf{w}) = -\sum_{i=1}^{m} \left[ y_{i} \, \log(a_{i}) + (1 - y_{i}) \, \log(1 - a_{i})\right] \tag{7}$$

The learning cost $J(\mathbf{w})$ is then computed as

$$J(\mathbf{w}) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y_{i} \, \log(a_{i}) + (1 - y_{i}) \, \log(1 - a_{i})\right] \tag{8}$$

and we optimize the $\mathbf{NLL}$ objective function by minimize the cost function $J(\mathbf{w})$ using gradient descent algorithm.

觀察 Binary Cross Entropy 的不同反應¶

由上述 NLL 的推導結果，我們知道可以透過最小化 binary cross entropy $\mathbb{H}(y, a)$ 這樣的 loss function 來達到學習的目標，仔細觀察 $\mathbb{H}$ 在不同的 $y$ 和 $a$ 值下的反應，思考一下這些反應與學習目標的關係，這有助於你理解為什麼這個方法可以學到東西。

★ $\mathbb{H}(y, a) > 0$¶

由於 $0 < a = \sigma(z) < 1$，取 $\log(a)$ 和 $\log(1 -a)$ 的結果永遠小於 0，所以 $\mathbb{H}(y, a)$ 永遠大於 0。

★ $\mathbb{H}(0, 0.5) = \mathbb{H}(1, 0.5)$¶

不管 $y$ 是 $0$ 或是 $1$，當 $a = 0.5$ 時 $\mathbb{H}(y, a)$ 都是計算 $-\log(0.5)$。

14.4 Gradient Descent 最佳化演算法¶

The idea of gradient descent is just like climbing down a hill. For each iteration $t$, we take a step in the opposite direction of the gradient until a local or global cost minima is reached. The step size is determined by the value of the learning rate $\eta$.

$$\mathbf{w}_{t+1} = \mathbf{w}_{t} - \eta \nabla J(\mathbf{w})$$

完整使用 gradient descent 最佳化的 logistic regression 步驟（"forward" and "backward" propagation）如下：

1. 輸入 $X_{m \times n}$
2. 隨機初始化權重參數 $\mathbf{w}$ 與 $b$
3. （forward）計算 $A = \sigma(\mathbf{w}^{\mathsf{T}}\mathbf{x} + b) = (a_{1}, a_{2}, ..., a_{m})$
4. 計算損失（成本）函數 $J(\mathbf{w}) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y_{i} \, \log(a_{i}) + (1 - y_{i}) \, \log(1 - a_{i})\right]$
5. 計算當下的梯度 $\nabla J(\mathbf{w})$
6. （backward）更新參數 $\mathbf{w} = \mathbf{w} - \eta \nabla J(\mathbf{w})$
7. 重複以上步驟，直到損失收斂到最小，或達到事先設定的迭代次數。

Here are the derived formulas for $\nabla J(\mathbf{w})$

$$\frac{\partial J}{\partial w} = \frac{1}{m}X(A-Y)^T \tag{9}$$ $$\frac{\partial J}{\partial b} = \frac{1}{m} \sum_{i=1}^m (a_{i}-y_{i}) \tag{10}$$

14.5 從頭實作 Binary Logistic Regression¶

§ 載入資料集準備訓練¶

§ 訓練自建的模型¶

§ 檢視訓練歷程¶

14.6 使用 Scikit-Learn 的 LogisticRegression¶

References¶

1. Andrew Ng, "Neural Networks and Deep Learning", Deep Learning Specialization Couse 1, 2017. [YouTube]
2. Sebastian Raschka and Vahid Mirjalili. "Python Machine Learning: Machine Learning and Deep Learning with Python, Scikit-Learn, and TensorFlow". Second edition, Packt Publishing, 2017.
3. Murphy, Kevin P. "Machine learning: a probabilistic perspective". MIT press, 2012.