一般來說，模型融合后都能使得效果有一定提升。而且效果很好。
　　工程上，主要提升算法準確度的方法是分別在模型的前端（特征清洗和預處理，不同的采樣模式）與后端（模型融合）上下功夫。因為他們比較標準可復制，效果比較穩定。而直接調參的工作不會很多，畢竟大量數據訓練起來太慢了，而且效果難以保證。

5.7：上線運行

　　這一部分內容主要跟工程實現的相關性比較大。工程上是結果導向，模型在線上運行的效果直接決定模型的成敗。 不單純包括其準確程度、誤差等情況，還包括其運行的速度(時間復雜度)、資源消耗程度（空間復雜度）、穩定性是否可接受。
　　這些工作流程主要是工程實踐上總結出的一些經驗。并不是每個項目都包含完整的一個流程。這里的部分只是一個指導性的說明，只有大家自己多實踐，多積累項目經驗，才會有自己更深刻的認識。

6，全連接神經網絡網絡結構

　　（此題參考：https://blog.csdn.net/cuiyuan605/article/details/84307323）

　　神經網絡算法，是使用計算機模擬生物神經系統，來模擬人類思維方式的算法。它的基本單位就是人工神經元。通過相互連接形成一張神經網絡。對于神經網絡有些了解的盆友可能都知道，神經網絡其實就是一個輸入 X（向量） 到輸出 Y（向量）的映射函數：f(x) = Y，函數的系數就是我們所要訓練的網絡參數 W，只要函數系數確定下來，對于任何輸入xi，我們就能得到一個與之對應的輸出 yi，至于 yi 是否符合我們的預期，這就是輸入如何提高模型性能方面的問題。

?

?　　生物神經網絡中，每個神經元與其他神經元連接，當它“激活”時，會傳遞化學物質到相連的神經元，改變其他神經元的電位，當電位達到一定“閾值”，那么這個神經元也會被激活。

　　單個人工神經元的計算公式如下：

　　其中：

?為輸入參數向量，表示其他神經元輸入的信號。

為每個輸入參數的權重值，表示對應神經元信號的權重。

　　theta 為閾值或者偏差值，是指該激活神經元的難易程度。

　　y 為神經元的輸出值，表示該神經元是否被激活。

　　Act() 為激活函數，理想的激活函數如下圖（a）中的躍階函數，“1” 為神經元興奮，“0”為神經元抑制，但由于躍階函數具有不是連續可導等不好的性質，因此一般采用下面（b） 圖的 Sigmoid 函數作為激活函數：

　　下面定義一個全連接神經網絡：

　　全連接神經網絡，就是指每一層的每個神經元都和下一層的每個神經元項連接。

　　Layer：0 為輸入層

　　Layer：L 為輸出層

　　其他L-1 個Layer 為隱層

　　輸入 x ?： ，我們稱一個輸入值 x 為一個樣本

　　輸出 y ?： ，變量的上標（L）表示該變量出于神經網絡的那一層。

?表示第 L 層編號為 i 的神經元

?表示第 L 層的神經元數量

?

?7，全連接神經網絡的前向傳播

　　前向傳播比較簡單，就是向量點乘，也就是加權求和，然后經過一個激活函數。也就是網絡如何根據輸入 X 得到輸出 Y的。

　　記 ?為第 l-1 層第 k個神經元到第 l 層第 j 個神經元的權重， ?為第 l 層 第 j 個神經元的偏置， 為第 l 層第 j 個神經元的激活值（激活函數的輸出）。不難看出 ?的值取決于上一層神經元的激活：

　　將上面重寫為矩陣形式：

　　為了方便表示，記? ?為每一層權重輸入，矩陣形式則變為

　　利用矩陣形式可以一層層計算網絡的激活值，最終能根據輸入X 得到相應的輸出? 。

8，隨機梯度下降法

（此題參考：https://blog.csdn.net/qq_38150441/article/details/80533891 和 https://blog.csdn.net/qq_39037383/article/details/89156894）

　　梯度下降算法的思想就是根據人類在漸進學習中，不斷從錯誤中糾正自己的認知的過程中感觸到的。

8.1 梯度下降

　　簡單來說，梯度下降就是從山頂找一條最短的路走到山底最低的地方。但是因為選擇方向的原因，我們找到的最低點可能不是真正的最低點。如圖所示，黑色標注的路線所指的方向并不是真正的地方。（因為梯度下降是一種思想，沒有嚴格的定義，所以用一個比喻來解釋什么是梯度下降）

　　既然是選擇一個方向下山，那么這個方向該如何選？每次該怎么走？

　　先說選的方向，在算法中是以隨機方式給出的，這也是造成有時候走不到真正最低點的原因。如果選定了方向，以后每走一步，都選擇的時最陡的方向，直到最低點。總結起來就是：隨機選擇一個方向，然后每次都選擇最陡的方向，直到這個方向上能達到的最低點。

　　在機器學習算法中，有時候需要對原始的模型構建損失函數，然后通過優化算法對損失函數進行優化，以便尋找到最優的參數，使得損失函數的值最小。而求解機器學習參數的優化算法中，使用最多的就是基于梯度下降的優化算法（Gradient Descent GD）。

梯度下降的優缺點 ：

• 優點：效率。在梯度下降法的求解過程中，只需求解損失函數的一階導數，計算的代價比較小，可以在很多大規模數據集上應用。
• 缺點：求解的時局部最優值，即由于方向選擇的問題，得到的結果不一定是全局最優步長選擇，過小使得函數收斂速度慢，過大又容易找不到最優解。

8.2 隨機梯度下降

　　隨機梯度下降（SGD）是一種簡單但非常有效地方法，多用于支持向量機，邏輯回歸等凸損失函數下的線性分類器的學習。并且SGD已經成功應用于文本分類和自然語言處理中經常遇到的大規模和稀疏機器學習問題。SGD 既可以用于分類計算，也可以用于回歸計算。

　　隨機梯度下降法不是對每個樣本集進行求梯度更新參數，而是對一個或者多個樣本進行求梯度，更新參數，采集多個樣本為樣本集再進行如下操作：

            1.初始化參數為任意值（可以取到面上任意一點）

2.對樣本集里每個樣本進行遍歷如下操作
      1.求解梯度值

      2.更新參數
   
3.若達到指定迭代次數或者收斂條件，則訓練結束

          

　　隨機梯度下降法不同于批量梯度下降，隨機梯度下降是每次迭代使用一個樣本來對參數進行更新。使得訓練速度加快。

　　對于一個樣本的目標函數為：

　　對目標函數求偏導：

　　參數更新：

?　　 隨機梯度下降的優缺點：

• 優點：由于不是在全部訓練數據上的損失函數，而是在每輪迭代中，隨機優化某一條訓練數據上損失函數，這樣每一輪參數的更新速度大大加快。
• 缺點：準確度下降，由于即使在目標函數為強凸函數的情況下，SGD仍舊無法做到線性收斂。可能會收斂到局部最優，而單個樣本并不能代表全體樣本的趨勢，而且不易于并行實現。

9，LR的原理和Loss的推導

　　首先，LR是一個分類模型，討論二分類情況下，在這個基礎上我們假設樣本服從伯努利分布（0~1）分布。做了假設分布后下一步就是求分布參數，這個過程一般采用極大似然估計MLE（Maximum Likelihood Estimation），具體的方法就是求該假設分布在訓練樣本上的聯合概率（樣本帶入連乘），然后求其關于 theta 的最大值，為了方便計算所以一般取 -log，單調性保持不變，所有就有了 logLoss： L(Y, P(Y|X)) = - logP(Y|X)。

?10，機器學習中，為何要經常對數據做歸一化

　　（參考文獻：https://blog.csdn.net/abc_138/article/details/82798674）

　　一般做機器學習應用的時候大部分時間是花費在特征處理上，其中很關鍵的一步就是對特征數據進行歸一化。

　　首先要明白歸一化的目的是什么，其目的是為了避免數值較大的特征A變化掩蓋了數值較小的特征B變化，最終希望讓特征AB都能對結果有影響。

　　那么為什么要做歸一化呢？

　　維基百科給出的解釋：1，歸一化后加快了梯度下降求最優解的速度。2，歸一化有可能提高精度。

解釋：歸一化為什么能提高梯度下降法求解最優解的速度？

　　如下圖所示（來自：斯坦福機器學習視頻）

?

?　　藍色的圈圈圖代表的是兩個特征的等高線。其中左圖兩個特征 X1和 X2的區間差別非常大，X1區間為[0, 2000] ，x2區間是 [1, 5]，像這種有的數據那么大，有的數據那么小，兩類之間的幅度相差這么大，其所形成的等高線非常尖。當使用梯度下降法尋求最優解時，很有可能走“之字型”路線（垂直等高線走），從而導致需要迭代很多次才能收斂。而右圖對兩個原始特征進行了歸一化，其對應的等高線顯得很圓，在梯度下降進行求解時能較快的收斂，因此如果機器學習模型使用梯度下降法求最優解時，歸一化往往非常有必要，否則很難收斂，甚至不能收斂。

解釋：歸一化有可能提高精度

　　一些分類器需要計算樣本之間的距離（如歐式距離），例如KNN。如果一個特征值域范圍非常大，那么距離計算就主要取決于這個特征，從而與實際情況相悖（比如這時實際情況是值域范圍小的特征更重要）。

歸一化的類型

1，線性歸一化

　　這種歸一化方法比較適用于在數值比較集中的情況。這種方法有個缺陷，如果max和min 不穩定，很容易使得歸一化結果不穩定，使得后續使用效果也不穩定。實際使用中可以用經驗常量值來替代 max和 min。

2，標準差標準化

　　經過處理的數據符合標準正態分布，即均值為0，標準差為1。

3，非線性歸一化

　　經常用在數據分化比較大的場景，有些數值很大，有些很小。通過一些數學函數，將原始值進行映射。該方法包括 log、指數，正切等。需要根據數據分布的情況，決定非線性函數的曲線，比如log(V, 2)還是log(V, 10)等。

11，batch

　　深度學習中頻繁出現batch這個詞語，所以我們有必要了解一下。

　　深度學習中 的優化算法，說白了就是梯度下降。每次的參數更新有兩種方式。

　　第一種，遍歷全部數據集算一次損失函數，然后算函數對各個參數的梯度，更新梯度。這張方式每更新一次參數都要把數據集里的所有樣本都看一遍，計算量開銷大，計算速度慢，不支持在線學習，這稱為 Batch gradient descent，批梯度下降。

　　另一種，每看一個數據就算一下損失函數，然后求梯度更新參數，這個稱為隨機梯度下降， stochastic gradient ?descent。這個方法速度比較快，但是收斂性能不太好，可能在最優點附近晃來晃去， hit 不到最優點。兩次參數的更新也有可能互相抵消掉，造成目標函數震蕩的比較劇烈。

　　為了克服兩種方法的缺點，現在一般采用的時一種折中手段，mini-batch gradient decent，小批的梯度下降，這種方法把數據分為若干個批，按批來更新參數。這樣一個批中的一組數據共同決定了本次梯度的方向，下降起來就不容易跑偏，減少了隨機性。另外一方面因為批次的樣本數與整個數據集相比少了很多，計算量也不是很大。

　　基本上現在的梯度下降都是基于 mini-batch的，所以Keras的模塊中經常會出現 batch_size，就是指這個。

12，關于機器學習擬合問題

12.1 什么是機器學習過擬合？

　　所謂過擬合，就是指模型在訓練集上的效果很好，在測試集上的預測效果很差。

12.2 如何避免過擬合問題？

　　1，重采樣Bootstrap?

　　2，L1，L2 正則化

　　3，決策樹的剪枝操作

　　4，交叉驗證

12.3 什么是機器學習的欠擬合？

　　所謂欠擬合就是模型復雜度低或者數據集太小，對模型數據的擬合程度不高，因此模型在訓練集上的效果就不好。

12.3 如何避免欠擬合問題？

　　1，增加樣本數量

　　2，增加樣本特征的數量

　　3，可以進行特征維度擴展

12.4 ?算法的誤差一般是由那幾個方面引起的？

　　1，因模型無法表達基本數據的復雜度而造成的偏差（bias）——欠擬合

　　2，因模型過度擬合訓練集數據而造成的方差（variance）——過擬合

13，為什么樸素貝葉斯如此“樸素”？

　　貝葉斯算法簡單高效，在處理分類問題上，是首先要考慮的方法之一。

　　貝葉斯分類是一類分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。公式如下：

?　　該公式最大的優點就是可以忽略AB 的聯合概率直接求其條件概率分布。

　　而樸素貝葉斯為什么如此樸素，因為他假定所有的特征在數據集中的作用是同樣重要和獨立的。正如我們所知，這個假設在現實世界中是很不真實的，因此說樸素貝葉斯真的很“樸素”。

　　樸素貝葉斯分類是一種非常簡單的分類算法，其思想是樸素的。即：對于給出的待分類項，求解在此項出現的條件下各個類別出現的概率，那個最大，就認為此待分類項屬于那個類別。

　　理論上，樸素貝葉斯模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為樸素貝葉斯模型給定輸出類別的情況下，假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，在屬性個數比較多或者屬性之間相關性較大時，分類效果不好。而在屬性相關性較小的時，樸素貝葉斯性能最為良好。對于這一點，有半樸素貝葉斯之類的算法通過考慮部分關聯性適度改進。

?

14，反向傳播算法（BP算法）的推導及其Python實現

　　下面學習如何調整一個神經網絡的參數，也就是誤差反向傳播算法（BP算法）。以得到一個能夠根據輸入，預測正確輸出的模型。

14.1，首先我們要了解優化的目標

　　根據人工神經元的定義，有以下三個公式：

　　其中，Act() 是激活函數，之前學習過。

　　根據上面兩個公式，可以得出各個神經元之間的通用公式，如下：

　　其中上式是人工神經網絡正向傳播的核心公式。

　　那么，我們根據什么來調整神經網絡的參數，以得到一個能夠正確預測結果的模型呢？請看下面的公式：

　　上式用來計算我們期望的輸出和實際輸出的“差別”，其中cost() 叫做損失函數。我們的期望是損失函數值達到最小。

　　但是只根據一次輸出的損失值，對參數進行調整，無法使模型適應所有輸入樣本。我們需要的是，調整參數，使得所有輸入樣本，得到輸出的總損失值最小，而不是只讓妻子一個樣本的損失值最小，導致其他樣本損失值增大。因此有下面公式：

　　上式表示一個 batch 的所有樣本輸出的總損失值的平均值。其中，bn 表示一個 batch中樣本的數量。

　　為什么不用所有的樣本計算損失值，而將所有樣本分成一個個的 batch呢？因為所有的訓練樣本數量太大了，可能有數以百萬計，將所有的樣本損失值都一起進行運算，計算量過于龐大，大大降低了模型計算的速度。

　　而計算總的損失值 C，其中是一個以所有的連接權重 W 和 所有的閾值 theta 未為變量的多元函數。我們想要的模型就是求得 C 最小時，所有 W 和 theta 的值。直接計算顯然是不可能的，因為對于一個大的深度神經網絡，所有的參數變量，可能數以萬計。

　　在這里我們使用梯度下降算法來逐步逼近 C的最小值，也即是先隨機得到一組參數變量的值，然后計算參數變量當前的梯度，向梯度的反方向，也就是C變小最快的方向，逐步調整參數值，最終得到 C 的最小值，或者近似最小值。

　　而將所有樣本，隨機分成一個個固定長度的 batch，以得到近似的梯度方向，叫做隨機梯度下降算法。

14.2 開始求梯度

?　　那么根據梯度的定義，接下來的任務，就是求取各個參數變量相對于 C 的偏導數。我們將使用誤差反向傳播算法來求取各個參數變量的偏導數。

　　求取偏導數的方法和神經網絡正向傳播（根據樣本計算輸出值）的方式類似，也是逐層求解，只是方向正好相反，從最后一層開始，逐層向前。

　　首先，我們先求神經網絡最后一層，也即是輸出層的相關參數的偏導數。為了降低推導的復雜性，我們只計算相對一個樣本的損失值函數 Cbi 的偏導數，因為相對于總損失值函數 C 的偏導數值，也不過是把某個參數的所有相對于 Cbi 偏導數值加起來而已。

　　根據上面公式，以及 復合函數求導法則，可以得到輸出層（L層）某個神經元的權值參數 W 的偏導數，計算公式如下：

　　根據前面三個公式求導如下：

　　將這三個公式代入上面公式，可以得到：

　　我們令：

　　則：

　　將上式代入損失函數求導的公式中可以得到：

　　這樣我們就得到了輸出層 L 相關的權重參數 W 的偏導數計算公式！

　　接下來，同理可以求得輸出層 L 相關的閾值 theta 的偏導數計算公式為：

　　而根據第二個公式可以得到：

　　將上式代入到上上式可以得到：

　　這就是 輸出層 L 相關的閾值 theta 的偏導數計算公式！

14.3 根據 L 層，求前一層參數的偏導函數

　　從下面公式，可知，一個權重參數 W 只影響一個 L-1 層的神經元：

?　　因此可以得到有下面公式：

?

　　將上式代入到上上式可以得到：

　　根據假設：

　　我們可以得到：

　　將上式代入到上上式，可以得到：

　　同理，我們可以得到：

　　根據14.3 第一個公式可以得到：

　　將上式代入到上上式，可以得到：

　　這樣我們就得到了 L-1 層神經元相關參數的計算公式。

　　下面我們還需要推導一下 ?之間的關系，根據下面公式：

　　我們可以得到：

　　同理可得：

　　將上式代入到上上式，可以得：

　　我們知道，一個權重參數 W 只影響一個 L-1 層的神經元，但這個 L-1 層神經元影響了所有 L層的神經元。因此，根據多元復合函數求導法則。有：

　　根據我們之前的假設，可以得到：

　　將上式代入到上上式，可以得到：

　　我們可以知道：

　　將上式代入到上上式，可以得到：

　　最后將上式代入之前的公式，可以得到：

　　這樣我們就得到了反向傳播，逐層推導的通用公式：

　　這里， W 和 Z 都是整箱傳播過程中已經算好的常數，而 ?可以從 L層開始逐層向前推導，直到第1層，第0層是輸入層，不需要調整參數，而第L層的參數可以參考下面公式：

?

?　　下面是全連接神經網絡的Python實現代碼：

            #coding=utf-8
import numpy as np
import matplotlib.pylab as plt
import random
 
class NeuralNetwork(object):
    def __init__(self, sizes, act, act_derivative, cost_derivative):
        #sizes表示神經網絡各層的神經元個數，第一層為輸入層，最后一層為輸出層
        #act為神經元的激活函數
        #act_derivative為激活函數的導數
        #cost_derivative為損失函數的導數
        self.num_layers = len(sizes)
        self.sizes = sizes
        self.biases = [np.random.randn(nueron_num, 1) for nueron_num in sizes[1:]]
        self.weights = [np.random.randn(next_layer_nueron_num, nueron_num)
            for nueron_num, next_layer_nueron_num in zip(sizes[:-1], sizes[1:])]
        self.act=act
        self.act_derivative=act_derivative
        self.cost_derivative=cost_derivative
 
    #前向反饋（正向傳播）
    def feedforward(self, a):
        #逐層計算神經元的激活值，公式(4)
        for b, w in zip(self.biases, self.weights):
            a = self.act(np.dot(w, a)+b)
        return a
 
    #隨機梯度下降算法
    def SGD(self, training_data, epochs, batch_size, learning_rate):
        #將訓練樣本training_data隨機分為若干個長度為batch_size的batch
        #使用各個batch的數據不斷調整參數，學習率為learning_rate
        #迭代epochs次
        n = len(training_data)
        for j in range(epochs):
            random.shuffle(training_data)
            batches = [training_data[k:k+batch_size] for k in range(0, n, batch_size)]
            for batch in batches:
                self.update_batch(batch, learning_rate)
            print("Epoch {0} complete".format(j))
 
    def update_batch(self, batch, learning_rate):
        #根據一個batch中的訓練樣本，調整各個參數值
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        for x, y in batch:
            delta_nabla_b, delta_nabla_w = self.backprop(x, y)
            nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
            nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
        #計算梯度，并調整各個參數值
        self.weights = [w-(learning_rate/len(batch))*nw for w, nw in zip(self.weights, nabla_w)]
        self.biases = [b-(learning_rate/len(batch))*nb for b, nb in zip(self.biases, nabla_b)]
 
    #反向傳播
    def backprop(self, x, y):
        #保存b和w的偏導數值
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        #正向傳播
        activation = x
        #保存每一層神經元的激活值
        activations = [x]
        #保存每一層神經元的z值
        zs = []
        for b, w in zip(self.biases, self.weights):
            z = np.dot(w, activation)+b
            zs.append(z)
            activation = self.act(z)
            activations.append(activation)
        #反向傳播得到各個參數的偏導數值
        #公式(13)
        d = self.cost_derivative(activations[-1], y) * self.act_derivative(zs[-1])
        #公式(17)
        nabla_b[-1] = d
        #公式(14)
        nabla_w[-1] = np.dot(d, activations[-2].transpose())
        #反向逐層計算
        for l in range(2, self.num_layers):
            z = zs[-l]
            sp = self.act_derivative(z)
            #公式(36)，反向逐層求參數偏導
            d = np.dot(self.weights[-l+1].transpose(), d) * sp
            #公式(38)
            nabla_b[-l] = d
            #公式(37)
            nabla_w[-l] = np.dot(d, activations[-l-1].transpose())
        return (nabla_b, nabla_w)
 
#距離函數的偏導數
def distance_derivative(output_activations, y):
    #損失函數的偏導數
    return 2*(output_activations-y)
 
# sigmoid函數
def sigmoid(z):
    return 1.0/(1.0+np.exp(-z))
 
# sigmoid函數的導數
def sigmoid_derivative(z):
    return sigmoid(z)*(1-sigmoid(z))
 
if __name__ == "__main__":
    #創建一個5層的全連接神經網絡，每層的神經元個數為1，8，5，3，1
    #其中第一層為輸入層，最后一層為輸出層
    network=NeuralNetwork([1,8,5,3,1],sigmoid,sigmoid_derivative,distance_derivative)
 
    #訓練集樣本
    x = np.array([np.linspace(-7, 7, 200)]).T
    #訓練集結果，由于使用了sigmoid作為激活函數，需保證其結果落在(0,1)區間內
    y = (np.cos(x)+1)/2
 
    #使用隨機梯度下降算法（SGD）對模型進行訓練
    #迭代5000次；每次隨機抽取40個樣本作為一個batch；學習率設為0.1
    training_data=[(np.array([x_value]),np.array([y_value])) for x_value,y_value in zip(x,y)]
    network.SGD(training_data,5000,40,0.1)
 
    #測試集樣本
    x_test = np.array([np.linspace(-9, 9, 120)])
    #測試集結果
    y_predict = network.feedforward(x_test)
 
    #圖示對比訓練集和測試集數據
    plt.plot(x,y,'r',x_test.T,y_predict.T,'*')
    plt.show()

          

?