在介紹嶺回歸算法與Lasso回歸算法之前，先要回顧一下線性回歸算法。根據(jù)線性回歸模型的參數(shù)估計(jì)公式可知可知，得到的前提是矩陣可逆。換句話說(shuō)就是樣本各個(gè)特征（自變量）之間線性無(wú)關(guān)。然而在實(shí)際問(wèn)題中，常常會(huì)出現(xiàn)特征之間出現(xiàn)多重共線性的情況，使得行列式的值接近于0，最終造成回歸系數(shù)無(wú)解或者無(wú)意義。

?為了解決這個(gè)問(wèn)題，嶺回歸算法的方法是在線性回歸模型的目標(biāo)函數(shù)之上添加一個(gè)l2的正則項(xiàng)，進(jìn)而使得模型的回歸系數(shù)有解。具體的嶺回歸目標(biāo)函數(shù)可表示為如下：

?

在Python中，嶺回歸算法的實(shí)現(xiàn)方法如下。

?在Python中sklearn算法包已經(jīng)實(shí)現(xiàn)了所有基本機(jī)器學(xué)習(xí)的算法。直接

            
              from
            
             sklearn.linear_model 
            
              import
            
             Ridge,RidgeCV
          

就可以調(diào)用該算法。

?Iris數(shù)據(jù)集的加載與預(yù)處理已在前文中介紹過(guò)，此處不再累述。定義嶺回歸算法的方法為如下：

            rigdeCV = RidgeCV(alphas=Lambdas,normalize=True,scoring=
            
              '
            
            
              neg_mean_squared_error
            
            
              '
            
            ,cv=15)
          

其中alphas用于指定多個(gè)λ值的元組或數(shù)組對(duì)象，默認(rèn)該參數(shù)包含0.1、1和10三個(gè)值。normalize指是否對(duì)數(shù)據(jù)集進(jìn)行歸一化處理。scoring指的是用于評(píng)估模型的度量方法，此處為RMSE均分誤差。cv指交叉驗(yàn)證的重?cái)?shù)。

此處我使用的是15重交叉驗(yàn)證法確定的λ值。上面Lambdas為logspace方法生成的數(shù)組。

            Lambdas = np.logspace(-5,2,200)
          

最后訓(xùn)練，測(cè)試：

            
              rigdeCV.fit(X_train,Y_train)
predictedResult 
            
            = rigdeCV.predict(X_test)
          

注意此處predictedResult為Series不是List。

此時(shí)嶺回歸算法分類正確率為0.8。

?

?

嶺回歸算法固然解決了線性回歸模型中矩陣不可逆的問(wèn)題。但嶺回歸算法無(wú)論如何會(huì)保留建模時(shí)所有的變量，無(wú)法降低模型的復(fù)雜度。為了克服嶺回歸算法的缺點(diǎn)，Lasso回歸算法被提了出來(lái)。

?與嶺回歸算法類似，Lasso回歸算法同樣屬于縮減性估計(jì)。而且在回歸系數(shù)的縮減過(guò)程中，可以將一些不重要的回歸系數(shù)縮減為0，以打到變量篩選的目的。Lasso回歸算法的目標(biāo)函數(shù)為如下：

具體在Python上實(shí)現(xiàn)的方式與嶺回歸算法類似，先導(dǎo)入liner_model中的LassoCV類，然后就可以使用：

            lasso_cv = LassoCV(alphas=Lambdas,normalize=True,cv=10,max_iter=10000)
          

這里max_iter指的是模型最大迭代次數(shù)。其它參數(shù)與嶺回歸類似。

此時(shí)Lasso回歸算法的準(zhǔn)確率為0.8。

?

由于嶺回歸算法和Lasso回歸算法的相似性，在本次實(shí)驗(yàn)中，二者的分類結(jié)果完全相同，分類準(zhǔn)確率同為0.8?？紤]到線性回歸并不是特別適合分類問(wèn)題，所以這種結(jié)果也可以接受。下一步的學(xué)習(xí)方向是GBDT以及多種算法的綜合模型。