邏輯回歸

將result歸一化到［0， 1］區(qū)間，即使用一個邏輯方程將線性回歸歸一化，稱為邏輯回歸（logisticregression）。它是一種廣義的線性回歸。

邏輯回歸（logistic regression）可分為二元邏輯回歸、多元邏輯回歸。

邏輯回歸（logistic regression）是與線性回歸相對應的一種分類方法。該算法的基本概念由線性回歸推導而出。邏輯回歸通過邏輯函數(shù)（即 Sigmoid 函數(shù)）將預測映射到 0 到 1 中間，因此預測值就可以看成某個類別的概率。

邏輯回歸模型仍然還是線性的。只有在數(shù)據(jù)是線性可分，即數(shù)據(jù)可被一個超平面完全分離時，算法才能有優(yōu)秀的表現(xiàn)。同樣 Logistic 模型能懲罰模型系數(shù)而進行正則化。

算法優(yōu)點：

1）輸出有很好的概率解釋；

2） 算法也能正則化而避免過擬合；

3）Logistic 模型很容易使用隨機梯度下降和新數(shù)據(jù)更新模型權重。

算法缺點：

Logistic 回歸在多條或非線性決策邊界時性能比較差。

最小二乘法：

最小二乘法（或稱最小平方法）是一種數(shù)學優(yōu)化技術。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法可用于直線或曲線擬合。其他一些優(yōu)化問題也可用最小二乘法來解決。

梯度下降法：

梯度下降法是一種迭代求全局最優(yōu)（凸函數(shù)）或局部最優(yōu)（非凸函數(shù)）的算法。在大數(shù)據(jù)情況下，數(shù)據(jù)的特征維度很多維，那么此時對其使用最小二乘法計算量會很大。于是考慮采用梯度下降法來求出最優(yōu)。

梯度下降法主要思想：人在山頂下，有n多條路徑下到山的最底部。從山頂當前位置計算所有方向的偏導，求出當前位置的各個偏導后，得到各個偏導函數(shù)的最小值，最小值即當前位置梯度的反方向，所以稱為梯度下降法。

回歸步驟：

1）確定變量：明確預測的具體目標，也就確定了因變量。通過調(diào)查和查閱資料，尋找與預測目標的相關影響因素，即自變量，并從中選出主要的影響因素。

2）建立預測模型：依據(jù)自變量和因變量的歷史統(tǒng)計資料進行計算，在此基礎上建立回歸分析方程，即回歸分析預測模型。

3）進行相關分析：回歸分析是對具有因果關系的影響因素（自變量）和預測對象（因變量）所進行的數(shù)理統(tǒng)計分析處理。一般需要求出相關關系（通常用逐步回歸、向前回歸和向后回歸等方法），以相關系數(shù)的大小來判斷自變量和因變量的相關程度。

4）計算預測誤差：回歸預測模型是否可用于實際預測，取決于對回歸預測模型的檢驗和對預測誤差的計算�；貧w方程只有通過各種檢驗，且預測誤差較小，才能將回歸方程作為預測模型進行預測。

5）確定預測值：利用回歸預測模型計算預測值，并對預測值進行綜合分析，確定最后的預測值。

注意問題：

正確應用回歸分析預測時應注意：

1）用定性分析判斷現(xiàn)象之間的依存關系；

2）避免回歸預測的任意外推；

3）應用合適的數(shù)據(jù)資料．

回歸應用：

回歸分析是通過規(guī)定因變量和自變量來確定變量之間的因果關系，建立回歸模型，并根據(jù)實測數(shù)據(jù)來求解模型的各個參數(shù)，然后評價回歸模型是否能夠很好的擬合實測數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進一步預測。

一般來說，對于連續(xù)值預測可采用線性回歸和非線性回歸；對于離散值／類別預測，可采用邏輯回歸。

線性回歸用在：銷售預測、風險評估等領域。

非線性回歸用在：經(jīng)濟預測、人力需求等領域。

邏輯回歸用在：數(shù)據(jù)挖掘，疾病自動診斷等領域。

結語：

回歸模型能夠解決預測和分類問題。根據(jù)自變量的個數(shù)分為一元和多元回歸；根據(jù)是否線性關系分為線性回歸和非線性回歸。在求解回歸模型時要在特定的情況下選用對應的方法，在維度小或線性回歸時可選用最小二乘法，而在Logistic回歸時應選用梯度下降法�；貧w模型在人工智能之機器學習、經(jīng)濟預測、數(shù)據(jù)挖掘，疾病自動診斷、銷售預測和風險評估等方面有著廣泛應用。