微積分

先說微積分/高等數(shù)學(xué)。在機(jī)器學(xué)習(xí)中，微積分主要用到了微分部分，作用是求函數(shù)的極值，就是很多機(jī)器學(xué)習(xí)庫中的求解器（solver）所實現(xiàn)的功能。在機(jī)器學(xué)習(xí)里會用到微積分中的以下知識點：

• 導(dǎo)數(shù)和偏導(dǎo)數(shù)的定義與計算方法

• 梯度向量的定義

• 極值定理，可導(dǎo)函數(shù)在極值點處導(dǎo)數(shù)或梯度必須為0

• 雅克比矩陣，這是向量到向量映射函數(shù)的偏導(dǎo)數(shù)構(gòu)成的矩陣，在求導(dǎo)推導(dǎo)中會用到

• Hessian矩陣，這是2階導(dǎo)數(shù)對多元函數(shù)的推廣，與函數(shù)的極值有密切的聯(lián)系

• 凸函數(shù)的定義與判斷方法

• 泰勒展開公式

• 拉格朗日乘數(shù)法，用于求解帶等式約束的極值問題

  
  

其中最核心的是記住多元函數(shù)的泰勒展開公式，根據(jù)它我們可以推導(dǎo)出機(jī)器學(xué)習(xí)中常用的梯度下降法，牛頓法，擬牛頓法等一系列最優(yōu)化方法：

線性代數(shù)

相比之下，線性代數(shù)用的更多。在機(jī)器學(xué)習(xí)的幾乎所有地方都有使用，具體用到的知識點有：

• 向量和它的各種運算，包括加法，減法，數(shù)乘，轉(zhuǎn)置，內(nèi)積

• 向量和矩陣的范數(shù)，L1范數(shù)和L2范數(shù)

• 矩陣和它的各種運算，包括加法，減法，乘法，數(shù)乘

• 逆矩陣的定義與性質(zhì)

• 行列式的定義與計算方法

• 二次型的定義

• 矩陣的正定性

• 矩陣的特征值與特征向量

• 矩陣的奇異值分解

• 線性方程組的數(shù)值解法，尤其是共軛梯度法

  
  

機(jī)器學(xué)習(xí)算法處理的數(shù)據(jù)一般都是向量、矩陣或者張量。經(jīng)典的機(jī)器學(xué)習(xí)算法輸入的數(shù)據(jù)都是特征向量，深度學(xué)習(xí)算法在處理圖像時輸入的2維的矩陣或者3維的張量。掌握這些知識會使你游刃有余。

概率論

如果把機(jī)器學(xué)習(xí)所處理的樣本數(shù)據(jù)看作隨機(jī)變量/向量，我們就可以用概率論的觀點對問題進(jìn)行建模，這代表了機(jī)器學(xué)習(xí)中很大一類方法。在機(jī)器學(xué)習(xí)里用到的概率論知識點有:

• 隨機(jī)事件的概念，概率的定義與計算方法

• 隨機(jī)變量與概率分布，尤其是連續(xù)型隨機(jī)變量的概率密度函數(shù)和分布函數(shù)

• 條件概率與貝葉斯公式

• 常用的概率分布，包括正態(tài)分布，伯努利二項分布，均勻分布

• 隨機(jī)變量的均值與方差，協(xié)方差

• 隨機(jī)變量的獨立性

• 最大似然估計

  
  

這些知識不超出普通理工科概率論教材的范圍。

最優(yōu)化方法

最后要說的是最優(yōu)化，因為幾乎所有機(jī)器學(xué)習(xí)算法歸根到底都是在求解最優(yōu)化問題。求解最優(yōu)化問題的指導(dǎo)思想是在極值點出函數(shù)的導(dǎo)數(shù)/梯度必須為0。因此你必須理解梯度下降法，牛頓法這兩種常用的算法，它們的迭代公式都可以從泰勒展開公式中得到。如果能知道坐標(biāo)下降法、擬牛頓法就更好了。

凸優(yōu)化是機(jī)器學(xué)習(xí)中經(jīng)常會提及的一個概念，這是一類特殊的優(yōu)化問題，它的優(yōu)化變量的可行域是凸集，目標(biāo)函數(shù)是凸函數(shù)。凸優(yōu)化最好的性質(zhì)是它的所有局部最優(yōu)解就是全局最優(yōu)解，因此求解時不會陷入局部最優(yōu)解。如果一個問題被證明為是凸優(yōu)化問題，基本上已經(jīng)宣告此問題得到了解決。在機(jī)器學(xué)習(xí)中，線性回歸、嶺回歸、支持向量機(jī)、logistic回歸等很多算法求解的都是凸優(yōu)化問題。

拉格朗日對偶為帶等式和不等式約束條件的優(yōu)化問題構(gòu)造拉格朗日函數(shù)，將其變?yōu)樵瓎栴}，這兩個問題是等價的。通過這一步變換，將帶約束條件的問題轉(zhuǎn)換成不帶約束條件的問題。通過變換原始優(yōu)化變量和拉格朗日乘子的優(yōu)化次序，進(jìn)一步將原問題轉(zhuǎn)換為對偶問題，如果滿足某種條件，原問題和對偶問題是等價的。這種方法的意義在于可以將一個不易于求解的問題轉(zhuǎn)換成更容易求解的問題。在支持向量機(jī)中有拉格朗日對偶的應(yīng)用。

KKT條件是拉格朗日乘數(shù)法對帶不等式約束問題的推廣，它給出了帶等式和不等式約束的優(yōu)化問題在極值點處所必須滿足的條件。在支持向量機(jī)中也有它的應(yīng)用。

如果你沒有學(xué)過最優(yōu)化方法這門課也不用擔(dān)心，這些方法根據(jù)微積分和線性代數(shù)的基礎(chǔ)知識可以很容易推導(dǎo)出來。如果需要系統(tǒng)的學(xué)習(xí)這方面的知識，可以閱讀《凸優(yōu)化》，《非線性規(guī)劃》兩本經(jīng)典教材。