神經(jīng)網(wǎng)絡(luò)與激活函數(shù)

神經(jīng)網(wǎng)絡(luò)從數(shù)學(xué)上來說，就是用來擬合一個(gè)函數(shù)。把數(shù)據(jù)扔進(jìn)去，得到一個(gè)預(yù)測(cè)結(jié)果，以此來解決分類和回歸等問題。但是針對(duì)不同的問題，需要擬合不同的函數(shù)，包括線性函數(shù)和非線性函數(shù)。神經(jīng)網(wǎng)絡(luò)中常常會(huì)見到各種激活函數(shù)，當(dāng)需要擬合非線性函數(shù)時(shí)就需要激活函數(shù)登場(chǎng)了。

對(duì)于每個(gè)神經(jīng)元來說，都是先進(jìn)行線性變換，再將線性變換的結(jié)果通過激活函數(shù)來進(jìn)行激活。注意，這里的有效激活函數(shù)必須是非線性函數(shù)。如果采用線性激活函數(shù)，則在前向傳播的過程中，相當(dāng)于一直做線性變換，這樣的話，無(wú)論多少隱藏層，都是線性變換，也就是隱藏層在這里沒有發(fā)生作用，仍然是一個(gè)單層的感知機(jī)。當(dāng)然對(duì)于最后一層的輸出層則沒有這個(gè)要求，可以選擇線性或者非線性的激活函數(shù)。

常用激活函數(shù)總結(jié)

這里主要介紹非線性激活函數(shù)，線性的激活函數(shù)也就是恒等函數(shù)，在坐標(biāo)軸表示為一條直線，通常使用較少。常見的非線性激活函數(shù)通常可以分為兩類，一種是輸入單個(gè)變量輸出單個(gè)變量，如sigmoid函數(shù)，Relu函數(shù)；還有一種是輸入多個(gè)變量輸出多個(gè)變量，如Softmax函數(shù)，Maxout函數(shù)。

1.Sigmoid函數(shù)

Sigmoid函數(shù)，也叫做S函數(shù)將值限定在 \((0,1)\) 之間，能夠很好的作為概率來解釋算法得到的結(jié)果。目前在計(jì)算機(jī)視覺中不常用，只適用于二分類等問題。

缺點(diǎn)是當(dāng)輸入較大的正數(shù)或者負(fù)數(shù)時(shí)，導(dǎo)數(shù)就會(huì)變?yōu)?，這時(shí)候采用梯度下降方法就會(huì)下降很慢，使得神經(jīng)網(wǎng)絡(luò)不能正常更新。同時(shí)不是以0為對(duì)稱，容易在更新時(shí)產(chǎn)生 zigzag 路徑。

函數(shù)定義為
\[ a = sigmoid(z) = \frac{1}{1 e^{-z}} \]
其求導(dǎo)結(jié)果為
\[ a'=\frac{1}{1 e^{-z}}\left( 1 - \frac{1}{1 e^{-z}}\right)=a(1-a) \]

2.tanh函數(shù)

thah函數(shù)能夠?qū)⒅迪薅ㄔ?\((-1,1)\) 之間，比sigmoid函數(shù)更為常用。但是也存在與sigmoid函數(shù)一樣的缺點(diǎn)，當(dāng)在z值較大或者較小時(shí)，斜率接近0，這時(shí)優(yōu)化速度很慢，這種情況下可以考慮采用ReLU函數(shù)。

函數(shù)定義為
\[ a = thah(z) = \frac{e^z - e^{-z}}{e^z e^{-z}} \]

求導(dǎo)結(jié)果為
\[ a' = 1 - tanh^2(z) = 1 - a^2 \]

3. ReLU函數(shù)及其變體

ReLU函數(shù)，也叫做線性整流函數(shù)，能夠解決在值較大時(shí)產(chǎn)生的梯度為0的問題，能夠正常的更新，并且沒有復(fù)雜的指數(shù)計(jì)算，使得性能較好，收斂較快，是目前在視覺領(lǐng)域最為常見的激活函數(shù)。

ReLU函數(shù)為
\[ a = ReLU(z) = max(0,z) \]

其導(dǎo)數(shù)為
\[ a' = \left\{\begin{matrix} 0 & x<0 \\ 1 & x>0 \end{matrix}\right. \]

LeakyReLU是為了防止ReLU函數(shù)在負(fù)數(shù)時(shí)，斜率為0的情況，但在實(shí)際情況中，很難到負(fù)數(shù)那邊去，所以基本采用ReLU就足夠了，不過也建議采用交叉驗(yàn)證來試試這個(gè)函數(shù)。

Leaky ReLU為
\[ a = LeakyReLU(z) = max(0.01z,z) \]
其導(dǎo)數(shù)為
\[ a' = \left\{\begin{matrix} 0.01 & x<0 \\ 1 & x>0 \end{matrix}\right. \]

此外，還有幾種激活函數(shù)由算法來學(xué)習(xí)負(fù)數(shù)區(qū)域的學(xué)習(xí)率，如PReLU函數(shù)和ELU函數(shù)，原理與ReLU函數(shù)類似。

4.Softmax函數(shù)

softmax函數(shù)與sigmoid函數(shù)很相似，也是將值變換到 \((0,1)\) 之間。但是可以針對(duì)多個(gè)類別，預(yù)測(cè)出每個(gè)類別的歸一化概率，所以通常softmax函數(shù)是在分類器的輸出層使用。

其函數(shù)表達(dá)式為
\[ \sigma (z)_{j}= \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}} \]

如何選擇激活函數(shù)

選擇激活函數(shù)沒有固定的規(guī)則，每個(gè)激活函數(shù)適用于不同的應(yīng)用，比如分類和回歸，多分類和二分類任務(wù)。但根據(jù)每個(gè)激活函數(shù)的性質(zhì)，也存在一些基本的規(guī)律

• 對(duì)于二分類問題，在輸出層可以選擇 sigmoid 函數(shù)。

• 對(duì)于多分類問題，在輸出層可以選擇 softmax 函數(shù)。

• 由于梯度消失問題，盡量sigmoid函數(shù)和tanh的使用。

• tanh函數(shù)由于以0為中心，通常性能會(huì)比sigmoid函數(shù)好。

• ReLU函數(shù)是一個(gè)通用的函數(shù)，一般在隱藏層都可以考慮使用。

• 有時(shí)候要適當(dāng)對(duì)現(xiàn)有的激活函數(shù)稍作修改，以及考慮使用新發(fā)現(xiàn)的激活函數(shù)。