神經(jīng)元/感知

這是什么？

答：只是一個(gè)簡單的等式

y=f(∑(x? × W?)+b?)

• y是預(yù)測
• f是非線性函數(shù)
• x?是數(shù)據(jù)點(diǎn)/輸入
• W?是權(quán)重
• b0是偏差

另一種表達(dá)方式

為什么需要這個(gè)？

我們的目標(biāo)是找到輸入和轉(zhuǎn)換的組合來幫助我們預(yù)測。

例如，考慮一個(gè)分類問題：

為什么使用偏差？

一條沒有偏差的線：

y=mx

即一條穿過原點(diǎn)的線

一條有位移沒有偏差的線：

y=mx+c

這會(huì)幫助你的分類器移動(dòng)

f（非線性）如何幫助？

最常用的激活函數(shù)：

• 線性：

Y = F（X）= X

• Sigmoid，Tanh，ReLU

• Hard-Sigmoid:

y=f(x)=max(0,min(1,x×0.2+0.5))

它是sigmoid的近似值。此激活函數(shù)是Keras中RNN的默認(rèn)激活函數(shù)，用于提高速度。

怎么做？

答案：矩陣代數(shù)

回顧一下：

檢查輸出和輸入維度之間的關(guān)系：

1. (row×midcol)?(midcol×col)=row×col

檢查維度：

(1×n)?(n×1)=1×1(1×n)?(n×1)=1×1

矩陣表示法：

Y=WX+b

如果我們應(yīng)用非線性函數(shù)：

Sigmoid：Y =σ（WX + b）

Tanh：Y = tanh（WX + b）

MLP：多層感知器

多個(gè)神經(jīng)元在一起

如何在矩陣中做到這一點(diǎn)？

檢查維度：

（1×n）*（n×h）=（1×h）

h是隱藏的圖層維度

一種不同的方式

隱藏層看起來很整潔

如果我將多個(gè)列放在一起怎么辦？

這就是我們通常做的事情

b稱為Batch_Size

相同的Matrix符號(hào)：

Y=f(WX+b)

因此每個(gè)隱藏層都是自己的分類器。我們將多個(gè)分類器放在一起

一個(gè)流行的例子

異或門：

MLP：

BTS

每個(gè)神經(jīng)元在數(shù)學(xué)上是具有一些非線性變換的線性平面。該平面存在于n維空間中，其中特征是構(gòu)成維度。

實(shí)際上，每個(gè)神經(jīng)元都是分類器（和特征生成器）。神經(jīng)網(wǎng)絡(luò)具有多個(gè)這樣的神經(jīng)元，其充當(dāng)另一神經(jīng)元的輸入。從上面的例子中獲取XOR的神經(jīng)網(wǎng)絡(luò)：你會(huì)看到兩個(gè)分類器（黃線和藍(lán)線）。下一個(gè)神經(jīng)網(wǎng)絡(luò)使用它們定義的邊界進(jìn)行推理。

讓我們看看非線性如何在神經(jīng)網(wǎng)絡(luò)中組合在一起。

考慮以下兩種情況：

例1：

圖1顯示了我們的結(jié)論的例子，即“ 每個(gè)神經(jīng)元都是一個(gè)分類器 ”。數(shù)據(jù)只需要兩個(gè)分類器，這就是模型在圖1中的工作方式。還為每個(gè)神經(jīng)元顯示了分類邊界。

你可以說神經(jīng)網(wǎng)絡(luò)是多個(gè)分類器的組合。

例2：

圖2顯示了當(dāng)我們的模型比所需模型更復(fù)雜時(shí)會(huì)發(fā)生什么。它不會(huì)影響性能。但它也會(huì)有很多冗余。虛線表示權(quán)重?，F(xiàn)在檢查以下內(nèi)容

隱藏層1（4個(gè)神經(jīng)元）：

• 第一和第二神經(jīng)元與輸入基本相同
• 第3和第4神經(jīng)元是相同的

隱藏層2（3個(gè)神經(jīng)元）：

• 第3神經(jīng)元在分類中比其他神經(jīng)元更重要（輸出權(quán)重更強(qiáng)）
• 第三神經(jīng)元主要取決于與輸入相似的那些nurons

輸入數(shù)據(jù)本身怎么樣？它增加了什么樣的價(jià)值？

以下是兩種情況：

例3：

V / S

例4：

如果擁有相關(guān)功能，網(wǎng)絡(luò)將能夠更好地進(jìn)行分類。

我相信很多人會(huì)對此不以為然。事實(shí)上，行業(yè)走向深度學(xué)習(xí)的一個(gè)重要原因是它為您執(zhí)行特征提取。這也是我的觀點(diǎn); 如果您已經(jīng)知道哪些輸入是好的，請使用它來使模型更快地學(xué)習(xí)。