感知機(jī)是可進(jìn)行二分類的線性分類模型，其輸入為實(shí)例的特征向量，輸出為實(shí)例的類別（+1，-1）。感知機(jī)學(xué)習(xí)旨在求出將訓(xùn)練樣本進(jìn)行線性分類的分離超平面，也就是說求模型的參數(shù)w，b，并能對(duì)新的輸入實(shí)例預(yù)測(cè)其對(duì)應(yīng)的輸出類別。

注：超平面是指在空間Rd上的一個(gè)子空間Rd-1，在二維空間中的超平面就是一條直線，三維空間的超平面是平面。超平面是平面中直線、空間中平面的推廣。

0 感知機(jī)主要學(xué)習(xí)內(nèi)容

1）感知機(jī)模型

2）感知機(jī)學(xué)習(xí)策略：損失函數(shù)

3）感知機(jī)學(xué)習(xí)算法：隨機(jī)梯度下降法

1 感知機(jī)模型

1.1感知機(jī)定義[1]

1.2感知機(jī)的幾何解釋

感知機(jī)可看作是一個(gè)線性方程：

2.2感知機(jī)學(xué)習(xí)策略

感知機(jī)的學(xué)習(xí)目標(biāo)是求得一個(gè)能夠?qū)⒂?xùn)練集正確分類的超平面，也就是要確定感知機(jī)模型的參數(shù)w，b。故需要確定一個(gè)學(xué)習(xí)策略，即定義一個(gè)損失函數(shù)并將損失函數(shù)極小化。

損失函數(shù)的一個(gè)度量方式是誤分類點(diǎn)的總數(shù)，但是這樣的損失函數(shù)不是參數(shù)w,b的連續(xù)可導(dǎo)函數(shù)，不易于優(yōu)化。所以感知機(jī)采用的是另一種方法，即誤分類點(diǎn)到超平面S的總距離來作為損失函數(shù)。

高中的時(shí)候，我們就學(xué)習(xí)了點(diǎn)到直線的距離公式，大家可否都還記得？

2.2.1損失函數(shù)的定義[1]

M為誤分類點(diǎn)的集合。這個(gè)損失函數(shù)是感知機(jī)學(xué)習(xí)的經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)。

損失函數(shù)一定是非負(fù)的，如果沒有誤分類的點(diǎn)，則損失函數(shù)為0。誤分類的點(diǎn)越少，且誤分類點(diǎn)離超平面越近，則損失函數(shù)就越小。對(duì)于一個(gè)特定的樣本點(diǎn)損失函數(shù)：在誤分類時(shí)其可表示為參數(shù)w，b的線性函數(shù)，在正確分類時(shí)為0，因此，在訓(xùn)練數(shù)據(jù)集上，損失函數(shù)都是連續(xù)可導(dǎo)函數(shù)。故可以通過隨機(jī)梯度下降法選取使損失函數(shù)最小的感知機(jī)模型。怎么進(jìn)行隨機(jī)梯度下降呢?

2.3感知機(jī)學(xué)習(xí)算法

2.3.1感知機(jī)學(xué)習(xí)算法的原始形式[1]

感知機(jī)學(xué)習(xí)算法是誤分類驅(qū)動(dòng)的，任意選取一個(gè)超平面，其參數(shù)假設(shè)為w0，b0，可采用隨機(jī)梯度下降法不斷地極小化損失函數(shù)，極小化過程中不是一次將M中所有誤分類點(diǎn)都梯度下降，而是一次隨機(jī)選取一個(gè)誤分類點(diǎn)使其梯度下降。

答案是否定的，大家有興趣的話不妨嘗試一下。

由上述可見，感知機(jī)學(xué)習(xí)算法由于采用不同的初值或選取不同的誤分類點(diǎn)，解是不同的。

2.3.2感知機(jī)學(xué)習(xí)算法的對(duì)偶算法[1]

前面介紹的是感知機(jī)學(xué)習(xí)算法的原始形式，現(xiàn)在介紹一下感知機(jī)學(xué)習(xí)算法的對(duì)偶形式。

對(duì)偶形式的感知機(jī)算法[1]

注：在相同的參數(shù)初值和誤分類點(diǎn)輸入相同的情況下，對(duì)偶形式和原始形式的結(jié)果一致，迭代步驟也是相互對(duì)應(yīng)的。

2.3.3算法的收斂性[1]

3 感知機(jī)算法總結(jié)

感知機(jī)學(xué)習(xí)算法原理簡(jiǎn)單，適應(yīng)于數(shù)據(jù)線性可分的條件下，且存在無窮多個(gè)解，其解由于不同的初值或不同的迭代順序而可能有所不同。

對(duì)于線性可分?jǐn)?shù)據(jù)集感知機(jī)學(xué)習(xí)算法原始形式和對(duì)偶形式得迭代是收斂的，當(dāng)線性不可分時(shí)，感知機(jī)學(xué)習(xí)算法不收斂，迭代會(huì)發(fā)生動(dòng)蕩。故感知機(jī)學(xué)習(xí)算法只適應(yīng)于線性可分的訓(xùn)練數(shù)據(jù)集。

4 感知機(jī)的應(yīng)用

1.神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)

2.垃圾分類上的應(yīng)用

3.模擬混合電路故障診斷中的應(yīng)用

4.經(jīng)典數(shù)據(jù)集鳶尾花上的應(yīng)用

參考文獻(xiàn)

[1] 李航，《統(tǒng)計(jì)學(xué)習(xí)方法》

[2] https://blog.csdn.net/DawnRanger/article/details/49500025

[3] https://www.cnblogs.com/mengxiangtiankongfenwailan/p/8656753.html

(部分文字、圖片來自網(wǎng)絡(luò)，如涉及侵權(quán)，請(qǐng)及時(shí)與我們聯(lián)系，我們會(huì)在第一時(shí)間刪除或處理侵權(quán)內(nèi)容。電話：4006770986    負(fù)責(zé)人：張明）