資訊專(zhuān)欄INFORMATION COLUMN
摘要：首先看一下這個(gè)函數(shù)的圖像，以值的值做為區(qū)分點(diǎn)，在值范圍左右的軸數(shù)據(jù)為范圍內(nèi)的數(shù)據(jù)。實(shí)現(xiàn)核心思想是公式以上我所展示的是函數(shù)以及函數(shù)所產(chǎn)生的圖像，以下我來(lái)說(shuō)一下一般來(lái)說(shuō)我們所希望激勵(lì)函數(shù)應(yīng)該是什么樣子的。
首先看一下這個(gè)sigmoid函數(shù)的圖像，以x值的0值做為區(qū)分點(diǎn)，在0值范圍左右的y軸數(shù)據(jù)為0~1范圍內(nèi)的數(shù)據(jù)。
python實(shí)現(xiàn)：
from math import e
from matplotlib import pyplot as plt
xs = []
ys = []
def sigmoid(x):
y = 1. / (1. + e **(-x))
return y;
for x in range(-1000,1001):
x = x * 0.1
y = sigmoid(x)
xs.append(x)
ys.append(y)
print(xs)
print(ys)
plt.plot(xs,ys)
plt.show()
核心思想是公式:
以上我所展示的是sigmoid函數(shù)以及函數(shù)所產(chǎn)生的圖像，以下我來(lái)說(shuō)一下一般來(lái)說(shuō)我們所希望激勵(lì)函數(shù)應(yīng)該是什么樣子的。
通常來(lái)說(shuō)，我們希望一個(gè)數(shù)據(jù)做了激勵(lì)后，應(yīng)該能明確的知道結(jié)果應(yīng)該是true或false，但是對(duì)于這種函數(shù)，如：
def f(x):
if(x < 0):
return 0;
if(x > 0):
return 1;
所產(chǎn)生的函數(shù)是不連續(xù)且不可求導(dǎo)的，那么在計(jì)算過(guò)程中就會(huì)非常的不方便，sigmoid其實(shí)相當(dāng)于做了折中處理。且在具體的計(jì)算過(guò)程中，根據(jù)實(shí)際情況，也許產(chǎn)生的S(x)可能取值在0~0.5以及0.5~1分別分成兩類(lèi)。也有可能是0~0.8，0.8~1。在具體的計(jì)算過(guò)程中可能會(huì)更靈活。
以上就當(dāng)一個(gè)筆記，后續(xù)理解如果有出入，再做修改。
?
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/41106.html
摘要：比如說(shuō)，我們?cè)谶壿嫽貧w中用到的函數(shù)就是一種激勵(lì)函數(shù)，因?yàn)閷?duì)于求和的結(jié)果輸入，函數(shù)總會(huì)輸出一個(gè)之間的值，我們可以認(rèn)為這個(gè)值表明信號(hào)的強(qiáng)度或者神經(jīng)元被激活和傳導(dǎo)信號(hào)的概率。通過(guò)激勵(lì)函數(shù)引入非線性因素后，使神經(jīng)網(wǎng)絡(luò)的表示能力更強(qiáng)了。 ?showImg(https://segmentfault.com/img/bVbikBg?w=758&h=324);showImg(https://segme...
摘要：卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)斷斷續(xù)續(xù)的學(xué)了大半年了，卻發(fā)現(xiàn)自己還是一頭霧水，連基本的概念都沒(méi)搞清楚。將卷積神經(jīng)網(wǎng)絡(luò)的基本概念和原理理了一下，并整理出來(lái)，以供大家參考。 ??卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)斷斷續(xù)續(xù)的學(xué)了大半年了，卻發(fā)現(xiàn)自己還是一頭霧水，連基本的概念都沒(méi)搞清楚。這兩天在網(wǎng)上查了一些資料，看了一些教程。將卷積神經(jīng)網(wǎng)絡(luò)的基本概念和原理理了一下，并整理出來(lái)，以供大家參考。注：本文中有些結(jié)論是本人對(duì)卷積神經(jīng)...
閱讀 2490·2023-04-25 21:41
閱讀 1660·2021-09-22 15:17
閱讀 1931·2021-09-22 10:02
閱讀 2447·2021-09-10 11:21
閱讀 2586·2019-08-30 15:53
閱讀 1006·2019-08-30 15:44
閱讀 959·2019-08-30 13:46
閱讀 1149·2019-08-29 18:36
