成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Theano - 導(dǎo)數(shù)

MAX_zuo / 979人閱讀

摘要:計(jì)算梯度計(jì)算的梯度計(jì)算邏輯函數(shù)的梯度計(jì)算計(jì)算矩陣右算子左算子右算子

計(jì)算梯度 計(jì)算x^2的梯度
import numpy
import theano
import theano.tensor as T
from theano import pp
x = T.dscalar("x")
y = x ** 2
gy = T.grad(y, x)
pp(gy)
f = theano.function([x], gy)
pp(f.maker.fgraph.outputs[0])
f(4)
numpy.allclose(f(94.2), 188.4)
計(jì)算邏輯函數(shù)的梯度
x = T.dmatrix("x")
s = T.sum(1 / (1 + T.exp(-x)))
gs = T.grad(s, x)
dlogistic = theano.function([x], gs)
dlogistic([[0, 1], [-1, -2]])
計(jì)算Jacobian
x = T.dvector("x")
y = x ** 2
J, updates = theano.scan(lambda i, y, x: T.grad(y[i], x), sequences=T.arange(y.shape[0]), non_sequences=[y,x])
f = theano.function([x], J, updates=updates)
f([4, 4])
計(jì)算Hessian矩陣
x = T.dvector("x")
y = x ** 2
cost = y.sum()
gy = T.grad(cost, x)
H, updates = theano.scan(lambda i, gy, x: T.grad(gy[i], x), sequences=T.arange(gy.shape[0]), non_sequences=[gy,x])
f = theano.function([x], H, updates=updates)
f([4,4])
Jacobian times a Vector 右算子(R-operator)
W = T.dmatrix("W")
V = T.dmatrix("V")
x = T.dvector("x")
y = T.dot(x, W)
JV = T.Rop(y, W, V)
f = theano.function([W, V, x], JV)
f([[1,1], [1,1]], [[2,2], [2,2]], [0,1])
左算子(L-operator)
W = T.dmatrix("W")
v = T.dvector("v")
x = T.dvector("x")
y = T.dot(x, W)
VJ = T.Lop(y, W, v)
f = theano.function([v, x], VJ)
f([2,2], [0,1])
Hessian times a Vector
x = T.dvector("x")
v = T.dvector("v")
y = T.sum(x ** 2)
gy = T.grad(y, x)
vH = T.grad(T.sum(gy * v), x)
f = theano.function([x,v], vH)
f([4,4], [2,2])
右算子
x = T.dvector("x")
v = T.dvector("v")
y = T.sum(x ** 2)
gy = T.grad(y, x)
Hv = T.Rop(gy, x, v)
f = theano.function([x,v], Hv)
f([4,4], [2,2])

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/38633.html

相關(guān)文章

  • Yoshua Bengio等大神傳授:26條深度學(xué)習(xí)經(jīng)驗(yàn)

    摘要:另外,當(dāng)損失函數(shù)接近全局最小時(shí),概率會(huì)增加。降低訓(xùn)練過(guò)程中的學(xué)習(xí)率。對(duì)抗樣本的訓(xùn)練據(jù)最近信息顯示,神經(jīng)網(wǎng)絡(luò)很容易被對(duì)抗樣本戲弄。使用高度正則化會(huì)有所幫助,但會(huì)影響判斷不含噪聲圖像的準(zhǔn)確性。 由 Yoshua Bengio、 Leon Bottou 等大神組成的講師團(tuán)奉獻(xiàn)了 10 天精彩的講座,劍橋大學(xué)自然語(yǔ)言處理與信息檢索研究組副研究員 Marek Rei 參加了本次課程,在本文中,他精煉地...

    Lowky 評(píng)論0 收藏0
  • Yoshua Bengio等大神傳授:26條深度學(xué)習(xí)經(jīng)驗(yàn)

    摘要:八月初,我有幸有機(jī)會(huì)參加了蒙特利爾深度學(xué)習(xí)暑期學(xué)校的課程,由最知名的神經(jīng)網(wǎng)絡(luò)研究人員組成的為期天的講座。另外,當(dāng)損失函數(shù)接近全局最小時(shí),概率會(huì)增加。降低訓(xùn)練過(guò)程中的學(xué)習(xí)率。對(duì)抗樣本的訓(xùn)練據(jù)最近信息顯示,神經(jīng)網(wǎng)絡(luò)很容易被對(duì)抗樣本戲弄。 8月初的蒙特利爾深度學(xué)習(xí)暑期班,由Yoshua Bengio、 Leon Bottou等大神組成的講師團(tuán)奉獻(xiàn)了10天精彩的講座,劍橋大學(xué)自然語(yǔ)言處理與信息檢索研...

    Salamander 評(píng)論0 收藏0
  • Deep learning:四十二(Denoise Autoencoder簡(jiǎn)單理解)

    摘要:本篇博文主要是根據(jù)的那篇文章簡(jiǎn)單介紹下,然后通過(guò)個(gè)簡(jiǎn)單的實(shí)驗(yàn)來(lái)說(shuō)明實(shí)際編程中該怎樣應(yīng)用。當(dāng)然作者也從數(shù)學(xué)上給出了一定的解釋。自頂向下的生成模型觀點(diǎn)的解釋。信息論觀點(diǎn)的解釋。 前言:   當(dāng)采用無(wú)監(jiān)督的方法分層預(yù)訓(xùn)練深度網(wǎng)絡(luò)的權(quán)值時(shí),為了學(xué)習(xí)到較魯棒的特征,可以在網(wǎng)絡(luò)的可視層(即數(shù)據(jù)的輸入層)引入隨機(jī)噪聲,這種方法稱為Denoise Autoencoder(簡(jiǎn)稱dAE),由Bengio在08年...

    gotham 評(píng)論0 收藏0
  • 深度神經(jīng)網(wǎng)絡(luò):WX+b vs XW+b

    摘要:作者微信號(hào)微信公眾號(hào)簡(jiǎn)書地址在大多數(shù)的神經(jīng)網(wǎng)絡(luò)教科書中,神經(jīng)網(wǎng)絡(luò)一般都會(huì)使用或者的形式。但是在或者中,神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)都是采用了的形式。從理論上講,和在神經(jīng)網(wǎng)絡(luò)中是等價(jià)的其實(shí)就是一個(gè)矩陣的轉(zhuǎn)置。然而,當(dāng)我們計(jì)算兩者的導(dǎo)數(shù)的時(shí)候卻差別很大。 作者:chen_h微信號(hào) & QQ:862251340微信公眾號(hào):coderpai簡(jiǎn)書地址:https://www.jianshu.com/p/856...

    rose 評(píng)論0 收藏0
  • 深度學(xué)習(xí):你該知道八大開(kāi)源框架

    摘要:作為當(dāng)下最熱門的話題,等巨頭都圍繞深度學(xué)習(xí)重點(diǎn)投資了一系列新興項(xiàng)目,他們也一直在支持一些開(kāi)源深度學(xué)習(xí)框架。八來(lái)自一個(gè)日本的深度學(xué)習(xí)創(chuàng)業(yè)公司,今年月發(fā)布的一個(gè)框架。 深度學(xué)習(xí)(Deep Learning)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法,深度學(xué)習(xí)的好處是用 非 監(jiān)督式或半監(jiān)督式 的特征學(xué)習(xí)、分層特征提取高效算法來(lái)替代手工獲取特征(feature)。作為當(dāng)下最熱門的話題,Google...

    Rindia 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

閱讀需要支付1元查看
<