資訊專欄INFORMATION COLUMN
摘要：損失代價的減小是一件好事只有在數(shù)據(jù)很龐大的時候在機器學(xué)習(xí)中，幾乎任何時候都是，我們才需要使用，，迭代這些術(shù)語，在這種情況下，一次性將數(shù)據(jù)輸入計算機是不可能的。
你肯定經(jīng)歷過這樣的時刻，看著電腦屏幕抓著頭，困惑著：「為什么我會在代碼中使用這三個術(shù)語，它們有什么區(qū)別嗎？」因為它們看起來實在太相似了。
為了理解這些術(shù)語有什么不同，你需要了解一些關(guān)于機器學(xué)習(xí)的術(shù)語，比如梯度下降，以幫助你理解。
這里簡單總結(jié)梯度下降的含義...
梯度下降
這是一個在機器學(xué)習(xí)中用于尋找較佳結(jié)果（曲線的最小值）的迭代優(yōu)化算法。
梯度的含義是斜率或者斜坡的傾斜度。
下降的含義是代價函數(shù)的下降。
算法是迭代的，意思是需要多次使用算法獲取結(jié)果，以得到最優(yōu)化結(jié)果。梯度下降的迭代性質(zhì)能使欠擬合的圖示演化以獲得對數(shù)據(jù)的較佳擬合。
梯度下降中有一個稱為學(xué)習(xí)率的參量。如上圖左所示，剛開始學(xué)習(xí)率更大，因此下降步長更大。隨著點下降，學(xué)習(xí)率變得越來越小，從而下降步長也變小。同時，代價函數(shù)也在減小，或者說代價在減小，有時候也稱為損失函數(shù)或者損失，兩者都是一樣的。（損失/代價的減小是一件好事）
只有在數(shù)據(jù)很龐大的時候（在機器學(xué)習(xí)中，幾乎任何時候都是），我們才需要使用 epochs，batch size，迭代這些術(shù)語，在這種情況下，一次性將數(shù)據(jù)輸入計算機是不可能的。因此，為了解決這個問題，我們需要把數(shù)據(jù)分成小塊，一塊一塊的傳遞給計算機，在每一步的末端更新神經(jīng)網(wǎng)絡(luò)的權(quán)重，擬合給定的數(shù)據(jù)。
EPOCHS
當(dāng)一個完整的數(shù)據(jù)集通過了神經(jīng)網(wǎng)絡(luò)一次并且返回了一次，這個過程稱為一個 epoch。
然而，當(dāng)一個 epoch 對于計算機而言太龐大的時候，就需要把它分成多個小塊。
為什么要使用多于一個 epoch？
我知道這剛開始聽起來會很奇怪，在神經(jīng)網(wǎng)絡(luò)中傳遞完整的數(shù)據(jù)集一次是不夠的，而且我們需要將完整的數(shù)據(jù)集在同樣的神經(jīng)網(wǎng)絡(luò)中傳遞多次。但是請記住，我們使用的是有限的數(shù)據(jù)集，并且我們使用一個迭代過程即梯度下降，優(yōu)化學(xué)習(xí)過程和圖示。因此僅僅更新權(quán)重一次或者說使用一個 epoch 是不夠的。
隨著 epoch 數(shù)量增加，神經(jīng)網(wǎng)絡(luò)中的權(quán)重的更新次數(shù)也增加，曲線從欠擬合變得過擬合。
那么，幾個 epoch 才是合適的呢？
不幸的是，這個問題并沒有正確的答案。對于不同的數(shù)據(jù)集，答案是不一樣的。但是數(shù)據(jù)的多樣性會影響合適的 epoch 的數(shù)量。比如，只有黑色的貓的數(shù)據(jù)集，以及有各種顏色的貓的數(shù)據(jù)集。
BATCH SIZE
一個 batch 中的樣本總數(shù)。記?。篵atch size 和 number of batches 是不同的。
BATCH 是什么？
在不能將數(shù)據(jù)一次性通過神經(jīng)網(wǎng)絡(luò)的時候，就需要將數(shù)據(jù)集分成幾個 batch。
正如將這篇文章分成幾個部分，如介紹、梯度下降、Epoch、Batch size 和迭代，從而使文章更容易閱讀和理解。
迭代
理解迭代，只需要知道乘法表或者一個計算器就可以了。迭代是 batch 需要完成一個 epoch 的次數(shù)。記?。涸谝粋€ epoch 中，batch 數(shù)和迭代數(shù)是相等的。
比如對于一個有 2000 個訓(xùn)練樣本的數(shù)據(jù)集。將 2000 個樣本分成大小為 500 的 batch，那么完成一個 epoch 需要 4 個 iteration。
原文鏈接：https://medium.com/towards-data-science/epoch-vs-iterations-vs-batch-size-4dfb9c7ce9c9
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4624.html
摘要：本圖中的數(shù)據(jù)收集自利用數(shù)據(jù)集在英偉達(dá)上對進(jìn)行訓(xùn)練的實際流程。據(jù)我所知，人們之前還無法有效利用諸如神威太湖之光的超級計算機完成神經(jīng)網(wǎng)絡(luò)訓(xùn)練。最終，我們用分鐘完成了的訓(xùn)練據(jù)我們所知，這是使用進(jìn)行訓(xùn)練的世界最快紀(jì)錄。 圖 1，Google Brain 科學(xué)家 Jonathan Hseu 闡述加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的重要意義近年來，深度學(xué)習(xí)的一個瓶頸主要體現(xiàn)在計算上。比如，在一個英偉達(dá)的 M40 GPU ...
摘要：介紹本文我們將使用網(wǎng)絡(luò)來學(xué)習(xí)莎士比亞小說，模型通過學(xué)習(xí)可以生成與小說風(fēng)格相似的文本，如圖所示雖然有些句子并沒有實際的意思目前我們的模型是基于概率，并不是理解語義，但是大多數(shù)單詞都是有效的，文本結(jié)構(gòu)也與我們訓(xùn)練的文本相似。 介紹 本文我們將使用GRU網(wǎng)絡(luò)來學(xué)習(xí)莎士比亞小說，模型通過學(xué)習(xí)可以生成與小說風(fēng)格相似的文本，如圖所示：showImg(https://segmentfault.com...
摘要：深度卷積對抗生成網(wǎng)絡(luò)是的變體，是一種將卷積引入模型的網(wǎng)絡(luò)。特點是判別器使用來替代空間池化，生成器使用反卷積使用穩(wěn)定學(xué)習(xí)，有助于處理初始化不良導(dǎo)致的訓(xùn)練問題生成器輸出層使用激活函數(shù)，其它層使用激活函數(shù)。 介紹 showImg(https://segmentfault.com/img/bVbkDEF?w=2572&h=1080); 如圖所示，GAN網(wǎng)絡(luò)會同時訓(xùn)練兩個模型。生成器：負(fù)責(zé)生成數(shù)...
閱讀 2820·2021-11-24 09:39
閱讀 3391·2021-11-19 09:40
閱讀 2262·2021-11-17 09:33
閱讀 3752·2021-10-08 10:04
閱讀 3041·2021-09-26 09:55
閱讀 1668·2021-09-22 15:26
閱讀 930·2021-09-10 10:51
閱讀 3130·2019-08-30 15:44
