摘要：以下是我上次寫(xiě)的函數(shù)的文章關(guān)于其他激勵(lì)函數(shù)，可以網(wǎng)上找資料進(jìn)行了解，很多基礎(chǔ)性的數(shù)學(xué)知識(shí)，放到一些比較具體的應(yīng)用，會(huì)顯得非常的有意思。

先上代碼

import tensorflow
from tensorflow.examples.tutorials.mnist import input_data
import matplotlib.pyplot as plt

# 普通的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)
# 學(xué)習(xí)訓(xùn)練類
class Normal:

    weight = []
    biases = []

    def __init__(self):
        self.times = 1000
        self.mnist = []
        self.session = tensorflow.Session()
        self.xs = tensorflow.placeholder(tensorflow.float32, [None, 784])
        self.ys = tensorflow.placeholder(tensorflow.float32, [None, 10])
        self.save_path = "learn/result/normal.ckpt"

    def run(self):
        self.import_data()
        self.train()
        self.save()

    def _setWeight(self,weight):
        self.weight = weight

    def _setBiases(self,biases):
        self.biases = biases

    def _getWeight(self):
        return self.weight

    def _getBiases(self):
        return self.biases
    # 訓(xùn)練
    def train(self):

        prediction = self.add_layer(self.xs, 784, 10, activation_function=tensorflow.nn.softmax)

        cross_entropy = tensorflow.reduce_mean(
            -tensorflow.reduce_sum(
                self.ys * tensorflow.log(prediction)
                , reduction_indices=[1])
        )
        train_step = tensorflow.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

        self.session.run(tensorflow.global_variables_initializer())

        for i in range(self.times):
            batch_xs, batch_ys = self.mnist.train.next_batch(100)
            self.session.run(train_step, feed_dict={self.xs: batch_xs, self.ys: batch_ys})
            if i % 50 == 0:
                # images 變換為 labels，images相當(dāng)于x，labels相當(dāng)于y
                accurary = self.computer_accurary(
                    self.mnist.test.images,
                    self.mnist.test.labels,
                    prediction
                )

    # 數(shù)據(jù)導(dǎo)入
    def import_data(self):
        self.mnist = input_data.read_data_sets("MNIST_data", one_hot=True)

    # 數(shù)據(jù)保存
    def save(self):
        saver = tensorflow.train.Saver()
        path = saver.save(self.session,self.save_path)

    # 添加隱藏層
    def add_layer(self,inputs,input_size,output_size,activation_function=None):

        weight = tensorflow.Variable(tensorflow.random_normal([input_size,output_size]),dtype=tensorflow.float32,name="weight")

        biases = tensorflow.Variable(tensorflow.zeros([1,output_size]) + 0.1,dtype=tensorflow.float32,name="biases")
        Wx_plus_b = tensorflow.matmul(inputs,weight) + biases

        self._setBiases(biases)
        self._setWeight(weight)

        if activation_function is None:
            outputs = Wx_plus_b
        else:
            outputs = activation_function(Wx_plus_b,)

        return outputs


    # 計(jì)算結(jié)果數(shù)據(jù)與實(shí)際數(shù)據(jù)的正確率
    def computer_accurary(self,x_data,y_data,tf_prediction):

        prediction = self.session.run(tf_prediction,feed_dict={self.xs:x_data,self.ys:y_data})

        # 返回兩個(gè)矩陣中最大值的索引號(hào)位置，然后進(jìn)行相應(yīng)位置的值大小比較并在此位置設(shè)置為T(mén)rue/False
        correct_predition = tensorflow.equal(tensorflow.argmax(prediction,1),tensorflow.argmax(y_data,1))

        # 進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，然后進(jìn)行降維求平均值
        accurary = tensorflow.reduce_mean(tensorflow.cast(correct_predition,tensorflow.float32))

        result = self.session.run(accurary,feed_dict={self.xs:x_data,self.ys:y_data})

        return result

# 識(shí)別類
class NormalRead(Normal):

    input_size = 784
    output_size = 10

    def run(self):
        self.import_data()
        self.getSaver()
        origin_input = self._getInput()
        output = self.recognize(origin_input)

        self._showImage(origin_input)
        self._showOutput(output)
        pass

    # 顯示識(shí)別結(jié)果
    def _showOutput(self,output):
        number = output.index(1)
        print("識(shí)別到的數(shù)字:",number)

    # 顯示被識(shí)別圖片
    def _showImage(self,origin_input):
        data = []
        tmp = []
        i = 1
        # 原數(shù)據(jù)轉(zhuǎn)換為可顯示的矩陣
        for v in origin_input[0]:
            if i %28 == 0:
                tmp.append(v)
                data.append(tmp)
                tmp = []
            else:
                tmp.append(v)
            i += 1

        plt.figure()
        plt.imshow(data, cmap="binary")  # 黑白顯示
        plt.show()


    def _setBiases(self,biases):
        self.biases = biases
        pass

    def _setWeight(self,weight):
        self.weight = weight
        pass

    def _getBiases(self):
        return self.biases

    def _getWeight(self):
        return self.weight

    # 獲取訓(xùn)練模型
    def getSaver(self):
        weight = tensorflow.Variable(tensorflow.random_normal([self.input_size, self.output_size]), dtype=tensorflow.float32,name="weight")

        biases = tensorflow.Variable(tensorflow.zeros([1, self.output_size]) + 0.1, dtype=tensorflow.float32, name="biases")

        saver = tensorflow.train.Saver()
        saver.restore(self.session,self.save_path)

        self._setWeight(weight)
        self._setBiases(biases)

    def recognize(self,origin_input):
        input = tensorflow.placeholder(tensorflow.float32,[None,784])
        weight = self._getWeight()
        biases = self._getBiases()

        result = tensorflow.matmul(input,weight) + biases
        resultSof = tensorflow.nn.softmax(result,) # 把結(jié)果集使用softmax進(jìn)行激勵(lì)
        resultSig = tensorflow.nn.sigmoid(resultSof,) # 把結(jié)果集以sigmoid函數(shù)進(jìn)行激勵(lì)，用于后續(xù)分類
        output = self.session.run(resultSig,{input:origin_input})

        output = output[0]

        # 對(duì)識(shí)別結(jié)果進(jìn)行分類處理
        output_tmp = []
        for item in output:
            if item < 0.6:
                output_tmp.append(0)
            else :
                output_tmp.append(1)

        return output_tmp

    def _getInput(self):
        inputs, y = self.mnist.train.next_batch(100);
        return [inputs[50]]

以上是程序，整個(gè)程序基于TensorFlow來(lái)實(shí)現(xiàn)的，具體的TensorFlow安裝我就不說(shuō)了。
整個(gè)訓(xùn)練過(guò)程不做多說(shuō)，我發(fā)現(xiàn)網(wǎng)上關(guān)于訓(xùn)練的教程很多，但是訓(xùn)練結(jié)果的教程很少。

整個(gè)程序里，通過(guò)tensorflow.train.Saver()的save進(jìn)行訓(xùn)練結(jié)果模型進(jìn)行存儲(chǔ)，然后再用tensorflow.train.Saver()的restore進(jìn)行模型恢復(fù)然后取到訓(xùn)練好的weight和baises。

這里要注意的一個(gè)地方是因?yàn)橐淮涡噪S機(jī)取出100張手寫(xiě)圖片進(jìn)行批量訓(xùn)練的，我在取的時(shí)候其實(shí)也是批量隨機(jī)取100張，但是我傳入識(shí)別的是一張，通過(guò)以下這段程序：

def _getInput(self):
        inputs, y = self.mnist.train.next_batch(100);
        return [inputs[50]]

注意一下return這里的數(shù)據(jù)結(jié)構(gòu)，其實(shí)是取這批量的第50張，實(shí)際上這段程序?qū)懗桑?/p>

def _getInput(self):
        inputs, y = self.mnist.train.next_batch(1);
        return [inputs[0]]

會(huì)更好。
因?yàn)樽R(shí)別的時(shí)候是需要用到訓(xùn)練的隱藏層來(lái)進(jìn)行的，所以在此我雖然識(shí)別的是一張圖片，但是我必須要傳入一個(gè)批量數(shù)據(jù)的這樣一個(gè)結(jié)構(gòu)。

然后再識(shí)別的地方，我使用了兩個(gè)激勵(lì)函數(shù)：

resultSof = tensorflow.nn.softmax(result,) # 把結(jié)果集使用softmax進(jìn)行激勵(lì)
resultSig = tensorflow.nn.sigmoid(resultSof,) # 把結(jié)果集以sigmoid函數(shù)進(jìn)行激勵(lì)，用于后續(xù)分類

這里的話，第一個(gè)softmax激勵(lì)后的數(shù)據(jù)我發(fā)現(xiàn)得到的是以e為底的指數(shù)形式，轉(zhuǎn)換成普通的浮點(diǎn)數(shù)來(lái)看，不是很清楚到底是什么，那么我在做識(shí)別數(shù)字判斷的時(shí)候就不方便，所以再通過(guò)了一次sigmoid的激勵(lì)。

后續(xù)我通過(guò)一個(gè)循環(huán)判斷進(jìn)行一次實(shí)際上的分類，這個(gè)原因首先要說(shuō)到識(shí)別結(jié)果形式：

[0,0,0,0,0,0,0,0,1,0]

像以上這個(gè)數(shù)據(jù)，表示的是8，也就是說(shuō)，數(shù)組下表第幾位為1就表示是幾，如0的表示:

[1,0,0,0,0,0,0,0,0,0]

而sigmoid函數(shù)在這個(gè)地方其實(shí)就是對(duì)每個(gè)位置的數(shù)據(jù)進(jìn)行了分類，我發(fā)現(xiàn)如果分類值小于0.52這樣的數(shù)據(jù)其實(shí)代表的是否，也就是說(shuō)此位置的值對(duì)應(yīng)的是0，大于0.52應(yīng)該對(duì)應(yīng)的是真，也就是1；而我在程序里取的是0.6為界限做判斷。

實(shí)際上，這個(gè)界限值應(yīng)該是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時(shí)候取的，而不是看識(shí)別結(jié)果來(lái)進(jìn)行憑感覺(jué)取的（雖然訓(xùn)練的時(shí)候的參數(shù)也是憑感覺(jué)取的）

這篇文章是我根據(jù)個(gè)人的一些理解來(lái)寫(xiě)的，后續(xù)如果發(fā)現(xiàn)有錯(cuò)誤，我會(huì)在新文章說(shuō)出來(lái)，但這篇文章不做保留，方便后續(xù)檢查思考記錄的時(shí)候知道到底怎么踩坑的。

以下是我上次寫(xiě)的sigmoid函數(shù)的文章：

https://segmentfault.com/a/11...

關(guān)于其他激勵(lì)函數(shù)，可以網(wǎng)上找資料進(jìn)行了解，很多基礎(chǔ)性的數(shù)學(xué)知識(shí)，放到一些比較具體的應(yīng)用，會(huì)顯得非常的有意思。