摘要：技術(shù)總言這次主要說最近發(fā)展的無監(jiān)督特征學(xué)習(xí)和深入學(xué)習(xí)，其對于時間序列模型問題的評價。建模連續(xù)數(shù)據(jù)的傳統(tǒng)方法包括從假定時間序列模型參數(shù)的估計，如自回歸模型和線性動力系統(tǒng)，和著名的隱馬爾可夫模型。此外，時間序列對時間變量有明顯依賴性。

技術(shù)總言：

這次主要說最近發(fā)展的無監(jiān)督特征學(xué)習(xí)和深入學(xué)習(xí)，其對于時間序列模型問題的評價。這些技術(shù)已經(jīng)展現(xiàn)了希望對于建模靜態(tài)數(shù)據(jù)，如計算機(jī)視覺，把它們應(yīng)用到時間序列數(shù)據(jù)正在獲得越來越多的關(guān)注。這次主要概述了時間序列數(shù)據(jù)存在的特殊挑戰(zhàn)，并提供了工作的評價，其含有把時間序列應(yīng)用到非監(jiān)督特征學(xué)習(xí)算法或者是有選擇的促成特征學(xué)習(xí)算法的變動去考慮目前時間序列數(shù)據(jù)的挑戰(zhàn)。

當(dāng)人們大腦在學(xué)習(xí)任務(wù)的時候，如語言、視覺和運(yùn)動，時間是一種自然元素總是存在的。大多數(shù)真實(shí)世界的數(shù)據(jù)有一些時間成份，無論是自然過程的測量值（如天氣，聲波）或者人為的（股市，機(jī)器人）。時間序列數(shù)據(jù)的分析一直為積極研究的課題幾十年了，被認(rèn)為是由Yang和Wu作為數(shù)據(jù)挖掘的十大挑戰(zhàn)性的問題之一，由于其獨(dú)特的性質(zhì)。建模連續(xù)數(shù)據(jù)的傳統(tǒng)方法包括從假定時間序列模型參數(shù)的估計，如自回歸模型和線性動力系統(tǒng)（LDS），和著名的隱馬爾可夫模型（HMM）。估計的參數(shù)然后可以在分類器被用作特征去執(zhí)行分類。然而，更復(fù)雜的，更高維的和更繁雜的真實(shí)世界的時間序列數(shù)據(jù)不能被分析的方程式描述，用方程的參數(shù)去解決，因?yàn)閯恿W(xué)要么太復(fù)雜或未知和傳統(tǒng)的淺方法，只含有一個小非線性操作的數(shù)，不必較精確地模擬這種復(fù)雜的數(shù)據(jù)的能力。為了更好的模型完成復(fù)雜的真實(shí)世界數(shù)據(jù)，一種方法是開發(fā)強(qiáng)大的功能，獲取相關(guān)信息。然而，開發(fā)特有領(lǐng)域的特征對于每個任務(wù)是昂貴的，耗時的并且需要數(shù)據(jù)的專門知識?？晒┻x擇的方法是使用無監(jiān)督特征學(xué)習(xí)，以便從未標(biāo)簽數(shù)據(jù)學(xué)到了一層特征表達(dá)。其有優(yōu)勢是因?yàn)槲礃?biāo)簽的數(shù)據(jù)多且容易獲得，利用其特征從數(shù)據(jù)中學(xué)習(xí)而不是手工獲知。另一個好處是特征表現(xiàn)這些層可以被堆疊以產(chǎn)生深的網(wǎng)絡(luò)，這是更能夠在數(shù)據(jù)中建模復(fù)雜結(jié)構(gòu)。深層網(wǎng)絡(luò)已在多項(xiàng)基準(zhǔn)測試數(shù)據(jù)集中被用來實(shí)現(xiàn)國家的較先進(jìn)的成果和解決困難的AI任務(wù)。然而，特征學(xué)習(xí)倍受社會各界重點(diǎn)關(guān)注，一直放在開發(fā)靜態(tài)數(shù)據(jù)模型然而時間序列數(shù)據(jù)沒有那么多關(guān)注。

時間序列數(shù)據(jù)的性質(zhì)

從一個連續(xù)的采樣數(shù)據(jù)點(diǎn)的時間序列數(shù)據(jù)，隨時間實(shí)值一直在處理。有很多的時間序列數(shù)據(jù)的特性，使得它與其他類型的數(shù)據(jù)的不同。

首先，采樣的時間序列數(shù)據(jù)往往包含很多噪聲且具有高的維數(shù)。為了處理這一點(diǎn)，如降維技術(shù)、小波分析或?yàn)V波的信號處理技術(shù)可以應(yīng)用于以去除一些噪聲和降維。利用特征提取具有許多優(yōu)點(diǎn)。然而，有價值的信息可能丟失，特征和信號處理技術(shù)的選擇可能需要數(shù)據(jù)的專業(yè)知識。

第二是時間序列數(shù)據(jù)的特征是不能確定有可用的足夠信息來了解整個過程。例如，在電子鼻數(shù)據(jù)，其中傳感器陣列的各種選擇性，對于許多氣體的組合去識別特定的氣味，但不保證該傳感器的選擇實(shí)際上能夠識別目標(biāo)的氣味。在金融數(shù)據(jù)觀測單一股票，這僅測量一個復(fù)雜的系統(tǒng)的一個很小的方面，則很可能沒有足夠的信息去預(yù)測未來。

此外，時間序列對時間變量有明顯依賴性。在時間t給定輸入值x（t），該模型預(yù)測為Y（t），但在稍后的時間相同的輸入可以與不同的預(yù)測相關(guān)聯(lián)。為了解決這個問題，該模型包括從過去到現(xiàn)在更多的數(shù)據(jù)或者必須具有的過去的輸入的存儲器。對于長期依賴的第一種方法可以使輸入尺寸過大的模型來處理。另一個挑戰(zhàn)是，時間依賴性的長度可能是未知的。

許多時間序列也是非靜止的，這意味著該數(shù)據(jù)的特征，如平均值，方差和頻率，隨時間的變化的。對于一些時間序列數(shù)據(jù)，在頻率的變化是如此相關(guān)，在頻域比在時域這是更有利去工作的。

最后，當(dāng)涉及到不變性，時間序列數(shù)據(jù)和其它類型的數(shù)據(jù)會有不同。在其他領(lǐng)域，例如計算機(jī)視覺，它最重要的是要有特征，不變的平移，旋轉(zhuǎn)，和比例。時間序列大多數(shù)特征需要是不變平移。

總之時間序列數(shù)據(jù)是高維和復(fù)雜的具有獨(dú)特性質(zhì)的，它們的分析和建模具有挑戰(zhàn)性。有很大興趣在時間序列數(shù)據(jù)表達(dá)，為了將維且提取相關(guān)的信息。關(guān)鍵對于任何成功的應(yīng)用在于選擇正確的表示。各種時序問題包含了不同程度的性質(zhì)，在本節(jié)和先驗(yàn)知識或假設(shè)有關(guān)這些性質(zhì)的討論，經(jīng)常被注入在所選擇的模型或特征表達(dá)。非標(biāo)簽數(shù)據(jù)學(xué)習(xí)表達(dá)代替手工設(shè)置特征越來越感興趣。無監(jiān)督特征學(xué)習(xí)已經(jīng)證明是成功的，在學(xué)習(xí)的特征表現(xiàn)層的靜態(tài)數(shù)據(jù)集，且可與深度網(wǎng)絡(luò)相結(jié)合去創(chuàng)造更強(qiáng)大的學(xué)習(xí)模型。但是，特征學(xué)習(xí)的時間序列數(shù)據(jù)必須去修改，為了調(diào)整時間序列數(shù)據(jù)的特征，為了捕捉時間信息。

非監(jiān)督學(xué)習(xí)和深度學(xué)習(xí)

接下來主要介紹用于無監(jiān)督特征學(xué)習(xí)模型和技術(shù)，用于建模時間關(guān)系。從未標(biāo)簽數(shù)據(jù)學(xué)習(xí)特征的優(yōu)點(diǎn)是大量未標(biāo)簽的數(shù)據(jù)可以被利用，但比手工設(shè)定的特征可能有更好的特征可以學(xué)到。這兩個優(yōu)點(diǎn)減少了需要數(shù)據(jù)的專門知識。

受限玻爾茲曼機(jī)

受限波爾茲曼機(jī)（RBM）是一個概率模型，它輸入單元（可見）x和隱藏單元（隱藏）h如圖1所示。

圖1 靜態(tài)數(shù)據(jù)的2層RBM

可見和隱藏單元與一個權(quán)重矩陣相連，W和有偏置向量分別為C和B?？梢姷暮碗[藏單位之間沒有聯(lián)系。RBM可用于模擬靜態(tài)數(shù)據(jù)。能量函數(shù)和聯(lián)合分布對于給定的可見和隱藏向量定義為：

其中Z是分區(qū)功能，確保了分布是歸一化的。對于二進(jìn)制可見和隱藏單元，隱藏的單元被激活給出可見向量x的概率，可視單元被激活給出隱藏向量h的概率，由下式給出：

其中σ（·）是所有訓(xùn)練樣本的均值。幾個RBMs可以堆疊產(chǎn)生一個深度信念網(wǎng)絡(luò)（DBM）。在一個深度網(wǎng)絡(luò)里，在第一層隱藏單元的激活是第二層的輸入。

條件RNM

RBM模型的多元時間序列數(shù)據(jù)的擴(kuò)展是條件RBM（cRBM），如圖2所示。一個類似的模式是時間RBM。

圖2 兩層條件RBM的時間序列數(shù)據(jù)，用于第一和第二層的模型順序分別是3和2

該cRBM由自回歸權(quán)重組成，該模型的短期時間結(jié)構(gòu)，和以往可見單元到當(dāng)前隱含單元之間的連接。cRBM的偏置向量取決于先前可見單元且被定義為：

其中Ai是在時間t-i的可見單元和目前可見單元之間的自回歸連接，Bi是權(quán)重矩陣連接可視層在時間t-i到目前的隱藏層。模型順序由常數(shù)n定義。對于上升或下降一層的概率是：

系數(shù)θ={W,b,c,A,B}，用對比的分歧進(jìn)行培訓(xùn)。就像RBM，所述的cRBM也可以作為一個模塊來創(chuàng)建深度網(wǎng)絡(luò)。

自動編碼

不具有一個配分函數(shù)的模型是自動編碼，參見圖3。自動編碼首次引入作為一個降維算法。事實(shí)上，一個基本的線性自編碼實(shí)質(zhì)上學(xué)習(xí)相同的表示作為主成分分析（PCA）?？梢妴卧母鲗觴，隱單元h和重建的可見單元，通過連接權(quán)重矩陣W1和W2，隱含層和重建層分別具有偏置矢量b1和b2。它是常見的自動編碼器去并列權(quán)重，即W2=（W1）T。這工作可以作為一個調(diào)整裝置，因?yàn)樗拗屏嗽试S的參數(shù)空間并降低了參數(shù)的數(shù)目去學(xué)習(xí)。前饋激活計算公式為：

其中σ（·）是激活函數(shù)。由于RBM，一個常見的選擇是邏輯激活函數(shù)。最優(yōu)值（the cost function）被最小化表示為：

圖3 靜態(tài)時間序列輸入的一個一層的自動編碼器。輸入是當(dāng)前和之前可視數(shù)據(jù)x框架的連接。x的重建表示為^X。

遞歸神經(jīng)網(wǎng)絡(luò)

一個模型已用于建模順序數(shù)據(jù)的是遞推神經(jīng)網(wǎng)絡(luò)（RNN）。通常一個RNN從前饋網(wǎng)絡(luò)通過連接的神經(jīng)元的輸出到其輸入端獲得的，參見圖4。短期內(nèi)時間相關(guān)性由隱藏到隱藏連接建模，而無需使用任何時間延遲。它們經(jīng)常迭代訓(xùn)練，并通過被稱為反向傳播通時間（BPTT）的過程。當(dāng)時間展開時RNNs可以被看作是非常深的網(wǎng)絡(luò)，其在每一層共享參數(shù)。這導(dǎo)致梯度的消失的問題，并已促使二階方法的深體系和非監(jiān)督預(yù)訓(xùn)練的探索。對訓(xùn)練RNNs策略概述由Sutskever提供。一個著名的拓展是使用特制的長短期記憶細(xì)胞，其能更好地發(fā)現(xiàn)長期相關(guān)性。

圖4 遞推神經(jīng)網(wǎng)絡(luò)（RNN）。輸入x被變換到輸出表示y，其通過隱單位h。隱單元連接當(dāng)前時間幀的輸入值和隱單元從先前時間幀。

深度學(xué)習(xí)

這個所介紹的隱單元是使用非線性激活函數(shù)。這種非線性使得一個更富有表現(xiàn)的模型能夠?qū)W習(xí)更抽象的表示，當(dāng)多個模塊被堆疊在彼此的頂部以形成深度網(wǎng)絡(luò)（如果線性特征被堆疊的結(jié)果仍然是一個線性操作）。深度網(wǎng)絡(luò)的目標(biāo)是在較低層構(gòu)建特征，其將會區(qū)分開輸入數(shù)據(jù)變化的因素，然后組合這些表示在更高層。已提出了一個深度網(wǎng)絡(luò)將概括的很好，因?yàn)樗哂懈暾谋磉_(dá)。然而，當(dāng)誤差信號反向傳播時，在梯度消失的問題中隨著訓(xùn)練隱單元的多個層會很困難。這可以通過在每一層執(zhí)行無監(jiān)督貪婪逐層預(yù)訓(xùn)練來解決。這作為正規(guī)化的一個不尋常的形式，避免了較差的局部最小值并給出比隨機(jī)初始化一個更好的初始化。然而，與其他因素相比參數(shù)初始化的重要性是不一至關(guān)重要的，例如輸入連接和結(jié)構(gòu)。

卷積和池化

這種技術(shù)是特別有趣的高維數(shù)據(jù)，比如圖像和時間序列數(shù)據(jù)，其就是是卷積。在一個卷積設(shè)置中，隱單元不完全連接到輸入而是分為互補(bǔ)局部連接的段，見圖5。卷積已應(yīng)用于RBMs和自動編碼器去創(chuàng)建卷積RBMs（convRBM）和卷積自動編碼器（convAE）。時延神經(jīng)網(wǎng)絡(luò)（TDNN）是人工神經(jīng)網(wǎng)絡(luò)（ANN）的一個特例，通過對重疊窗口進(jìn)行卷積利用輸入的時間結(jié)構(gòu)。

圖5 兩層的卷積神經(jīng)網(wǎng)絡(luò)

一個常用的操作是與卷積一起使用，它通過一個較大、平均或直方圖的操作結(jié)合輸入或特征空間附近的值，其就是池化。池的目的是實(shí)現(xiàn)小局部變形的不變性，并減少了特征空間的維數(shù)。Lee等人的工作引入了概率較大-池化在卷積RBMS的上下文中。時空DBN（ST-DBN）使用卷積RBMs與空間池化層和時域池化層一起從時空數(shù)據(jù)建立不變性特征。

時間相干性

有很多其他方法除了體系結(jié)構(gòu)，其可用于捕獲數(shù)據(jù)中的時間相干性。一種方法是引入一個平滑懲罰在正規(guī)化的隱變量。這是通過最小化的變化的隱藏單元從一個幀到下一幀激活通過如下完成：

這背后的動機(jī)是連續(xù)數(shù)據(jù)的隱單元激活不應(yīng)有太大變化，如果時間相關(guān)性數(shù)據(jù)按時間順序被反饋到該模型。其他策略包括懲罰的平方差，慢速特征分析，或作為其他因素的函數(shù)，例如在輸入數(shù)據(jù)中的變化，以便適應(yīng)慢速和快速變化的輸入數(shù)據(jù)。

時間相干性是關(guān)系到不變性特征的表示，因?yàn)檫@兩種方法要實(shí)現(xiàn)在輸入數(shù)據(jù)中特征表達(dá)的微小變化。因此建議在，其姿勢參數(shù)和仿射變換應(yīng)被建模，而不是使用不變性特征表示。在這種情況下，時間相干性應(yīng)超過一些組，如位置和姿勢的目標(biāo)，而不是單一的標(biāo)量。這例子可以用結(jié)構(gòu)稀疏性懲罰來實(shí)現(xiàn)。

小結(jié)一下

表1給出了簡要介紹模型的總結(jié)。第一列表示模型是否能夠捕捉時序關(guān)系。一個模型捕捉時序關(guān)系由具過去輸入的內(nèi)存完成。一個模型的內(nèi)存，在第二列中指示，意味著在當(dāng)前幀上有多少步及時回到輸入。沒有時序次序，特征序列的任何排列會產(chǎn)生相同的分布。一個存儲器的實(shí)現(xiàn)在模型之間執(zhí)行不同。在一個cRBM，延遲被用于創(chuàng)建關(guān)于過去可見單元的短期相關(guān)性。長期相關(guān)性來自模擬后續(xù)層。這意味著對于一個cRBM存儲器的長度增加對于每個添加層。在一層cRBM模型次序中通常低于5個輸入大小的大約50左右。在輸入尺寸減小將允許更高模型次序。在一個RNN中，隱單元在當(dāng)前時間幀受到在先前時間幀隱單元狀態(tài)的影響。這可以創(chuàng)建帶有潛在的無限時間幀的持續(xù)時間的連鎖反應(yīng)。另一方面，這種連鎖反應(yīng)可以通過用忘記門避免。利用長短期記憶或hessian-free優(yōu)化可以產(chǎn)生遞推網(wǎng)絡(luò)，其擁有超過100個時間步驟的記憶。門控RBM和卷積GRBM模型在一對駛?cè)胂蛄恐g轉(zhuǎn)換，所以這些模型的內(nèi)存為2。時空DBN 模型6個輸出序列來自空間池化層，對于GRBM這是一個較長內(nèi)存，但使用了一個較低的輸入大小。

在表1中的最后一列表示假如模型生成（相對于判別）。一個生成模型可以產(chǎn)生觀測數(shù)據(jù)給予一個隱藏表示，并且這能力主要是用于產(chǎn)生未來的時間步長的合成數(shù)據(jù)。盡管自動編碼器沒有生成，一個概率的解釋可以使用自動編碼器的得分生成。

表1 常用模型的特征學(xué)習(xí)的總結(jié)

經(jīng)典時間序列問題

在這我們將重點(diǎn)介紹一些常見的時間序列問題和模型，并已解決他們在文獻(xiàn)中給出。我們將專注于復(fù)雜問題，對于特征表達(dá)需要用隱變量，其中表示完全或部分從未標(biāo)簽的數(shù)據(jù)學(xué)習(xí)。那會在本節(jié)呈現(xiàn)經(jīng)典的時間序列問題，總結(jié)如表2。

表2 常用時間序列問題的總結(jié)

舉個小例子：視頻

視頻數(shù)據(jù)是隨著時間推移的圖像系列（時空數(shù)據(jù)），并可以因此被看作是高維的時序數(shù)據(jù)。如圖6表示從KTH行為識別數(shù)據(jù)集的圖像序列。傳統(tǒng)的方法是模擬視頻流，是將用共同的特征檢測每一個個體的靜態(tài)圖像和檢測有趣的點(diǎn)，如SIFT 或HOG 。這些特征是特定域的靜態(tài)圖像，并且不容易擴(kuò)展到其他領(lǐng)域，例如視頻。

圖6 四個圖像從100、105、110和115幀上運(yùn)行的人的KTH動作識別數(shù)據(jù)集。KTH數(shù)據(jù)集還包含走路、慢跑、打拳、揮手和熱烈鼓掌的視頻。

采取Stavens和特龍的方法學(xué)習(xí)自己的領(lǐng)域優(yōu)化特征，而不是用預(yù)先定義的特征，但仍來自靜態(tài)圖像。更好的方法是去模擬視頻，去學(xué)習(xí)圖像的轉(zhuǎn)換而不是用靜態(tài)圖像工作。GRBM已被用于這一目的，其中輸入x，GRBM在一個時間幀是完整的圖像，且輸出y是隨后時間幀中的完整圖像。然而，由于網(wǎng)絡(luò)是全連接到圖像，該方法不能很好地擴(kuò)展到更大的圖像，并在多個位置的局部變換必須重新學(xué)習(xí)。

利用概率較大池化的GRBM的卷積版本被泰勒等人提出。利用卷積減少參數(shù)的學(xué)習(xí)數(shù)量，允許更大的輸入規(guī)模，更好地處理可能出現(xiàn)在圖像中的任何地方的局部仿射變換。該模型是對合成數(shù)據(jù)和多個基準(zhǔn)數(shù)據(jù)集的驗(yàn)證，包括KTH行為識別數(shù)據(jù)集。

Le等人的工作提出使用獨(dú)立子空間分析（ISA）的擴(kuò)展，無監(jiān)督的時空特征學(xué)習(xí)方法。該擴(kuò)展包括分層（疊）卷積ISA模塊連同池化一起。ISA的缺點(diǎn)是它不能很好地擴(kuò)展到大規(guī)模的輸入。卷積和堆疊解決了這個問題，是通過學(xué)習(xí)輸入數(shù)據(jù)的較小塊。該方法的若干基準(zhǔn)組包括KTH被驗(yàn)證。該方法的一個優(yōu)點(diǎn)是，ISA的使用減少了在RBM為基礎(chǔ)的方法的調(diào)整，例如學(xué)習(xí)率，權(quán)重衰減，收斂參數(shù)等。

模擬視頻中的時間關(guān)系也已經(jīng)用時間池化完成。Chen和Freitas的工作采用卷積RBMs作為空間池的塊，然后在空間池化單元執(zhí)行空間池化。該方法被稱為時空深度信念網(wǎng)絡(luò)（ST-DBN）。STDBN允許在空間和時間的不變性和統(tǒng)計獨(dú)立性。相比于標(biāo)準(zhǔn)卷積DBN的方法來實(shí)現(xiàn)上述應(yīng)用，如動作識別和視頻降噪性能都很優(yōu)越。

對于模擬視頻時間相干性的使用是由Zou等人完成的，其中自動編碼器上的池化單元的時間差L1-coast是用來學(xué)習(xí)特征的，其改善了靜止圖像的目標(biāo)識別。對于學(xué)習(xí)表達(dá)，Hyv?rinende的工作也用時間信息為準(zhǔn)則。

深度學(xué)習(xí)的采用，特征學(xué)習(xí)和用池化卷積，已經(jīng)推動了視頻處理的進(jìn)展。模擬視頻數(shù)據(jù)流是一個自然延續(xù)對于深度學(xué)習(xí)算法，因?yàn)樗鼈円驯蛔C明是成功的，在靜態(tài)圖像中構(gòu)建有用的特征。在視頻中通過重點(diǎn)學(xué)習(xí)時間特征，在靜態(tài)圖像上的性能可以提高，從而激發(fā)了需要繼續(xù)發(fā)展深度學(xué)習(xí)的算法，去捕捉時間關(guān)系。早期的嘗試在延伸深度學(xué)習(xí)算法，視頻數(shù)據(jù)通過模擬兩幀之間的轉(zhuǎn)換完成的。時間池化的使用擴(kuò)展了時間相關(guān)性，模型可以學(xué)習(xí)超過一多帶帶幀的轉(zhuǎn)換。但是，時間相關(guān)性已被建模，其仍然只是幾幀。對于視頻處理的一個可能的未來發(fā)展方向是看模型可以學(xué)習(xí)更長的時間相關(guān)性。

再來一個小例子：股市預(yù)測

股票市場數(shù)據(jù)是高度復(fù)雜和難以預(yù)料的，即使對于人類專家，由于一些外部因素，例如，政治、全球經(jīng)濟(jì)和交易商期望。在股票市場數(shù)據(jù)的趨勢傾向于非線性、不確定的和非平穩(wěn)的。圖7顯示了超過十年的Dow Jones工業(yè)平均指數(shù)（DJOI）。

圖7 十年的Dow Jones工業(yè)平均指數(shù)（DJOI）

根據(jù)有效市場假說（EMH），股票市場價格遵循隨機(jī)游走模式，這意味著一個股有相同的概率去上升，因?yàn)樗淹陆?，?dǎo)致該預(yù)測不能有超過50個％的精度。EMH狀態(tài)的股價是由“新聞”推動，而不是現(xiàn)在和過去的價格。然而它也被認(rèn)為股票市場的價格遵循隨機(jī)游走且它們可以預(yù)測。比起十年前，現(xiàn)金獲取新聞和股票信息看起來是非常不同的。有一個例子，它已經(jīng)顯示如果從在線社交媒體，如Twitter feed和在線聊天活動中提取進(jìn)一步信息預(yù)測可以被改善。

一種模型已經(jīng)出現(xiàn)并證明是適合股市預(yù)測的一個模型就是人工神經(jīng)網(wǎng)絡(luò)（ANN）。這是因?yàn)樗軌蛱幚矸蔷€性復(fù)雜系統(tǒng)的能力。ANNs的調(diào)查適用于股市預(yù)測在給出。然而，ANN的大多數(shù)方法應(yīng)用于股票預(yù)測給出了不理想的結(jié)果。神經(jīng)網(wǎng)絡(luò)的反饋也試被試用過，例如TDNN的遞歸版本，具有RNN的小波變換，反饋狀態(tài)網(wǎng)絡(luò)。許多這些方法都是直接對原始數(shù)據(jù)應(yīng)用，而其他報紙更注重特征選擇的步驟。

總之，可以斷定仍有改進(jìn)的空間用于安全和較精確的庫存預(yù)測系統(tǒng)的現(xiàn)有技術(shù)。如果從影響股市來源的額外信息看，它可以被測量和獲取，如社交媒體廣大市民的意見，成交量，市場特定領(lǐng)域的知識以及政治和經(jīng)濟(jì)因素，它可以與股價數(shù)據(jù)結(jié)合在一起，實(shí)現(xiàn)更高的股票價格的預(yù)測。應(yīng)用小范圍的成功，一層神經(jīng)網(wǎng)絡(luò)的股市預(yù)測，并認(rèn)識到有必要增加更多的信息去做出更好的預(yù)測，表明對于股市預(yù)測的未來發(fā)展方向是采用組合數(shù)據(jù)的，對于更強(qiáng)大的模型能夠處理復(fù)雜的，高維數(shù)據(jù)。深度學(xué)習(xí)方法的多元時間序列符合這一描述，并為金融領(lǐng)域提供了新的興趣方法，對于深度學(xué)習(xí)共同體的新的挑戰(zhàn)是筆者的知識還沒有被嘗試法。

大總結(jié)

無監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)技術(shù)已成功應(yīng)用于多種領(lǐng)域中。而在深學(xué)習(xí)和無監(jiān)督特征學(xué)習(xí)的已經(jīng)注重在計算機(jī)視覺領(lǐng)域，本次分享回顧了一些深度學(xué)習(xí)方法對時間序列域的成功應(yīng)用。其中一些方法已處理輸入作為靜態(tài)數(shù)據(jù)，但最成功的是那些已經(jīng)修改了的深度學(xué)習(xí)模型去更好地處理時間序列數(shù)據(jù)。

處理時間序列數(shù)據(jù)作為靜態(tài)輸入的問題是重要的時間不被捕獲。建模時間序列面臨許多作為建模靜態(tài)數(shù)據(jù)一樣的挑戰(zhàn)，如用高維觀測和變量之間非線性關(guān)系的對應(yīng)，通過簡單忽略時間和應(yīng)用靜態(tài)數(shù)據(jù)的模式，到時間序列之一忽略許多豐富結(jié)構(gòu)中存在的數(shù)據(jù)。當(dāng)采用這種方法，當(dāng)前輸入幀的上下文丟失，且時間的相關(guān)性被捕獲是在輸入規(guī)模之內(nèi)。為了捕捉長期相關(guān)性，輸入規(guī)模已被增加，這可以是不切實(shí)際的多元信號或如果數(shù)據(jù)具有非常長期相關(guān)性。解決方案是使用一個模型，結(jié)合時間相干性，執(zhí)行時域池化，或隱單位激活的模型序列。

模型的選擇和數(shù)據(jù)應(yīng)該如何被呈現(xiàn)模型高度依賴于數(shù)據(jù)的類型。選擇模型之內(nèi)，有附加的設(shè)計選擇就連接、結(jié)構(gòu)和超參數(shù)而言。對于這些原因，盡管許多無監(jiān)督特征學(xué)習(xí)模型對于當(dāng)前域提供去減輕想出有用特征的用戶，對于應(yīng)用它們到時間序列數(shù)據(jù)仍有諸多挑戰(zhàn)。還值得一提的是，許多工作是從輸入數(shù)據(jù)構(gòu)建一個有用特征，事實(shí)還是從預(yù)處理特征使用輸入數(shù)據(jù)。

深度學(xué)習(xí)方法提供更好的表達(dá)性和分類在眾多的時間序列問題相比于比較淺的方法，當(dāng)設(shè)置和適當(dāng)訓(xùn)練的時候。仍有余地，特別是改善學(xué)習(xí)算法對于時間序列數(shù)據(jù)，例如在執(zhí)行信號選擇，在多變量輸入數(shù)據(jù)中處理榮譽(yù)信號。

另一種可能的未來發(fā)展方向是發(fā)展模型，在學(xué)習(xí)或使用模型平均改變其內(nèi)部結(jié)構(gòu)，為了捕捉短期和長期的時間相關(guān)性。在這方面還需要進(jìn)一步研究，去發(fā)展時間序列建模算法，學(xué)習(xí)更好的特征和更容易更快的訓(xùn)練模型。因此，需要較少關(guān)注先前處理流水線對于特定的時間序列的問題，更注重學(xué)習(xí)更好特征表達(dá)對于一個通用的算法，且對于其結(jié)構(gòu)化數(shù)據(jù)不管該應(yīng)用程序。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754