摘要：最近，這就是街舞第二季開播，又一次燃起了全民熱舞的風(fēng)潮。然而，真要自己跳起來，實(shí)際與想象之間，估計(jì)差了若干個(gè)羅志祥。系統(tǒng)映射結(jié)果展示對于系統(tǒng)的結(jié)果，研究人員表示還不完美。谷歌在和跳舞的結(jié)合上也花了心思。好了，先不說了，我要去跟學(xué)跳舞了。

最近，《這！就是街舞》第二季開播，又一次燃起了全民熱舞的風(fēng)潮。

剛開播沒多久，這個(gè)全程高能的節(jié)目，就在豆瓣上就得到了 9.6 的高分。舞者們在比賽中精彩的表演，讓屏幕前的吃瓜群眾直呼「太燃了！」「驚艷！」，甚至情不自禁跟著音樂抖起來了。

然而，真要自己跳起來，實(shí)際與想象之間，估計(jì)差了若干個(gè)羅志祥。想象中，自己是這樣的：

但實(shí)際上卻是這樣的：

對于舞者來說，他們的動(dòng)作叫做 Hiphop，Breaking，Locking 等等，而對于吃瓜群眾來說，就是抖來抖去，滾來滾去，指來指去……

可能這輩子和街舞無緣？還是去跳跳廣場舞吧……

等等！先別急著放棄，加州大學(xué)伯克利分校的幾位大佬，為各位研究了一個(gè) AI「秘密武器」，讓你瞬間舞技爆發(fā)，成為下一代舞王。

去年 8 月，加州大學(xué)伯克利分校的研究人員推出一篇題目為《Everybody dance now》的論文，使用深度學(xué)習(xí)算法 GAN（Generative Adversarial Networks，生成式 對抗網(wǎng)絡(luò) ），可以復(fù)制專業(yè)表演者的動(dòng)作，并將動(dòng)作遷移到任何人身上，從而實(shí)現(xiàn)「Do as I do」（舞我所舞）。

先來看復(fù)制舞蹈的結(jié)果展示，感受一下：

左上角為專業(yè)舞者，左下為檢測到的姿勢，中間和右邊是復(fù)制到目標(biāo)人物的生成視頻
之前 Deepfake 換臉技術(shù)大火，現(xiàn)在竟然整個(gè)人都可以「Deepfake」了！我們看一下這個(gè)神操作是怎么實(shí)現(xiàn)的。

論文中介紹道，遷移動(dòng)作方法總的分為以下步驟：

給定兩個(gè)視頻，一個(gè)是動(dòng)作源視頻，另一個(gè)是目標(biāo)人物視頻；

然后使用一種算法，從源視頻中檢測專業(yè)舞者的舞姿，并創(chuàng)建相應(yīng)運(yùn)動(dòng)的火柴人框架；

接著，使用訓(xùn)練的兩種生成對抗網(wǎng)絡(luò) （GAN）的深度學(xué)習(xí)算法，創(chuàng)建目標(biāo)人物的全部圖像，并為其生成更清晰、更逼真的視頻圖像。

最終結(jié)果是，該系統(tǒng)可以把專業(yè)舞者的身體動(dòng)作映射到業(yè)余舞者的身上。除了模仿動(dòng)作之外，它還能夠完美地虛構(gòu)人的聲音和臉部表情。

這項(xiàng)黑科技具體原理是這樣的，將動(dòng)作遷移管道一共分為三個(gè)部分：

1 姿態(tài)檢測：

團(tuán)隊(duì)使用現(xiàn)有的姿勢檢測模型 OpenPose（CMU 開源項(xiàng)目），從源視頻中提取身體、面部和手部的姿勢關(guān)鍵點(diǎn)。這一步的本質(zhì)是對身體姿勢進(jìn)行編碼，忽略掉身體外形等信息。

對舞者進(jìn)行姿態(tài)檢測，并編碼為火柴人圖形

2 全局姿態(tài)標(biāo)準(zhǔn)化：

計(jì)算給定幀內(nèi)源和目標(biāo)人物身體形狀、位置之間的差異，將源姿態(tài)圖形轉(zhuǎn)換到符合目標(biāo)人物身體形狀和位置的姿態(tài)圖形。

3 從標(biāo)準(zhǔn)化后的姿態(tài)圖形，推斷目標(biāo)人物的圖像：

使用一個(gè)生成式對抗網(wǎng)絡(luò)模型，訓(xùn)練模型學(xué)習(xí)從標(biāo)準(zhǔn)化后的姿態(tài)圖形映射到目標(biāo)人物圖像。

訓(xùn)練過程（上）與遷移過程（下）示意圖

在開發(fā)系統(tǒng)過程中，團(tuán)隊(duì)使用了 NVIDIA TITAN Xp 中的 GeForce GTX 1080 Ti GPU，和由 PyTorch 加速的 cuDNN 來訓(xùn)練和推理。

在圖像轉(zhuǎn)換階段，采用了 NVIDIA 開發(fā)的對抗訓(xùn)練的圖像翻譯 pix2pixHD 架構(gòu)。通過 pix2pixHD 的全局生成器來預(yù)測面部殘差。他們對面部使用單個(gè) 70×70 PatchGAN 判別器。

訓(xùn)練過程中，源視頻和目標(biāo)視頻數(shù)據(jù)的收集方式略有不同。為確保目標(biāo)視頻質(zhì)量，使用手機(jī)相機(jī)，以每秒 120 幀的速度拍攝目標(biāo)主體的實(shí)時(shí)鏡頭，每個(gè)視頻時(shí)長至少 20 分鐘。

對于源視頻，只需要得到合適的姿勢檢測結(jié)果，所以用網(wǎng)上表演舞蹈的高質(zhì)量視頻即可。

系統(tǒng)映射結(jié)果展示

對于系統(tǒng)的結(jié)果，研究人員表示還不完美。盡管它產(chǎn)生的視頻大多還是非常逼真的，但是偶爾也會(huì)露出馬腳，比如出現(xiàn)身體某部位消失，就像「融化」了之類的異?，F(xiàn)象。

此外，由于算法不對衣服編碼，無法產(chǎn)生衣服隨動(dòng)作飄舞的視頻，目標(biāo)者必須穿緊身衣服才行。

如果暫且不計(jì)較這些缺點(diǎn)的話，這個(gè)技術(shù)的確令人興奮。

有了這個(gè) AI 工具，即使你是個(gè)舞蹈方面的小白，或者四肢僵硬不協(xié)調(diào)，也能像郭富城，羅志祥，或者任何你喜歡的舞者那樣成為「舞林高手」。即使是杰克遜的太空步，對你來說也都只是小菜一碟了。

不過，擁有一個(gè)舞蹈夢的，不止伯克利分校這一個(gè)團(tuán)隊(duì)。谷歌在 AI 和跳舞的結(jié)合上也花了心思。

去年年底，谷歌藝術(shù)與文化部技術(shù)項(xiàng)目經(jīng)理 Damien Henry 與英國編舞家 Wayne McGregor 合作，共同研發(fā)了一種能夠自動(dòng)生成特定風(fēng)格的舞蹈編排工具。

擁有普利茅斯大學(xué)名譽(yù)科學(xué)博士學(xué)位的 McGregor ，對科學(xué)和技術(shù)素來感興趣。當(dāng)他回顧自己 25 年來的舞蹈視頻時(shí)，想到能否通過技術(shù)來使表演保持新鮮感。于是他去向 Henry 請教，如何借助技術(shù)不斷創(chuàng)作出新的舞蹈內(nèi)容？

而 Henry 從一個(gè)科學(xué)網(wǎng)站的帖子獲得了靈感。這個(gè)帖子介紹了使用神經(jīng)網(wǎng)絡(luò)，能夠用根據(jù)前一個(gè)字母中的筆跡預(yù)測下一個(gè)字母。

于是，他提出了一種類似算法，能夠?qū)o定運(yùn)動(dòng)進(jìn)行預(yù)測。通過視頻捕獲舞者姿勢，然后生成接下來最有可能進(jìn)行的舞蹈動(dòng)作，并在屏幕上實(shí)時(shí)顯示。

AI 編舞過程展示

這個(gè)算法也同樣忽略了人的衣著，只是捕捉演員特定姿勢的關(guān)鍵點(diǎn)，從而得出火柴人模型。

當(dāng)他們錄入 McGregor 和他的舞蹈演員的舞蹈視頻后，AI 學(xué)會(huì)了如何跳舞，而且生成的舞蹈風(fēng)格和 McGregor 的很相似。

雖然在舞蹈創(chuàng)造力上， 人工智能 還是有一定的局限性。這款谷歌 AI 工具并不能發(fā)明出它從未「見過」的動(dòng)作。它只是預(yù)測在它學(xué)過的動(dòng)作中，最有可能發(fā)生的動(dòng)作。

此外，這個(gè)技術(shù)還可以提供混合風(fēng)格的舞蹈編排，比如在 McGregor 的錄像中插入巴西桑巴舞的錄像，AI 可能會(huì)給出一個(gè)全新的混合舞。Henry 并不擔(dān)心它會(huì)給出一個(gè)四不像的舞蹈，因?yàn)閷W(xué)習(xí)的源頭還是由人去輸入的。

看了這么多幫你「跳舞」的技術(shù)，是不是已經(jīng)躍躍欲試了呢？

舞蹈 AI 能讓不敢動(dòng)不想動(dòng)的人，更自在更輕松地動(dòng)起來，體驗(yàn)舞蹈和運(yùn)動(dòng)的樂趣。但這背后的技術(shù)可不僅僅只是博人一樂。

支撐起舞蹈 AI 的姿態(tài)估計(jì)，背后潛藏著巨大的能量，它能夠幫助我們更準(zhǔn)確地完成形體動(dòng)作，比如 3D 健身學(xué)習(xí)、體育項(xiàng)目姿勢矯正，病人康復(fù)訓(xùn)練，甚至是虛擬試衣，拍照姿勢矯正上，都會(huì)帶來新的突破。

姿態(tài)估計(jì)的用途廣泛

按照這樣的發(fā)展，機(jī)器會(huì)越來越了解我們，越來越熟悉我們的體態(tài)特征和行為方式，從而幫我們更好地認(rèn)識(shí)自己。

好了，先不說了，我要去跟 AI 學(xué)跳舞了。你要不要一起來？