摘要:陳啟峰認(rèn)為,這種技術(shù)前途大好,最終可以用于創(chuàng)造真正模擬現(xiàn)實(shí)世界的游戲場(chǎng)景。小學(xué)時(shí),陳啟峰先后獲得全國(guó)作文競(jìng)賽二等獎(jiǎng)和奧數(shù)競(jìng)賽一等獎(jiǎng)。年,歲的陳啟峰發(fā)表論文,提出數(shù)據(jù)結(jié)構(gòu)。
『凡所有相,皆是虛妄』
上面這張德國(guó)街道圖片,乍一看像是行車(chē)記錄儀拍的,又好像谷歌街景照片加了復(fù)古濾鏡。
實(shí)際上,這是一張合成圖片。
在谷歌地圖上,根本找不到這樣的街道。一個(gè)神經(jīng)網(wǎng)絡(luò),根據(jù)自己在訓(xùn)練過(guò)程中見(jiàn)過(guò)的真實(shí)街道,生成了它。
比GAN更強(qiáng)
生成這張照片的算法出自英特爾實(shí)驗(yàn)室的新論文Photographic Image Synthesis with Cascaded Refinement Networks,用級(jí)聯(lián)優(yōu)化網(wǎng)絡(luò)生成照片。
在論文中,斯坦福大學(xué)博士陳啟峰和英特爾實(shí)驗(yàn)室視覺(jué)組主管Vladlen Koltun展示了一種根據(jù)語(yǔ)義布局來(lái)合成照片的方法。所謂語(yǔ)義布局,就是像這樣,在圖片上標(biāo)出各種物體的位置:
而他們的算法可以看作一個(gè)渲染引擎,輸入上面的圖片,就相當(dāng)于告訴它圖片中間是道路、路上有車(chē)、上半部分有樹(shù)、有交通燈、右上有一些行人,然后按照?qǐng)D上的布局,輸出一張逼真的照片。
陳啟峰在自己的博客中說(shuō),“好比機(jī)器想象出來(lái)的畫(huà)面。”
經(jīng)過(guò)3000張德國(guó)街道照片的訓(xùn)練,遇到輸入的布局上標(biāo)注成“car”的部分,這個(gè)見(jiàn)過(guò)很多車(chē)的算法就會(huì)自己生成一輛車(chē),填在那里。
現(xiàn)在一提到生成、或者合成圖像,可能大部分人都會(huì)立刻想到對(duì)抗生成網(wǎng)絡(luò)(GAN),不過(guò),陳啟峰等的算法并沒(méi)有用到對(duì)抗式訓(xùn)練,而只用了一個(gè)端到端訓(xùn)練過(guò)的前饋網(wǎng)絡(luò)。
和各種往往只能生成小尺寸圖片的GAN不同,他們提出的方法可以“無(wú)縫擴(kuò)展”到高分辨率,1024×2014像素的圖像也能搞定。
當(dāng)然,他們?cè)谡撐睦镆舱故玖俗约旱乃惴ㄈ绾螌⒏鞣N基于GAN的生成模型秒成渣渣:
下面的視頻中,能更清楚的看到這個(gè)算法和pix2pix的對(duì)比:
這篇論文入選了今年10月在威尼斯舉辦的國(guó)際計(jì)算機(jī)視覺(jué)大會(huì)ICCV 2017,要進(jìn)行口頭報(bào)告,相應(yīng)的源代碼在GitHub上已經(jīng)收獲了402個(gè)星,月初還登頂了GitHub熱門(mén)項(xiàng)目Python排行榜。
現(xiàn)實(shí),夢(mèng)境
康奈爾大學(xué)計(jì)算機(jī)系副教授Noah Snavely深受打動(dòng),他說(shuō),創(chuàng)建逼真的人工場(chǎng)景非常困難,即便是當(dāng)今較好的方法也無(wú)法做到,而陳奇峰的系統(tǒng)生成出了他見(jiàn)過(guò)的較大、最詳細(xì)的人工場(chǎng)景。
他認(rèn)為,這項(xiàng)技術(shù)可以讓人們描述一個(gè)世界,然后讓人工智能在虛擬現(xiàn)實(shí)中將其打造出來(lái)?!叭绻軌騼H憑大聲描述就能像魔法一樣召喚出逼真的場(chǎng)景,那就太好了。”他說(shuō)。
陳啟峰認(rèn)為,這種技術(shù)前途大好,最終可以用于創(chuàng)造真正模擬現(xiàn)實(shí)世界的游戲場(chǎng)景。他說(shuō):“使用深度學(xué)習(xí)渲染視頻游戲可能成為未來(lái)的趨勢(shì)?!爆F(xiàn)在,他已經(jīng)開(kāi)始嘗試?yán)眠@套算法來(lái)替換《俠盜獵車(chē)手5》里的游戲場(chǎng)景。
不過(guò),他對(duì)這個(gè)系統(tǒng)還有一點(diǎn)不滿(mǎn):合成的畫(huà)面不夠逼真。陳啟·峰表示,因?yàn)檫@套神經(jīng)網(wǎng)絡(luò)渲染細(xì)節(jié)的能力還無(wú)法達(dá)到我們的預(yù)期,所以目前生成的圖片比較模糊,有點(diǎn)像夢(mèng)境。他正在開(kāi)發(fā)一個(gè)更大的版本,希望能夠提升系統(tǒng)功能。
在這一點(diǎn)上,Snavely比作者還樂(lè)觀。他說(shuō),具體到構(gòu)建虛擬現(xiàn)實(shí)場(chǎng)景,這種夢(mèng)境般的效果未必是壞事,我們也不見(jiàn)得需要完全寫(xiě)實(shí)的效果。
他更期待的,是讓這個(gè)系統(tǒng)能生成道路和室內(nèi)布局之外的場(chǎng)景。Snavely說(shuō),要真正實(shí)現(xiàn)該系統(tǒng)的潛力,還是需要一套能夠真正捕捉現(xiàn)實(shí)世界多樣性的數(shù)據(jù)集。
但說(shuō)起來(lái)容易做起來(lái)難,想用這個(gè)系統(tǒng)生成真是世界中的各種場(chǎng)景,需要借助大量的人力,對(duì)訓(xùn)練中使用的圖片進(jìn)行詳細(xì)標(biāo)記。
關(guān)于陳啟峰
這篇論文的作者陳啟峰,經(jīng)歷也頗為傳奇。陳啟峰生于1989年6月,成長(zhǎng)于廣東省中山市。小學(xué)時(shí),陳啟峰先后獲得全國(guó)作文競(jìng)賽二等獎(jiǎng)和奧數(shù)競(jìng)賽一等獎(jiǎng)。
2006年,17歲的陳啟峰發(fā)表論文,提出數(shù)據(jù)結(jié)構(gòu)Size Balanced Tree(SBT)。2007年,陳啟峰在IOI上獲得推薦(第八名);2008年,陳啟峰以中學(xué)生身份獲得中山“十大杰出青年”稱(chēng)號(hào)。
也是在2008年,陳啟峰放棄保送清華的資格,進(jìn)入香港科技大學(xué)就讀,并獲得54萬(wàn)港幣全額獎(jiǎng)學(xué)金。期間全部22門(mén)計(jì)算機(jī)課程都獲得A+。2010年,陳啟峰獲得百度之星編程大賽第三名。
2011年,陳啟峰在ACM國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽獲得推薦(全球第二,北美冠軍)。同年還獲得香港大學(xué)生編程比賽冠軍。
2012年,斯坦福、哈佛、麻省理工、普林斯頓、加州大學(xué)伯克利分校、哥倫比亞、康奈爾、加州大學(xué)洛杉磯分校、密歇根大學(xué)安娜堡分校九所高校,同時(shí)以全額獎(jiǎng)學(xué)金錄取陳啟峰攻讀研究生學(xué)位,最終他入讀斯坦福。
最后,放一張陳啟峰6月的博士畢業(yè)照。
相關(guān)鏈接
項(xiàng)目主頁(yè):
http://cqf.io/ImageSynthesis
論文:
http://web.stanford.edu/~cqf/papers/Photographic_Image_Synthesis_ICCV2017.pdf
代碼:
https://github.com/CQFIO/PhotographicImageSynthesis
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識(shí)
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/4592.html
摘要:關(guān)注我轉(zhuǎn)載請(qǐng)務(wù)必注明原創(chuàng)地址為前提上篇文章寫(xiě)完了流程啟動(dòng)的一部分,方法都入口,以及創(chuàng)建運(yùn)行的必須環(huán)境以及相關(guān)配置,接著就是創(chuàng)建該環(huán)境的節(jié)點(diǎn)了。的創(chuàng)建看下新建節(jié)點(diǎn)的代碼代碼比較多,這里是比較關(guān)鍵的地方,我就把注釋直接寫(xiě)在代碼上面了,實(shí)在不好 關(guān)注我 showImg(https://segmentfault.com/img/remote/1460000012730965?w=258&h=2...
摘要:和的區(qū)別,本想問(wèn)下要不要深入的講下源碼級(jí)別,結(jié)果面試官說(shuō)不用了。來(lái)分鐘不到,就再次打電話過(guò)來(lái)約了明早上午點(diǎn)的視頻面試。 出去面試的話還是得好好準(zhǔn)備,不然會(huì)被虐的有點(diǎn)慘! 有贊(框架組) 四月份面試有贊的時(shí)候,自己還在實(shí)習(xí),所以也沒(méi)有復(fù)習(xí),是在 Boss 直聘上投的,當(dāng)時(shí)看到了有贊的 2018 屆春招,就投了下,然后不知道怎么就被推到了框架組,結(jié)果后面就感覺(jué)自己被虐的可慘了。 關(guān)注我 s...
摘要:為什么要寫(xiě)文章前邊也提到了本渣渣的寫(xiě)作能力極差,高考語(yǔ)文分考出了一個(gè)物理應(yīng)該有的成績(jī)。為什么并不是每個(gè)人都熱愛(ài)工作,但是每個(gè)人都在堅(jiān)持工作呢主要的原因是為了生存,不過(guò)現(xiàn)在的我,通過(guò)工作也并不愁吃喝。 圖片描述寫(xiě)作能力,就是一個(gè)人的隱形財(cái)富,我最喜歡的一個(gè)文化類(lèi)節(jié)目《圓桌派》,更是讓我明白了,一個(gè)人只要還有一只筆在就不會(huì)是最窮的。自己特別喜歡聽(tīng)這些老臘肉聊天。 昨天,我忙碌了將近四個(gè)小時(shí)...
閱讀 1373·2021-10-09 09:44
閱讀 1451·2021-09-28 09:36
閱讀 16028·2021-09-22 15:55
閱讀 1254·2021-09-22 15:45
閱讀 2210·2021-09-02 09:48
閱讀 2794·2019-08-29 17:19
閱讀 2308·2019-08-29 10:54
閱讀 922·2019-08-23 18:40