摘要:你一定不想錯(cuò)過(guò)這個(gè)全球較大的公開(kāi)數(shù)據(jù)集。令人興奮的是,斯坦福普林斯頓等的研究人員聯(lián)手給大量的空間打了些標(biāo)簽,并將標(biāo)記數(shù)據(jù)以數(shù)據(jù)集的形式公開(kāi)出來(lái)。這是目前世界上較大的公開(kāi)數(shù)據(jù)集,其中的標(biāo)注意義重大。
你一定不想錯(cuò)過(guò)這個(gè)全球較大的公開(kāi)3D數(shù)據(jù)集。
本文作者為Matt Bell,是3D掃描解決方案提供商Matterport的聯(lián)合創(chuàng)始人、首席戰(zhàn)略官。在本文中,Bell親述Matterport公開(kāi)的這個(gè)數(shù)據(jù)集細(xì)節(jié),我們隨他去看看。
一路走來(lái),Matterport見(jiàn)證了3D數(shù)據(jù)集在深度學(xué)習(xí)多領(lǐng)域的巨大力量。我們?cè)谶@個(gè)領(lǐng)域研究了很久,希望將一部分?jǐn)?shù)據(jù)分享給研究者使用。令人興奮的是,斯坦福、普林斯頓、TUM等的研究人員聯(lián)手給大量的空間打了些標(biāo)簽,并將標(biāo)記數(shù)據(jù)以Matterport 3D數(shù)據(jù)集的形式公開(kāi)出來(lái)。
這是目前世界上較大的3D公開(kāi)數(shù)據(jù)集,其中的標(biāo)注意義重大。
像ImageNet、COCO這種比較大的2D數(shù)據(jù)集創(chuàng)建于2010年左右,是高精2D圖像分類(lèi)系統(tǒng)工具。我們希望Matterport這種3D+2D的數(shù)據(jù)集也能提升AI系統(tǒng)的認(rèn)知力、理解力,帶動(dòng)3D研究的發(fā)展。
Matterport的行業(yè)影響力巨大,從增強(qiáng)現(xiàn)實(shí)、機(jī)器人技術(shù)、3D重構(gòu)到更好地理解3D圖像,我們一直在推進(jìn)。
數(shù)據(jù)集“魔盒”
數(shù)據(jù)集中包含了10800張尺寸相同的全景圖(RGB+深度圖像),這些圖片是從90個(gè)建筑場(chǎng)景的194400張RGB色彩模式的深度圖像中挑選出來(lái)的,圖像均用Matterport的Pro 3D相機(jī)拍攝。
這些場(chǎng)景的3D模型已經(jīng)用實(shí)例級(jí)對(duì)象分割做了標(biāo)記,你可以在 https://matterport.com/gallery 網(wǎng)站中交互式探索不同的Matterport 3D重建模型。
幾種不同的解鎖姿勢(shì)
很高興地告訴大家,這個(gè)數(shù)據(jù)集非常實(shí)用。下面我將介紹Matterport研究的幾個(gè)方向。
目前,我們內(nèi)部用這個(gè)數(shù)據(jù)集做過(guò)這樣一個(gè)系統(tǒng),將用戶拍攝的照片分割成房間,并將其分類(lèi)。這個(gè)系統(tǒng)的表現(xiàn)不錯(cuò),甚至在沒(méi)有門(mén)或隔斷隔開(kāi)情況下,也能分辨出不同的房間類(lèi)型(例如廚房和餐廳)。
此外,我們也在學(xué)習(xí)用深度學(xué)習(xí)方法填充3D傳感器夠不到的區(qū)域。這方便了用戶快速拍攝廣闊的開(kāi)放空間,如倉(cāng)庫(kù)、購(gòu)物中心、商業(yè)地產(chǎn)、工廠和新類(lèi)型的房間等。
不妨看一個(gè)簡(jiǎn)單的示例。在這個(gè)例子中,我們的算法通過(guò)顏色和局部深度,預(yù)測(cè)深度值和深度傳感器的表面方向(法向量)。由于這些區(qū)域太遠(yuǎn),無(wú)法被深度傳感器探測(cè)到。
其實(shí),我們還能用它在用戶拍攝的空間中劃分出不同對(duì)象。與現(xiàn)在3D模型不同的是,這些完全分割的模型能較精確識(shí)別空間中的物體。這樣就解鎖了很多使用姿勢(shì),包括自動(dòng)生成含有空間內(nèi)容和特征的詳細(xì)列表,并自動(dòng)看到不同家具在空間中的樣子。
我們還有個(gè)小目標(biāo),比如讓任何空間能夠被索引、搜索、排序和理解,讓用戶找到想要的東西。
比如,你想找到個(gè)地方度假,你希望那里有三間大臥室,配備著現(xiàn)代化廚房,客廳內(nèi)還有內(nèi)置的壁爐,在陽(yáng)臺(tái)上能看到下面的池塘風(fēng)景,還有一扇落地窗?我們可以做到。
比如,你想盤(pán)點(diǎn)辦公室里所有家具,想比較建筑工地上的管道和CAD模型是否一致?也so easy。
論文中還展示了一系列其他用例,包括通過(guò)深度學(xué)習(xí)的特性提高特征匹配、二維圖像的表面法向量估計(jì),以及識(shí)別基于體素模型的架構(gòu)特征和對(duì)象等。
我們的下一步
正如上面所說(shuō),你可以使用這些數(shù)據(jù)、代碼和論文,我們很愿意聽(tīng)聽(tīng)大家是如何使用它們的,也很期待與研究機(jī)構(gòu)合作開(kāi)展一些項(xiàng)目。
如果你對(duì)3D和更大的數(shù)據(jù)集感興趣,也歡迎加入我們,感謝參與項(xiàng)目的所有人。
最后,附數(shù)據(jù)集地址:
https://niessner.github.io/Matterport/
Code地址:
https://github.com/niessner/Matterport
論文下載地址:
https://arxiv.org/pdf/1709.06158.pdf
歡迎來(lái)到3D世界!
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法,實(shí)際應(yīng)用案例分享與討論,分析工具,ETL工具,數(shù)據(jù)倉(cāng)庫(kù),數(shù)據(jù)挖掘工具,報(bào)表系統(tǒng)等全方位知識(shí)
QQ群:81035754
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/4621.html
摘要:兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī),最常用的,也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。上面的圖很清楚的解釋了兩種相機(jī)的區(qū)別右側(cè)是正交投影相機(jī)他不具有透視效果,即物體的大小不受遠(yuǎn)近距離的影響,對(duì)應(yīng)的是投影中的正交投影。導(dǎo)讀 本文從繪圖基礎(chǔ)開(kāi)始講起,詳細(xì)介紹了如何使用Three.js開(kāi)發(fā)一個(gè)功能齊全的全景插件。 我們先來(lái)看一下插件的效果: showImg(https://user...
摘要:導(dǎo)讀本文從繪圖基礎(chǔ)開(kāi)始講起,詳細(xì)介紹了如何使用開(kāi)發(fā)一個(gè)功能齊全的全景插件。兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī),最常用的,也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。 導(dǎo)讀 本文從繪圖基礎(chǔ)開(kāi)始講起,詳細(xì)介紹了如何使用Three.js開(kāi)發(fā)一個(gè)功能齊全的全景插件。 我們先來(lái)看一下插件的效果: showImg(https://segmentfault.com/img/remote/...
摘要:導(dǎo)讀本文從繪圖基礎(chǔ)開(kāi)始講起,詳細(xì)介紹了如何使用開(kāi)發(fā)一個(gè)功能齊全的全景插件。兩種相機(jī)的區(qū)別目前提供了幾種不同的相機(jī),最常用的,也是下面插件中使用的兩種相機(jī)是透視相機(jī)正交投影相機(jī)。 導(dǎo)讀 本文從繪圖基礎(chǔ)開(kāi)始講起,詳細(xì)介紹了如何使用Three.js開(kāi)發(fā)一個(gè)功能齊全的全景插件。 我們先來(lái)看一下插件的效果: showImg(https://segmentfault.com/img/remote/...
摘要:可選,默認(rèn)值為,設(shè)置為則禁止用戶和全景圖交互導(dǎo)航條不可用??蛇x,默認(rèn)值為,全景圖在毫秒后會(huì)自動(dòng)進(jìn)行動(dòng)畫(huà)。當(dāng)全景圖準(zhǔn)備就緒并且第一張圖片顯示時(shí)的回調(diào)函數(shù)。 3D全景漫游 showImg(http://mmbiz.qpic.cn/mmbiz/cibketMByvrbpDqUQ9LiaBvutnwMehicnO2RZurdl96FLtwqlf6LjWS0Bv8ApQY0YjHdtyFWuzz...
摘要:淘寶造物節(jié)的活動(dòng)頁(yè)就是全景的一個(gè)很贊的頁(yè)面,它將全景圖分割成等份,相鄰的元素構(gòu)成的夾角,相鄰兩側(cè)面相對(duì)于棱柱中心所構(gòu)成的夾角。 本文轉(zhuǎn)自凹凸實(shí)驗(yàn)室:https://aotu.io/notes/2016/08... showImg(https://segmentfault.com/img/remote/1460000011381045); 前言 3D 全景并不是什么新鮮事物了,但以前...
閱讀 2392·2021-11-15 11:37
閱讀 2641·2021-09-23 11:21
閱讀 2969·2021-09-07 10:11
閱讀 3177·2019-08-30 15:53
閱讀 2838·2019-08-29 15:13
閱讀 1619·2019-08-26 13:57
閱讀 1113·2019-08-26 12:23
閱讀 2453·2019-08-26 11:51