NVIDIA 正在利用 AI 讓設(shè)計師、游戲開發(fā)等人員在短時間內(nèi)用 3D 對象進行創(chuàng)作。創(chuàng)作者們能夠使用其提出的 NVIDIA 3D MoMa 方法對內(nèi)容進行快速導(dǎo)入、修改和更改材質(zhì)等工作。
“逆渲染是一種將一系列靜態(tài)照片重建為物體或場景 3D 模型的技術(shù)。該技術(shù)長期以來對統(tǒng)一計算機視覺和計算機圖形學(xué)至關(guān)重要。”NVIDIA 圖形研究副總裁大衛(wèi)·呂布克(David Luebke)說,“通過將逆渲染問題的每一部分表述為 GPU 加速的可微分組件,NVIDIA 3D MoMa 渲染管道使用現(xiàn)代 AI 的機制和 NVIDIA GPU 的原始計算能力來快速生成 3D 對象,創(chuàng)作者可以在現(xiàn)有工具中不受限制地導(dǎo)入、編輯和擴展。”
傳統(tǒng)上,人們創(chuàng)建 3D 對象會使用攝影測量技術(shù),這涉及的是一個多階段、相當(dāng)耗時的過程。創(chuàng)作者需要通過大量的軟件工具和手動調(diào)整來達(dá)到最終期望的 3D 模型效果。得一定優(yōu)勢,并提供了高質(zhì)量的新視圖合成。
然而,這些方法通常會產(chǎn)生將幾何圖形、材料和照明糾纏到神經(jīng)網(wǎng)絡(luò)中的表示形式,不能以三角形網(wǎng)格格式生成,因此很難支持場景編輯操作。“三角形網(wǎng)格是用于在 3D 圖形和建模中定義形狀的基礎(chǔ)框架,是此類 3D 工具使用的通用語言。”研究者在 NVIDIA 官網(wǎng)博文中寫到。
另外,為了更為實用,3D 對象應(yīng)該適配眾多常用工具,比如,游戲引擎、3D 建模器和電影渲染器等。而要在傳統(tǒng)的圖形引擎中使用它們,需要使用諸如標(biāo)記立方體等方法從網(wǎng)絡(luò)中提取幾何圖形,這可能會導(dǎo)致較差的表面質(zhì)量,特別是在低三角形計數(shù)時。神經(jīng)網(wǎng)絡(luò)編碼的材料不能輕易地編輯或提取與傳統(tǒng)游戲引擎兼容的形式。
相比之下,本次研究重建了與傳統(tǒng)圖形引擎兼容的 3D 內(nèi)容,支持重啟和場景編輯。由此產(chǎn)生的 3D 模型不需要轉(zhuǎn)換就可以在任何支持三角形渲染的設(shè)備上進行部署,手機和網(wǎng)頁瀏覽器同樣適用。它可以在標(biāo)準(zhǔn)的游戲引擎中不經(jīng)修改地使用,并對所有階段進行基于梯度的優(yōu)化。
該三維重建方法 NVIDIA 3D MoMa 的相關(guān)論文,近日在 2022 年計算機視覺和模式識別會議(CVPR,Conference on Computer Vision and Pattern Recognition)上發(fā)表,并以《從圖像中提取三角形三維模型、材質(zhì)和照明》()為題提交在 arxiv 上。
研究人員針對各種應(yīng)用程序來評估他們的系統(tǒng),對已有對象進行重新編輯和模擬,以展示他們的方法顯式分解為三角形網(wǎng)格和材料,并與 NeRF、神經(jīng)反射分解(NeRD,Neural Reflectance Decomposition)等方法做了比較。
值得一提的是,研究人員還做了一個虛擬樂隊視頻演示,以體現(xiàn) NVIDIA 3D MoMa 的強大功能。
首先,他們從不同角度拍攝了約 100 張樂器圖像,并用新提出的研究方法將這些靜態(tài)圖像分別重建為 3D 表示和三角形網(wǎng)格。
然后,將對象從原始場景中分離出,再導(dǎo)入 NVIDIA Omniverse 3D 平臺編輯。在廣泛使用的圖形引擎中,可輕易地將產(chǎn)生的形狀材料替換為黃金、木材等不同材質(zhì),就好像把網(wǎng)格裝扮成不同的裝飾一樣,也能將其放在任意虛擬場景(比如康奈爾盒,一種經(jīng)典圖形測試)中。
最后證明,不同的虛擬樂器對光有不同反應(yīng),跟在現(xiàn)實中幾乎相同。新生成的對象能夠用作復(fù)雜畫場景的構(gòu)建塊。
(來源:NVIDIA 官網(wǎng))
值得注意的是,研究人員在論文中還表示:“為了加速優(yōu)化,選擇了簡化的著色模型,也沒有考慮全局照明或陰影。這種選擇是材料提取和回收的限制因素。在未來的工作中,隨著目前在可微路徑跟蹤方面的進展,這一限制有望得到解除。”
總的來說,本研究展示了一種與最先進的視圖合成等技術(shù)相媲美的方法,同時還有著優(yōu)化的三角形網(wǎng)格、兼容傳統(tǒng)圖形引擎和建模工具等優(yōu)勢,并由渲染模型的外觀驅(qū)動來執(zhí)行端到端優(yōu)化。
這簡化了進行 3D 內(nèi)容創(chuàng)作人員的大量工作流程,極大節(jié)省他們的時間和提升效率。該研究方法還可以作為外觀感知轉(zhuǎn)換器,補充了許多最近的技術(shù)。
關(guān)鍵詞: 傳統(tǒng)圖形引擎 圖形引擎 英偉達(dá)3D模型 英偉達(dá)模型
凡注有"環(huán)球傳媒網(wǎng)"或電頭為"環(huán)球傳媒網(wǎng)"的稿件,均為環(huán)球傳媒網(wǎng)獨家版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載或鏡像;授權(quán)轉(zhuǎn)載必須注明來源為"環(huán)球傳媒網(wǎng)",并保留"環(huán)球傳媒網(wǎng)"的電頭。
- 已進行全面整改!BOSS直聘、滿幫:即日起恢復(fù)新用戶注冊
- 連續(xù)借利好拉升后 大盤終于露出了猙獰的面目
- 美國西方石油公司股價上漲4.8% 京東、阿里巴巴跌超1%
- 上交所股票交易互聯(lián)互通機制獲批
- 截至今年3月底,全國返鄉(xiāng)入鄉(xiāng)創(chuàng)業(yè)人數(shù)累計1120多萬
- 城市競爭迎百年未有之大變局 都市圈時代正在到來!
- 將啟動股份制改制工作 三六零“0元”轉(zhuǎn)讓哪吒汽車部分股權(quán)
- 西湖生物醫(yī)藥近日獲超億元A+融資 武漢敏聲完成近6億元融資
- 上汽:對于手機和車機的融合方面也有深度思考
- 總投資額約849億元!第六屆世界智能大會在津閉幕
資訊
- 華泰柏瑞中證全指電力公用事業(yè)ETF基金07月01日上漲1.90%
- 嘉實國證綠色電力ETF凈值上漲 場內(nèi)價格溢價率為0.04%
- 廣發(fā)中證全指電力公用事業(yè)ETF基金07月01日上漲1.35%
- 國泰中證基建ETF凈值上漲 當(dāng)前本基金場外凈值為0.9317元
- 資金、交易不受影響!遼陽農(nóng)商行和遼寧太子河村鎮(zhèn)銀行被承接完成
- 元氣森林完成了對杏皮茶“最喜”的收購
- 御供俊元接任!索尼集團中國副總代表高橋洋已正式退休
- 火車票搜索量上漲1.5倍!通信行程卡取消“星號”標(biāo)記
- 日產(chǎn)在美召回32萬多輛汽車 車型為2013年至2016年的322671輛Pathfinder SUV
- 高盛的內(nèi)部預(yù)測顯示:今年的消費者業(yè)務(wù)損失將超過12億美元
焦點
- 純牛奶不合格?麥趣爾致歉:將配合政府相關(guān)部門進一步核查事件準(zhǔn)確原因
- 牛奶生產(chǎn)過程中超范圍使用香精 麥趣爾被立案調(diào)查
- 回應(yīng)全球通脹!瑞典將加息速度提高一倍
- 實現(xiàn)凈零排放!英國電網(wǎng)將花費209億英鎊
- 通信行程卡取消“星號”標(biāo)記 相關(guān)酒店搜索大漲220%
- 稻田變沙灘 !意大利70年來最嚴(yán)重干旱
- 加大歐央行加息壓力 西班牙6月通脹率飆升至10%創(chuàng)歷史新高
- 通脹對家庭造成的壓力之大 英國零售商本月提價速度為2008年以來最快
- 歐盟提案2035年禁售燃油車 遭到多位成員國的反對
- 百萬只蝗蟲入侵意大利 將會對糧食安全造成嚴(yán)重威脅