近期,3D擴散模型在物體生成領域已取得了顯著進展,目前已能夠生成精細且逼真的三維物體。然而,當嘗試將這些模型應用于更廣泛的三維場景生成時,卻受到了空間范圍或生成質量的限制。具體而言,模型在處理大規模和復雜的三維場景時,往往難以在保證細節質量的同時,有效地覆蓋整個場景空間。

為了解決以上問題,來自慕尼黑工業大學3D AI Lab的在讀博士生孟權提出了一種基于隱式樹表征的無限三維場景生成模型LT3SD,實現了高質量、大規模三維場景的高效生成。相關論文為《LT3SD: Latent Trees for 3D Scene Diffusion》。

任意尺寸大規模場景生成新策略!慕尼黑工大提出無限三維場景生成模型LT3SD!一作孟權博士講座預告

LT3SD是一種新型的潛在擴散模型,用于大規模3D場景生成。其核心是在潛在的3D場景空間中學習生成擴散過程,對每個分辨率級別場景的潛在組件進行建模。

隱式樹表征是一種層次化的數據結構,用于捕捉三維場景中的層次關系。該結構將三維場景逐步分解為由粗到細的層次化的結構,每個層次包括幾何體和潛在特征的分解,以有效編碼低頻幾何圖形和高頻細節。

為了合成不同尺寸的大規模場景,LT3SD在每個分辨率級別訓練潛在擴散模型,使用分塊訓練策略學習場景局部結構,并通過跨多個場景塊的擴散生成共享,實現任意大小的三維場景生成。

實驗證明,LT3SD在大規模高質量無條件三維場景生成,以及基于部分場景的概率補全方面都具備有效性和優勢。

任意尺寸大規模場景生成新策略!慕尼黑工大提出無限三維場景生成模型LT3SD!一作孟權博士講座預告

10月17日10點,智猩猩邀請到論文一作、慕尼黑工業大學3D AI Lab在讀博士生孟權參與「智猩猩AI新青年講座」253講,主講《無限三維場景生成》。

講者

孟權

慕尼黑工業大學3D AI Lab的在讀博士生

師從Angela Dai教授,主要研究方向為三維物體/場景生成與重建,多次擔任CVPR、ICCV、ECCV、NeurIPS會議審稿人。

第253講

主題

無限三維場景生成

提綱

1、現有三維場景生成方法及難點
2、三維場景的隱式樹表征
3、分塊訓練的潛在場景擴散模型
4、無限三維場景生成結果與應用

直播信息

直播時間:10月17日10:00

成果

論文標題
《LT3SD: Latent Trees for 3D Scene Diffusion》

論文鏈接
//arxiv.org/abs/2409.08215

項目網站
//quan-meng.github.io/projects/lt3sd/

如何報名

有講座直播觀看需求的朋友,可以添加小助手“米婭”進行報名。已添加過“米婭”的老朋友,可以給“米婭”私信,發送“ANY253”進行報名。對于通過報名的朋友,之后將邀請入群進行觀看和交流。

任意尺寸大規模場景生成新策略!慕尼黑工大提出無限三維場景生成模型LT3SD!一作孟權博士講座預告