「智猩猩AI新青年講座」由智猩猩出品，致力于邀請青年學者，主講他們在生成式AI、LLM、AI Agent、CV等人工智能領域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。

目前，將單目視頻中的內容從其它視角渲染出來仍然是一個具有挑戰性的問題。對于靜態場景，研究人員提出了針對場景的特定優化技術和通用的優化技術。相比之下，對于動態場景，只存在特定場景的優化技術，目前還沒有針對給定單目視頻的動態新視圖合成的通用方法。

針對以上問題，伊利諾伊大學厄巴納-香檳分校在讀博士趙曉明在Apple實習期間提出了基于現有技術的解決思路。并且發現在幾何和時間上進行一致性深度估計條件下，存在非場景特定外觀優化的動態視圖合成偽廣義方法。相關論文為《Pseudo-Generalized Dynamic View Synthesis from a Video》，已收錄于ICLR 2024。

ICLR’24收錄！Apple實習研究成果：從單目視頻中合成動態新視圖 | UIUC趙曉明講座預告

為了較大程度上減少場景特定的優化的需求，設計一種通用的方法，將靜態和動態內容的渲染任務分別進行。
對于動態場景中的靜態部分，利用改進預訓練的基于Transformer的NeRF架構（GNT）合成高質量的渲染內容。即在GNT中引入masked attention使其有效地區分動態和靜態內容，減少動態內容的影響，從而模型能夠更準確地渲染靜態內容。
對于動態內容的渲染，受以往工作的啟發，提出了利用深度和時間數據先驗探索通用的動態新視圖合成方法。
通過實驗證明，沒有場景特定外觀優化的偽廣義過程是可能實現的，且提升了某些特定場景外觀優化方法的合成視圖質量。
ICLR’24收錄！Apple實習研究成果：從單目視頻中合成動態新視圖 | UIUC趙曉明講座預告
6月25日10點，智猩猩邀請到論文一作、伊利諾伊大學厄巴納-香檳分校在讀博士趙曉明參與「智猩猩AI新青年講座」241講，主講《從單目視頻中合成動態新視圖》。
講者

趙曉明

伊利諾伊大學厄巴納-香檳分校在讀博士

主要研究方向為三維視覺，導師為Alexander Schwing教授；在ECCV、ICCV、 NeurIPS、ICLR 等頂級會議上發表多篇一作論文。

第241講

主 題
從單目視頻中合成動態新視圖
提 綱
1、單目視頻視圖合成研究概述
2、動態視圖合成任務面臨的問題與解決思路
3、改進基于Transformer的NeRF架構以生成靜態渲染
4、利用深度和時間先驗合成動態內容的偽廣義方法

直播信息

直播時間：6月25日10:00
直播地點：智猩猩GenAI視頻號

成果

論文標題
《Pseudo-Generalized Dynamic View Synthesis from a Video》
論文鏈接
//arxiv.org/abs/2310.08587
項目網站
//xiaomingzhao.github.io/projects/pgdvs

直播預約

本次講座將在智猩猩GenAI視頻號進行直播，歡迎預約~

入群申請

本次講座也組建了學習群，講者將會加入交流，希望入群的朋友可以掃描下方二維碼，添加小助手米婭進行報名。已添加過米婭的老朋友，可以給米婭私信，發送“241”即可申請入群。

ICLR’24收錄！Apple實習研究成果：從單目視頻中合成動態新視圖 | UIUC趙曉明講座預告