「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。

「AI新青年講座」目前已完結212講,有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@jmfly.net)聯系。

自從擴散模型(Diffusion ?Models)展現出了強大的生成能力后,不同種類的擴散模型各顯神通 —— 有可以根據文字生成圖片的 text-to-image 模型,有可以從分割圖生成圖片mask-to-image 模型,也有生成視頻、3D、motion 等等內容的擴散生成模型。

那有沒有一種方法可以讓這些預訓練擴散模型合作起來,發揮各自的專長,實現一個多功能的生成框架呢?比如當 text-to-image 模型與 mask-to-image 模型合作時,我們就可以同時接受 text 和 mask 輸入,并生成與 text 和 mask 一致的圖片了。

在 CVPR 2023 上,來自南洋理工大學 MMLab 的博士生黃子琪等人提出了一種簡單有效的方法來實現不同擴散模型之間的合作:Collaborative Diffusion。

基于擴散模型迭代去噪的性質,Collaborative Diffusion 在去噪的每一步都會動態地預測不同的擴散模型如何有效合作,各取所長。并且可以實現高質量的多模態控制的人臉生成和編輯。此外,作為一個通用框架,Collaborative Diffusion 不僅適用于圖片生成,還適用于圖片編輯,以及未來更多的基于擴散模型的其他任務。

6月9日晚6點,「AI新青年講座」第213講邀請到 Collaborative Diffusion 一作、南洋理工大學MMLab在讀博士黃子琪參與,主講《不同擴散模型合作實現多模態人臉生成與編輯》。

講者
 黃子琪,南洋理工大學MMLab在讀博士;由劉子緯教授指導;廣泛關注計算機視覺和深度學習領域,目前研究重點是生成模型、視覺生成和編輯,在CVPR、ICCV、ICIP 等會議上發表過多篇論文;

第213講

主 題
《不同擴散模型合作實現多模態人臉生成與編輯》

提 綱
1、擴散模型的應用現狀及經典模型解析
2、多個預訓練擴散模型合作的實現方法
3、不同種類擴散模型合作的多功能生成框架
4、高質量的多模態控制的人臉生成和編輯

直 播 信 息
直播時間:6月9日18:00
直播地點:智東西公開課知識店鋪

成果
論文標題:《Collaborative Diffusion for Multi-Modal Face Generation and Editing》
論文地址://arxiv.org/abs/2304.10530
 開源地址://github.com/ziqihuangg/Collaborative-Diffusion