「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。

有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@jmfly.net)聯系。

生成具有指定動作、合理且逼真的人體一直是計算機視覺中廣泛探索且具有挑戰性的任務。然而由于不同的運動合成任務有不同的目標和期望,很多方法僅限應用于一種類型的運動合成任務,或者使用不同的方法來解決各種任務。

為了使人體動作合成任務有一個統一的框架,在不同的情況下都能生成逼真且有意義的結果,新加坡南洋理工大學博士蔡雨君等人研究了影響動作生成的因素,提出一種基于條件變分自動編碼器的人體運動生成模型UVAE-PoseSynthesis,它具有兩條并行路徑,每條路徑都由一個編碼器和一個解碼器組成,將任意的輸入視為蒙版運動序列,根據輸入條件估計缺失區域的潛在分布,從中采樣和合成完整的運動序列。

為了增強合成序列的真實性和全局一致性,蔡雨君博士等人還在編碼器與解碼器特征之間引入交叉注意力機制,利用輸入姿勢和輸出姿勢之間的關系,重建原始運動序列。同時模型在解碼器引入動作自適應調制,來使整個序列按照語義生成不同的運動風格。

蔡雨君博士等人在Human3.6和CMUMocap兩個數據集上進行了廣泛的實驗,結果表明,UVAE-PoseSynthesis能為各種運動合成任務產生連貫且逼真的結果。

8月12日上午10點,「AI新青年講座」第146講邀請到新加坡南洋理工大學博士蔡雨君參與,主講《應用于姿態預測補全的人體動作生成模型》。

講 者

蔡雨君,新加坡南洋理工大學博士,主要研究方向為基于視覺的行為分析,如姿態估計,姿態生成,動作識別等。在CVPR, ECCV, ICCV, NIPS等會議上發表多篇文章。

主 題

應用于姿態預測補全的人體動作生成模型

提 綱

1、人體姿態問題的研究
2、動作生成局限性分析
3、人體動作生成模型的構建
4、在姿態預測補全上的應用

直 播 信 息

直播時間:8月12日10:00
直播地點:智東西公開課知識店鋪

成 果

UVAE-PoseSynthesis:《A Unified 3D Human Motion Synthesis Model via Conditional Variational Auto-Encoder》
論文鏈接://yujuncai.netlify.app/files/2021ICCV.pdf
 開源代碼://github.com/vanoracai/A-unified-3d-human-motion-synthesis-model-via-conditional-variational-auto-encoder