12月起，智東西公開課聯合達摩院自然語言智能實驗室全新策劃「阿里達摩院大模型公開課」。此次公開課開設兩講，阿里巴巴達摩院高級算法工程師李晨亮、NLP高級算法專家嚴明將分別進行直播講解。
12月14日晚7點，阿里巴巴達摩院高級算法工程師李晨亮將主講《達摩院通義 AliceMind 預訓練大模型在 AIGC 文本創作的探索》。李晨亮將對英文SOTA生成預訓練模型PALM、中文社區首個超大規模生成模型PLUG，和GPT-3的中文復現版本三個大模型，以及它們在AIGC?文本創作領域的應用進行深度講解。
PALM 提出時是英文SOTA生成預訓練模型，結合自編碼和自回歸的預訓練，在英文CNN/Daily Mail、Giagaword等數據集上超過BART、T5等模型。而最新的PALM 2.0，在中文社區的生成預訓練模型中也達到了SOTA。
PLUG提出時是當時中文社區最大規模的純文本預訓練語言模型，集語言理解與生成能力于一身，在語言理解（NLU）任務上，以80.179分刷新了當時Chinese?GLUE分類榜單的新記錄排名第一；在語言生成（NLG）任務上，在多項業務數據上較State-of-the-art平均提升8%以上。除此之外，PLUG在zero-shot生成的表現上，也較此前的模型均有明顯的優勢。
中文GPT-3是對2020年OpenAI提出GPT-3的中文版本。其主要思想是通過大幅度增大模型規模至1750億，同時利用無監督數據和language?model預訓練，使模型具備強大的zero-shot生成能力。因為GPT-3主要支持英文，對于中文效果較差，同時訪問使用需要申請，因此達摩院推出了中文GPT-3，并創新性的結合無監督數據和有監督prompt數據，訓練了不同版本規模的中文GPT-3，為中文社區帶來更好用的中文生成大模型，目前模型具備多種生成能力，包括：代碼生成，小說續寫，作文生成、論文生成等。
「阿里達摩院大模型公開課」第1講的直播將以視頻直播形式進行。直播由主講與問答兩部分組成，其中主講40分鐘，問答為20分鐘。
第1講
主 題?
《達摩院通義 AliceMind 預訓練大模型在 AIGC 文本創作的探索》
提 綱
1、AIGC 文本創作的研究現狀與應用前景
2、英文 SOTA 生成預訓練模型 PALM 及全新中文 PALM 2.0
3、超大規模中文理解和生成聯合模型 PLUG
4、中文 GPT-3 的零樣本生成能力探究
主 講 人
李晨亮，阿里巴巴達摩院高級算法工程師；2019 年碩士畢業于北京郵電大學；主要研究方向為自然語言處理，包括預訓練語言模型、文本生成、多模態等；曾經在相關領域頂級會議如 ACL、EMNLP、AAAI 等發表十多篇相關論文；參與多個國際評測和比賽，在生成、結構化、多模態的多個相關評測榜單上達到第一，并在多模態 VQA 榜單上首次超越人類水平。
直 播 時 間
12月14日19:00-20:00
