今年9月起，智東西公開課品牌全新升級為智猩猩。智猩猩定位硬科技講解與服務平臺，提供公開課、在線研討會、講座、峰會等線上線下產品。
「AI新青年講座」由智猩猩出品，致力于邀請青年學者，主講他們在生成式AI、LLM、計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。
有興趣分享學術成果的朋友，可以與智猩猩教研產品團隊進行郵件（class@jmfly.net）聯系。
目前，大多數大語言模型都僅支持短文本輸入，而實際應用中，很多任務都需要長文本輸入能力，如長文檔的總結、提問等。傳統方法為了進行長度拓展通常需要使用超過100塊以上的A100 GPUs或TPUs，這樣的計算資源消耗對大多數研究而言都是難以持續的。
為了解決這樣的問題，麻省理工學院韓松團隊和香港中文大學賈佳亞團隊聯合提出了基于 LoRA 的全新大模型微調方法：LongLoRA ，僅用一臺8卡機器就能將 Llama2 模型從原本的4k tokens 處理長度拓展到 32k，甚至是 100k。
此外，為了提升模型的長文本對話能力，團隊還構建了高質量長文本對話數據集 LongAlpaca-12k，并開源了首個 70B 參數量的長文本大語言模型 LongAlpaca-70B。該工作的代碼、數據集、模型和 demos 已經全部開源在//github.com/dvlab-research/LongLoRA。
11月27日晚7點，「AI新青年講座」第230講邀請到 LongLoRA 一作、香港中文大學在讀博士陳玉康參與，主講《高效的大型語言模型長文本訓練方法 LongLoRA》。
講者
陳玉康，香港中文大學在讀博士；研究方向包括大語言模型、AutoML、3D 視覺等，曾在 CVPR、NeurIPS、T-PAMI 等頂級會議期刊上發表論文20篇，Google Scholar Citation 1300+。
第230講
主題
《高效的大型語言模型長文本訓練方法 LongLoRA》
提綱
1、大語言模型長文本對話的難點
2、基于 LongLoRA 的長文本模型微調方法
3、長文本對話數據集 LongAlpaca-12k
4、開源的長文本大語言模型 LongAlpaca-70B
直播信息
直播時間：11月27日19:00
直播地點：智東西公開課知識店鋪
成果
論文標題：《LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models》
論文地址：//arxiv.org/abs/2309.12307
開源代碼：//github.com/dvlab-research/LongLoRA
