「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機構以及優秀企業的新青年，主講在環境感知、精準定位、決策規劃、控制執行等自動駕駛關鍵技術上的最新研究成果和開發實踐。
「自動駕駛新青年講座」目前已完結34講，有興趣分享的朋友，可以與智猩猩教研團隊進行郵件（class@jmfly.net）聯系
自動駕駛領域的算法研究和落地應用已經取得了諸多顯著進展，但這些近期的工作在遇到長尾事件和復雜城市駕駛場景時，仍存在一系列困難與挑戰，甚至可能引發嚴重的駕駛事故。
更具體來說，以往的自動駕駛方法傾向于依賴有限格式的輸入（例如傳感器數據和導航點），限制了車輛理解語言信息和與人交互的能力。而大語言模型（LLM）相關的最新研究成果則展現出接近“通用人工智能”的能力，包含一系列令人印象深刻的知識理解和推理能力。因此，如何將二者有效結合就成為了一個值得探索的研究課題。
LMDrive 是香港中文大學、商湯科技，以及上海人工智能實驗室（OpenDILab 團隊）等機構的研究者們提出的第一個利用大語言模型進行閉環端到端自動駕駛的工作，結合了自然語言指令和多模態傳感器數據，實現了復雜駕駛場景中準確且高效的導航和人機交互。
LMDrive 主要從以下四個方面進行了深入的探索和研究：
1、提出全新的自動駕駛框架 LMDrive：這是一個端到端、閉環、基于語言控制的自動駕駛框架，能夠通過多模態多視角傳感器數據和自然語言指令與動態環境進行交互。
2、構建了約 64K 數據量的語言引導駕駛數據集：其中每個條目包含一條導航指令、幾條提示指令、一系列多模態多視角傳感器數據和車輛控制信號。每個數據片段的時長從 2 秒到 20 秒不等。
3、推出 LangAuto 基準測試框架：用于評估以語言指令為導航輸入的自動駕駛Agent 性能，涵蓋誤導性/冗長指令和具有挑戰性的對抗性駕駛場景。
4、進行廣泛的閉環實驗：通過實驗驗證所提出框架的有效性，并分析 LMDrive 的不同組成部分，為沿此方向的研究提供分析。
1月22日晚7點，「自動駕駛新青年講座」第35講邀請到 LMDriver 一作、香港中文大學 MMLab 在讀博士邵昊參與，主講《LMDrive：大語言模型加持的閉環端到端自動駕駛框架》。
講者
邵昊，香港中文大學MMLab在讀博士；師從李鴻升教授和王曉剛教授，研究方向為端到端自動駕駛，多模態大語言模型，視頻理解；曾在CVPR、CoRL、NeurIPS、RSS等頂級會議發表多篇論文；曾獲2022年度CARLA端到端自動駕駛挑戰賽冠軍（sensor track），2020年度ActivityNet挑戰賽冠軍等。
第35講
主 題
《LMDrive：大語言模型加持的閉環端到端自動駕駛框架》
提 綱
1、端到端閉環自動駕駛概述
2、基于語言控制的端到端閉環自動駕駛框架 LMDrive
3、64K 數據量的語言引導駕駛數據構建
4、基于語言引導的自動駕駛 Agent 性能評估
5、廣泛的閉環實驗驗證及未來研究方向探討
直 播 信 息
直播時間：1月22日19:00
直播地點：智東西公開課知識店鋪
成果
論文標題《LMDrive: Closed-Loop End-to-End Driving with Large Language Models》
論文地址//arxiv.org/abs/2312.07488
代碼鏈接//github.com/opendilab/LMDrive
