DeepSeek R1具有強大的推理能力，能夠通過多次推理和思考得出問題的最佳答案。但其中每一步推理和思考都會消耗大量的計算資源，進而提高了單次推理的算力成本。如何縮減DeepSeek R1的推理算力成本，降低私有化部署門檻，是全行業共同面臨的難題。
今年3月，清程極智聯合清華大學翟季冬教授團隊開源了大模型推理引擎赤兔（Chitu），率先實現了在非H卡設備運行原生FP8模型突破。實測數據顯示，使用赤兔引擎在H800集群上部署滿血版DeepSeek R1，相比于vLLM部署方案，能夠在減少50%的GPU使用量的同時，將輸出速度提升3.15倍。這意味著通過赤兔推理引擎，企業可以通過更少的硬件資源，實現更高的性能，大幅降低推理模型的私有化部署成本。
3月27日19點，智猩猩「DeepSeek大解讀」系列公開課第6期將開講，由清程極智聯合創始人唐適之博士主講，主題為《低成本DeepSeek R1推理挑戰與赤兔推理引擎實踐》。
本次公開課，唐適之博士首先會對DeepSeek R1與日益增長的算力需求進行分析，并探討有限硬件資源下的大模型推理取舍之道。之后，唐適之博士還會深入講解開源大模型推理引擎“赤兔”如何降低DeepSeek R1推理所需的硬件成本，尤其是在更廣泛GPU上的FP8數據類型的推理優化實踐。
公開課內容
主題：低成本 DeepSeek R1 推理挑戰與赤兔推理引擎實踐
提綱：
1、DeepSeek R1 與日益增長的算力需求
2、有限硬件資源下的大模型推理取舍
3、“赤兔”方案：更廣泛 GPU 上的 FP8 推理優化
主講人
唐適之，清程極智聯合創始人，清華大學計算機專業學士、博士，負責清程極智并行訓練、推理框架、算子優化等各類技術研發。唐適之曾獲全國信息學奧賽 NOI 金牌，曾為清華大學國際超算競賽 ASC/ISC/SC 三冠團隊成員，主要的學術研究領域包括編程語言、異構計算等，代表工作為 FreeTensor 編程框架。
直播時間
3月27日19:00
