芯東西(公眾號:aichip001)
作者 | ?ZeR0
編輯 | ?漠影

什(shen)么樣的初創(chuang)公司(si),能同時拿到英(ying)偉達、AMD、英(ying)特爾三大芯(xin)片(pian)巨頭的投(tou)資?

答案是Ayar Labs

芯東西12月12日報道,硅谷光互連芯片設計公司Ayar Labs昨日宣布完成英偉達AMD英特爾格芯等參(can)投的1.55億美元融資。

臺積電有戰略合作關系的VentureTech Alliance、美國機器制造巨頭3M也參與了此輪融資。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

目前其累計融資達3.7億美元,估值已超過10億美元,成為新晉芯(xin)片獨角獸。

Ayar Labs聯合創始人兼CEO馬克·韋德(Mark Wade)說:“領先的GPU提供(gong)商AMD和英偉達以及半導體代工廠(chang)格(ge)芯、英特爾(er)代工、臺積電(dian),再加上(shang)Advent、Light Street和我們其他投資者的支(zhi)持,凸顯了我們的光學I/O技術重新(xin)定義(yi)AI基礎設施(shi)未來的潛力。”

獲得如此多(duo)芯片巨頭的青睞,Ayar Labs憑(ping)什么?

一、AI的下一個百萬倍加速,需要光互連等先進技術

Ayar Labs成立于(yu)2015年,總部位于(yu)加(jia)州圣何塞,專門為大規模AI工作負載提供光(guang)互連解決(jue)方案(an)。其瞄準的(de)(de)賽道,如今正是(shi)下一代AI基(ji)礎設(she)施建設(she)的(de)(de)關(guan)鍵技術之一。

高(gao)盛近日發布(bu)的一份(fen)報告預測,未來十(shi)年(nian),AI基礎設施支出預計(ji)將(jiang)超(chao)過1萬億美(mei)元。這(zhe)凸(tu)顯了對消除傳統(tong)銅互連、可插拔光學器件造成的瓶頸的解決方案的迫(po)切需(xu)求。

當前大多數數據中(zhong)心(xin)的(de)運(yun)營依(yi)賴(lai)于傳(chuan)統的(de)電互(hu)連,銅(tong)線是數據中(zhong)心(xin)短(duan)距離信息傳(chuan)輸的(de)標準。AI服(fu)務(wu)器系(xi)統在(zai)持續傳(chuan)輸數據過程(cheng)中(zhong)會消耗(hao)大量(liang)電力(li),打破現有AI基(ji)礎設施瓶頸的(de)有效(xiao)解法之一,便是采用光(guang)互(hu)連技術來加速通(tong)信。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

采用傳統互(hu)連時,隨著AI模型復雜性(xing)增加,系統效(xiao)率(lv)會降低。據Ayar Labs官(guan)網(wang)分享(xiang),一顆(ke)GPU的(de)運(yun)行效(xiao)率(lv)為80%,64顆(ke)GPU的(de)運(yun)行效(xiao)率(lv)可能(neng)(neng)是50%,256顆(ke)GPU的(de)運(yun)行效(xiao)率(lv)可能(neng)(neng)只有30%了。光學I/O則能(neng)(neng)夠針對提(ti)高AI基(ji)礎設施的(de)性(xing)能(neng)(neng)和能(neng)(neng)效(xiao)。

英偉達數據中(zhong)心產品首(shou)席(xi)平臺架構(gou)師羅伯·奧伯(Rob Ober)認為(wei),過去十年,英偉達加速計算已經為(wei)AI帶(dai)來(lai)百萬倍的加速,而下一個百萬倍的加速將需要(yao)光學(xue)I/O等全新技術,來(lai)支(zhi)持未(wei)來(lai)AI/ML工作負載(zai)和系統(tong)架構(gou)的帶(dai)寬、功率和規模要(yao)求。

OpenAI計算(suan)主管克里斯托弗·伯納(Christopher Berner)也強調道,橫向擴展期間的互連(lian)帶寬對于防止加速(su)器在(zai)等待網絡傳輸或梯度(du)時停轉至關(guan)重(zhong)要(yao)。

二、突破數據移動瓶頸,用光互連加快AI系統通信速度

此前光一(yi)直被用于數據傳輸,只不(bu)過主(zhu)要用于電信(xin)(xin)網(wang)絡(luo)的長距離通(tong)信(xin)(xin)中。

Ayar Labs則(ze)將這項技術塞(sai)進了(le)芯片(pian)封裝里(li)。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

該公司開發了業界首款針對大規模AI工作負載優化的封裝內光學I/O解決方案。相比采用可插拔光學器件+電氣SerDes的傳統互連,Ayar Labs的方案可實現5~10倍的更高帶寬、4~8倍的能效,并將延遲降低至1/10

其方案結合了兩項行業首創技術——TeraPHY光學I/O ChipletSuperNova多波長光源

TeraPHY可集(ji)成(cheng)到客戶(hu)的SoC封裝中,利用其(qi)SuperNova遠程(cheng)光技術實現更(geng)快的芯片間通信(xin),從而幫助客戶(hu)最(zui)大限度地提(ti)高AI基礎設(she)施(shi)的計(ji)算效率(lv)和(he)性能,還(huan)能提(ti)高“AI應(ying)用的盈利能力指標(biao)”。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

TeraPHY光學I/O Chiplet是一款體積小(xiao)、功耗(hao)低(di)、吞吐量高的銅背板(ban)和可插拔光學通(tong)信替(ti)代方案,其模塊化多端(duan)口設計科承(cheng)載8個(ge)光通(tong)道(相當于x8 PCIe Gen5鏈路)。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

它將硅光子學與標準(zhun)CMOS制造工(gong)藝結合,使(shi)專用集(ji)成電路(ASIC)能跨(kua)越(yue)從毫米到千(qian)米的(de)距離進行通信,相當于形成一個巨(ju)型GPU。每個端(duan)口有256Gbps,每個Chiplet有2Tbps。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

萬億參數AI模型和高性能計算(HPC)設計需要不斷增加的帶寬。Ayar Labs光學I/O提供4Tbps的總雙(shuang)向帶寬,為生成式(shi)AI架(jia)構開辟(pi)了新的可能性。

高性能計算(HPC)和AI的分布式計算系統無法容忍傳統電氣I/O前向糾錯帶來的數十納秒額外延遲。而Ayar Labs光學I/O的延遲為每Chiplet + TOF 5納秒,無需前向糾錯。

為了使電氣I/O和可插拔光學器件能夠穿越系統、機架和數據中心,112 Gbps長距離電氣I/O會消耗6-10pJ/b的能量。Ayar Labs光學I/O消耗的能量則不到5pJ/b(10W)

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

SuperNova是首款符合CW-WDM MSA標準的多(duo)波長、多(duo)端口光源,最(zui)多(duo)支持(chi)將16種(zhong)波長的光傳(chuan)輸至16根光纖。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

與CWDM4多波長可插拔光學器件相比,其波長增加了64倍。該光源可驅動256個光學載波,實現16Tbps的雙向帶寬。

英偉達AMD英特爾聯手,投出一家AI芯片獨角獸

Ayar Labs基于(yu)開(kai)放標準(UCIe、CXL、CW-WDM MSA),使其能順(shun)利大規模集成到AI系(xi)統中。

這些(xie)芯片由格芯生產(chan)。Ayar Labs還與英(ying)(ying)特爾合作,將其技術集成到英(ying)(ying)特爾的制造產(chan)品中(zhong)。該公司也在(zai)與臺積電洽談。

HPE、英(ying)特爾、洛(luo)克希德·馬丁、英(ying)偉達都(dou)是Ayar Labs的技術合(he)(he)作伙伴(ban)。其供應(ying)鏈合(he)(he)作伙伴(ban)包括格芯、MACOM、Sivers Semiconductors等。

三、瞄準AI數據中心挑戰的硅光子學競爭者們

幾個月前,Ayar Labs開始向部分客戶出貨了約15000臺設備。馬克·韋德希望到2026年中期,其芯片能實現大批量生產;到2028年及以后,每年出貨量可達到1億臺以上。

Advent Global Opportunities和Light Street Capital是Ayar Labs最新(xin)融資的領(ling)投(tou)方。

Advent Global Opportunities合伙人喬丹(dan)·卡茨(Jordan Katz)將(jiang)加入Ayar Labs董事會。他相(xiang)信光互連技(ji)術將(jiang)徹底改變(bian)AI基(ji)礎設施(shi)的未來,而(er)他認為(wei)Ayar Labs是引領這場(chang)革命的最佳初創公司(si)。

其(qi)他(ta)投資方中(zhong),英偉達正在基板層實(shi)現光學互連,英特(te)爾(er)也在今年早些時候展示了芯片間光通(tong)信。

不過,Ayar Labs并非光互連領(ling)域的(de)獨(du)孤求敗。

今(jin)年9月(yue),瑞士光(guang)互(hu)連創企(qi)Lightium AG完成(cheng)(cheng)700萬美元種子(zi)(zi)輪(lun)融(rong)資(zi)(zi)(zi),投資(zi)(zi)(zi)方包(bao)括谷歌(ge)等;10月(yue),美國光(guang)子(zi)(zi)計算及網絡創企(qi)Lightmatter完成(cheng)(cheng)4億(yi)(yi)美元D輪(lun)融(rong)資(zi)(zi)(zi),總融(rong)資(zi)(zi)(zi)額(e)達(da)到8.5億(yi)(yi)美元,估(gu)值超過44億(yi)(yi)美元;同樣(yang)在10月(yue),另(ling)一家(jia)美國光(guang)子(zi)(zi)技術創企(qi)Xscape Photonics完成(cheng)(cheng)4400萬美元A輪(lun)融(rong)資(zi)(zi)(zi),由思(si)科(ke)、英偉達(da)等參投。

在國內(nei),上海曦(xi)智科技是全(quan)球首家以光(guang)計算和(he)光(guang)互(hu)連為(wei)核心的(de)AI芯片公司(si),已經構建光(guang)子計算和(he)光(guang)子網絡兩大產品線,其Photowave系(xi)列是業(ye)界首款兼(jian)容PCIe 5.0和(he)CXL 2.0協議的(de)光(guang)互(hu)連硬件產品,數據(ju)傳輸延(yan)遲可以達到20納(na)秒(+TOF*)以內(nei),其中(zhong)有源光(guang)纜(lan)延(yan)遲可低至1納(na)秒以下。曦(xi)智科技的(de)首個CPO共封裝光(guang)學項(xiang)目也正在落地中(zhong)。

結語:重新思考AI系統架構

大模型推動計算資源需求激增,需要數(shu)百(bai)乃(nai)至(zhi)數(shu)千個互連的GPU和其他(ta)加速器,這意味著(zhu)數(shu)據要以閃電般的速度在芯片與存儲設備(bei)之間流轉。

硬件利用率低、功耗飆升、成本增(zeng)加等重壓之下,傳統(tong)互(hu)連方案越來越難以(yi)承擔多模態(tai)AI系統(tong)所需的(de)成本和(he)吞吐量。從云計算(suan)大廠(chang)到智算(suan)基建(jian)商,都在探索(suo)新的(de)數據中心架構設計,升級(ji)硬件和(he)軟(ruan)件基礎設施(shi)。

芯片巨頭們已經盯上(shang)了光互連(lian)技術,以期利(li)用(yong)光學(xue)特性(xing)突破固有瓶頸,提高AI基礎設施的性(xing)能和計算效率,同時降低成(cheng)本(ben)和功耗。隨著更多資(zi)本(ben)涌(yong)向(xiang)這一(yi)賽道,光互連(lian)商業化落地進程正(zheng)在提速中。

來源:Ayar Labs,SiliconANGLE,彭博社,HPCwire