智東西(公眾號:zhidxcom)
編譯 | 程茜
編輯 | 李水青

智東(dong)西9月17日消息(xi),今(jin)天(tian),斯坦(tan)福(fu)大學教授(shou)、“AI教母”李飛(fei)飛(fei)的(de)創(chuang)業公(gong)司World Labs公(gong)布(bu)空(kong)間(jian)智能模型的(de)最新(xin)研究(jiu)成果,并(bing)發布(bu)用戶可以查看和創(chuang)建3D世(shi)界的(de)測試預覽(lan)版Marble平臺。

李飛飛連發兩條帖(tie)子(zi)盛贊(zan)新模型,她(ta)對3D世(shi)界生成(cheng)的進展感(gan)到興奮(fen),并(bing)且對模型已經可以生成(cheng)極其龐大(da)的3D世(shi)界大(da)吃一(yi)驚。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

給定圖(tu)像或(huo)文本提示,其模型會生成持久、可導航(hang)、可控(kong)的3D世界,且(qie)不(bu)會在用戶探索過程中發(fa)生變形、內容不(bu)一致以及時間限制。World Labs的博客提到,與(yu)之前的結果相比,現在生成的世界更大、風格更多樣(yang)化、并且(qie)具有(you)更簡潔的3D幾何體(ti)。

▲World Labs空間智能模型生成(cheng)效果演(yan)示

用網(wang)友在評論區詢問(wen)World Labs新模型和(he)谷歌(ge)Genie項(xiang)目的區別,李飛(fei)飛(fei)回復稱,World Labs的模型生成的3D世(shi)界(jie)將永(yong)久存續,用戶可隨(sui)心所欲(yu)地(di)在這個世(shi)界(jie)中自(zi)主導航無需支付任(ren)何費用。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

目前,用戶想要體驗Marble可以加入等待名單(dan)獲取(qu)使(shi)用資格。

加入候補名單鏈接:
//www.worldlabs.ai/waitlist

3D內容生(sheng)成(cheng)的愛(ai)好(hao)者和開(kai)發者可以(yi)將生(sheng)成(cheng)的世界導出為高斯(si)splats,并在(zai)下(xia)游項目中(zhong)使用它們。基于(yu)World Labs的開(kai)源(yuan)渲染(ran)庫Spark,用戶(hu)能(neng)將高斯(si)splats無縫集(ji)成(cheng)到Three.js中(zhong),以(yi)構建基于(yu)Web的3D體驗,并在(zai)臺式機、筆記本電腦(nao)、移動設備和VR頭顯上高效渲染(ran)。

World Labs官(guan)方X賬號的(de)評論區,不少網友已經開啟夸(kua)夸(kua)模(mo)式,有(you)人稱這項技術將非(fei)常適合(he)視頻游戲(xi)和虛(xu)擬現實,還(huan)有(you)人說這讓他想起了(le)第一次運(yun)行(xing)谷歌地球的(de)場(chang)景(jing)。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

一、零成本自由切換視角漫游,更具幾何復雜度

對于視覺(jue)創作(zuo)者而言(yan),在(zai)一個連貫的3D世界中進行漫游與交互的能(neng)力(li),是眾多工(gong)作(zuo)流(liu)程與應用(yong)場景(jing)的核(he)心需求。World Labs空間智(zhi)能(neng)模(mo)型生成的3D世界支持用(yong)戶在(zai)瀏覽器內(nei)自由切換視角進行漫游,且完全零成本。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

相(xiang)較于深度(du)圖或點(dian)云所提供(gong)的(de)(de)有(you)限3D體驗,其生成的(de)(de)3D世界具備更(geng)(geng)豐富的(de)(de)幾何(he)復雜度(du),能生成更(geng)(geng)完整的(de)(de)3D場景,用戶(hu)不僅(jin)能看到輸入視(shi)圖中可(ke)見(jian)的(de)(de)內容(rong),還可(ke)以(yi)查看其背后及視(shi)野之(zhi)外(wai)的(de)(de)部(bu)分(fen)。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

與(yu)此(ci)同時,其(qi)博客還(huan)提到,他們(men)當前的模型旨在創建3D環境,而(er)不是專(zhuan)注(zhu)于人或者(zhe)動(dong)物的孤(gu)立或中心(xin)對象。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

在生成式AI的(de)(de)(de)相關應用中,用戶可以在創(chuang)作過程中自由迭(die)代調(diao)整(zheng)作品的(de)(de)(de)觀感(gan)風格(ge)。World Labs的(de)(de)(de)模(mo)型可將多種風格(ge)迥異的(de)(de)(de)輸入(ru)內容轉化為3D形式,包括色彩鮮(xian)明(ming)的(de)(de)(de)平面(mian)卡(ka)通、細節豐富的(de)(de)(de)寫實(shi)圖像等。

如下面(mian)的卡通、科(ke)幻等諸(zhu)多場景。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

基(ji)于(yu)模(mo)型的風格連貫(guan)性(xing)和幾何一致性(xing),用(yong)戶能夠探索、瀏覽更(geng)大尺度的3D世界(jie),并衍生(sheng)出更(geng)多(duo)應用(yong)場景。

例如下面(mian)的超大地下洞穴場(chang)景,跟(gen)隨鏡頭移動(dong)也(ye)沒有發生(sheng)畫面(mian)不一致等。

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

還有(you)下(xia)(xia)面色彩風格多樣,手繪風格痕跡也(ye)保留了下(xia)(xia)來(lai):

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

下面是大理(li)石風格類似于樹洞(dong)的房子(zi):

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

二、早期體驗者評價:工作時間從數月縮短到幾分鐘,像電影制作人在3D場景計劃拍攝

World Labs的博客中(zhong),還摘取了不(bu)少早期用戶的體(ti)驗感受:

有體驗者認(ren)為World Labs提(ti)供的方案能(neng)讓他(ta)像電影(ying)制作人一(yi)樣在連貫且(qie)一(yi)致(zhi)的3D場(chang)景中計劃(hua)拍攝:

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

還有創作者稱(cheng)這一方(fang)(fang)案(an)使他之前需(xu)要數周甚(shen)至數月的工作可以(yi)在幾分鐘內完成(cheng);VR電影制作人非常期待挖掘這一方(fang)(fang)案(an)的未來應(ying)用潛力:

炸場!李飛飛發了個「永久世界」,谷歌Genie 3瞬間不香了?

結語:構建大型3D世界應用潛力激增

World Labs模型的一(yi)致性和(he)風(feng)格依從性,使得用戶構建(jian)大型3D世界成為可能,能保證不(bu)同場景之間不(bu)會割裂。不(bu)過其(qi)博客也提到(dao),當下仍然是3D模型發展的早期。

目前已經有不少早(zao)期體驗者利(li)用Marble的3D世界構(gou)建功能(neng)來(lai)增(zeng)強他們的創造力和生產力。未(wei)來(lai)這一工具的普及,或能(neng)使動漫創作者、游戲(xi)開發者等創意人士都能(neng)從中受益。