智東西（公眾號：zhidxcom）
編譯 |? 徐豫
編輯 |? 漠影
智東西(xi)8月(yue)22日(ri)消息，據VentureBeat 8月(yue)20日(ri)報道，AI初創公司Hotshot的同名文生視頻(pin)模型“Hotshot”開放(fang)公測(ce)，用(yong)戶可(ke)以訪問Hotshot.co官網使用(yong)該模型，現階段每人每天有兩次免費(fei)創作機會(hui)。
Hotshot模型由4人小(xiao)團(tuan)隊用數(shu)千(qian)塊GPU訓練而成，可以生成10秒以內不同主題的(de)視頻(pin)(pin)，耗時短、清晰度高、操作界面簡(jian)潔。與主流的(de)AI文生視頻(pin)(pin)模型相比(bi)，Hotshot公測版兼顧視頻(pin)(pin)生成效率(lv)和穩定性(xing)的(de)同時，視頻(pin)(pin)風格(ge)更豐(feng)富(fu)，生態也更加開放，可生成無水印視頻(pin)(pin)。
▲可(ke)用Hotshot生成(cheng)風(feng)格多樣的視頻（圖(tu)源：Hotshot）
Hotshot成立(li)于(yu)2023年，聯合創始(shi)人為Aakash Sastry、John Mullan和Duncan Crawbuck。這三位公(gong)司創始(shi)人已(yi)有11年的(de)消費級應用開發經(jing)驗，并從Lachy Groom、Alexis Ohanian、SV Angel等人那(nei)里獲得(de)了(le)資金支持(chi)。
體驗(yan)地址：//hotshot.co/
一、最長10秒，清晰度720p，可定制動漫效果
Hotshot文生視頻(pin)(pin)模(mo)型是一款(kuan)Transformer擴(kuo)散模(mo)型，其(qi)最新(xin)版本(ben)可根(gen)據文字描述生成一段最長10秒、清晰(xi)度為720p的視頻(pin)(pin)。
例如，在(zai)Hotshot中輸入“柯(ke)基(ji)坐在(zai)學校(xiao)教(jiao)室(shi)里”，我們可(ke)以得到，兩(liang)只毛(mao)發分明順滑的柯(ke)基(ji)，身穿不同花色(se)(se)、樣式(shi)的衣服(fu)，坐在(zai)木(mu)色(se)(se)椅子上(shang)東張(zhang)西望，柯(ke)基(ji)身后是寫有(you)粉筆(bi)字的黑板，而(er)黑板旁有(you)一個陳列地球儀等(deng)教(jiao)具的展示柜，整(zheng)體拍攝視(shi)角不斷推進(jin)的一段視(shi)頻。
▲Hotshot根據文本(ben)“柯(ke)基坐在學(xue)校教室里(li)”AI生成(cheng)的視(shi)頻(pin)（圖源：Hotshot）
除了(le)模(mo)擬真實的人物、場景、風景，用(yong)戶還可(ke)以用(yong)Hotshot制作動(dong)漫(man)、逐幀動(dong)畫、特效等(deng)風格(ge)化(hua)視(shi)頻。
Hotshot生(sheng)成的一(yi)段(duan)視(shi)頻(pin)中，一(yi)位金發(fa)年輕男子(zi)，身穿藍(lan)色襯(chen)衫和深色褲子(zi)，坐在客廳(ting)(ting)的黃色沙發(fa)上，玩著手持(chi)電子(zi)游戲，客廳(ting)(ting)布置了(le)綠植、掛畫(hua)(hua)。視(shi)頻(pin)畫(hua)(hua)面配色鮮艷(yan)、筆觸粗(cu)獷，呈現出50年代的復古(gu)漫(man)畫(hua)(hua)風(feng)格。
▲Hotshot可(ke)以風格(ge)化處理視(shi)頻（圖源：Hotshot）
二、4個人耗時4個月，投入6億段素材，花費幾千塊GPU
這樣一個(ge)“類(lei)Sora”的文生視頻模型，Hotshot僅(jin)靠團隊4人，耗時4個(ge)月(yue)，便完成了該(gai)模型的訓(xun)練工(gong)作。
據(ju)Hotshot介紹，最新版的(de)(de)文生視頻(pin)模型在訓(xun)練(lian)中投入了6億段(duan)視頻(pin)及音頻(pin)素材、幾千塊GPU，高強度的(de)(de)模型訓(xun)練(lian)常(chang)(chang)常(chang)(chang)導(dao)致NVIDIA H100 GPU出(chu)現(xian)故障(zhang)，“機房差點著火(huo)”。為了讓(rang)模型不偏離預(yu)期方向，團隊成員(yuan)一(yi)個月(yue)都沒有休(xiu)息，輪流(liu)監控訓(xun)練(lian)結(jie)果。
3位創始人和新成員Chaitu Aluru還(huan)開發了一個新的自動編碼器(qi)，在“空間”和“時間”上壓縮視頻(pin)內(nei)容(rong)，而非折損視頻(pin)質(zhi)量和相(xiang)關數(shu)據，從而更高效地訓練長序列視頻(pin)。
三、過去一年多，Hotshot模型3次升級換代
Hotshot曾(ceng)推出過AI文(wen)生圖應(ying)用和兩代(dai)AI文(wen)生視頻模型，可惜未(wei)能激(ji)起(qi)較大的水(shui)花。
去年，Hotshot上(shang)線了同名消費級AI文生(sheng)圖應用(yong)(yong)(yong)，用(yong)(yong)(yong)戶可以(yi)免費用(yong)(yong)(yong)Hotshot生(sheng)成(cheng)和修改照(zhao)片，但該應用(yong)(yong)(yong)可能已被下架(jia)。
后(hou)續Hotshot推出了AI文(wen)生(sheng)視(shi)(shi)頻(pin)模型(xing)Hotshot-XL，并開源。該模型(xing)可(ke)以生(sheng)成時(shi)長1秒，幀率8fps的(de)視(shi)(shi)頻(pin)。當時(shi)，Hotshot-XL的(de)月活用戶超(chao)2萬人次。Hotshot Act-One則(ze)是Hotshot-XL的(de)升(sheng)級(ji)版，拓展了AI視(shi)(shi)頻(pin)生(sheng)成的(de)時(shi)長上限。Hotshot Act-One模型(xing)可(ke)制作(zuo)時(shi)長3秒，幀率同為8fps的(de)視(shi)(shi)頻(pin)。
Hotshot聯(lian)合創始(shi)人Sastry在社交媒(mei)體(ti)X的(de)帖子中(zhong)寫道，Hotshot是“目前(qian)最先進的(de)公開(kai)模型”，十(shi)多年以來(lai)，我們首次能夠(gou)為用戶提供“強大(da)且新穎的(de)”AI文生視頻功能，而(er)這(zhe)僅(jin)僅(jin)是一個開(kai)始(shi)。
結語：AI文生視頻模型很卷，但還沒有絕對的贏家
在Sastry看來，未來一年內，YouTube將被多模態(tai)生(sheng)(sheng)成(cheng)式AI作品(pin)“刷(shua)屏”，AI文(wen)生(sheng)(sheng)圖、文(wen)生(sheng)(sheng)視頻、文(wen)生(sheng)(sheng)音頻、圖生(sheng)(sheng)視頻等創(chuang)作方式，將成(cheng)為數字媒體上(shang)的常(chang)態(tai)。
市面上AI視(shi)(shi)(shi)頻(pin)(pin)生(sheng)成模(mo)型(xing)和應(ying)用(yong)的(de)競爭(zheng)也愈(yu)發激烈。AI視(shi)(shi)(shi)頻(pin)(pin)創企Runway ML的(de)Gen-3 Alpha Turbo、AI大模(mo)型(xing)獨(du)角獸OpenAI尚(shang)未(wei)公(gong)開的(de)Sora、3D建模(mo)與視(shi)(shi)(shi)覺AI公(gong)司Luma的(de)Dream Machine等AI視(shi)(shi)(shi)頻(pin)(pin)生(sheng)成模(mo)型(xing)，以及AI視(shi)(shi)(shi)頻(pin)(pin)創企Pika Labs的(de)Pika AI視(shi)(shi)(shi)頻(pin)(pin)生(sheng)成應(ying)用(yong)，都有著較高的(de)關注度。
與競爭對手相比，Hotshot雖然(ran)文本還(huan)原度較高、視(shi)頻(pin)(pin)生成速(su)度較快，但現階段的(de)(de)視(shi)頻(pin)(pin)生成效(xiao)果，在(zai)質量、細節和分辨率(lv)上(shang)都差(cha)強(qiang)人意。網友(you)用(yong)Hotshot模型(xing)制作(zuo)的(de)(de)視(shi)頻(pin)(pin)，不少存(cun)在(zai)手部、腿部重(zhong)影，物品懸空、動作(zuo)邏輯錯(cuo)誤(wu)、說(shuo)話神態、口型(xing)單一等較為明顯的(de)(de)漏(lou)洞。
▲馬(ma)腿出現重(zhong)影（圖源：VentureBeat）
來源(yuan)：VentureBeat、Hotshot X官方賬號
