? ? ? ?“建立在堅(jiān)實(shí)技術(shù)基礎(chǔ)上的創(chuàng)意娛樂(lè)公司”索尼,始終以“人”為本,在前沿技術(shù)領(lǐng)域不斷探索進(jìn)取。后疫情時(shí)代,索尼黑科技正式確立了3R戰(zhàn)略(真實(shí)(Reality)、實(shí)時(shí)(Real-time)和遠(yuǎn)程(Remote),致力于為內(nèi)容創(chuàng)作賦能,共同開(kāi)創(chuàng)前所未有的娛樂(lè)表達(dá)方式。 “索尼黑科技”專(zhuān)欄將定期為您介紹最具代表性的索尼技術(shù)創(chuàng)新成果,探索如何“用創(chuàng)意和科技的力量感動(dòng)世界”。本期將為您帶來(lái)的是——光線追蹤技術(shù)(Ray Tracing)。
光線追蹤技術(shù)(Ray Tracing)
?
能夠優(yōu)化創(chuàng)作過(guò)程的技術(shù)
? ? ? ?索尼互動(dòng)娛樂(lè)公司(SIE)的愿景是提供 " The Best Place to Play(最佳游戲平臺(tái)) "。公司由全球14個(gè)工作室組成,SIE與游戲創(chuàng)作者合作,致力為廣大消費(fèi)者提供令人享受且極富吸引力的內(nèi)容。用于增強(qiáng)這些內(nèi)容的技術(shù)之一便是光線追蹤。2020年11月發(fā)布的PlayStation?5將配備AMD的定制GPU,支持光線追蹤。我們與SIE的渡邊真司進(jìn)行了交流,從而了解到為何光線追蹤可以?xún)?yōu)化創(chuàng)作過(guò)程。
受訪人資料:
渡邊真司
?
化繁為簡(jiǎn),拓展各種可能性
Q:什么是光線追蹤?
渡邊:許多人可能會(huì)將 "光線追蹤 "一詞與電腦繪圖使用的渲染技術(shù)聯(lián)系起來(lái)。然而,根據(jù)文本內(nèi)容的不同,光線追蹤有多種含義,可以從廣義和狹義上進(jìn)行討論。從廣義上講,光線追蹤是一種簡(jiǎn)單而又通用的技術(shù),它可以確定射線和物體之間的交點(diǎn),而這正是我們正在研究和開(kāi)發(fā)的;從狹義上講,它是指通過(guò)模擬光從光源到我們眼睛的過(guò)程來(lái)進(jìn)行電腦繪圖渲染。這種光線追蹤指的是各種渲染方法,包括追蹤光線從眼睛反射到光源的路徑的方法,以及近年來(lái)在電影制作中積極使用的基于概率和統(tǒng)計(jì)的方法。
技術(shù)原理
光線追蹤技術(shù)(Ray Tracing)
Q:那么,游戲中所指的光線追蹤是狹義的光線追蹤嗎?
渡邊:沒(méi)錯(cuò),是這樣。在討論P(yáng)layStation?5的時(shí)候,我們一般說(shuō)的是狹義的光線追蹤。具體來(lái)說(shuō),最近的CG動(dòng)畫(huà)電影中使用的光線追蹤叫做 " Monte Carlo Ray Tracing(蒙特卡羅光線追蹤)"。電影一般都是以每秒24幀的方式顯示,但為了做出一幀畫(huà)面,你需要大量的計(jì)算機(jī)并行連接來(lái)處理所有的數(shù)據(jù)。在我看來(lái),這在電子游戲制作領(lǐng)域不現(xiàn)實(shí),至少在未來(lái)幾年內(nèi)是這樣。一種不同于上述的叫做 "光柵化 "的技術(shù)被用于電子游戲圖形制作。目前,我們正在部分結(jié)合蒙特卡羅射線追蹤技術(shù)來(lái)改進(jìn)電子游戲的光柵化。
?
Q:近年來(lái),我們?cè)絹?lái)越多地聽(tīng)到 "光線追蹤 "這個(gè)詞。你認(rèn)為原因何在?
渡邊:這是因?yàn)楣饩€追蹤技術(shù)有望解決視頻游戲中渲染的相關(guān)問(wèn)題。渲染過(guò)程的問(wèn)題在于程序的復(fù)雜性。從用戶(hù)的角度來(lái)看,如今的CG動(dòng)畫(huà)看似相當(dāng)逼真,但背后卻有非常復(fù)雜的程序在運(yùn)行。而且即使看起來(lái)很真實(shí),也不能做到100%還原現(xiàn)實(shí)。在目前純光柵化的框架下,我們必須把復(fù)雜的程序做得更加復(fù)雜,才能接近100%的圖形精度。例如,繪制一個(gè)角色的影子或他們?cè)谒械牡褂靶枰粋€(gè)單獨(dú)的程序。由于這些程序一起運(yùn)行時(shí)產(chǎn)生的兼容性問(wèn)題,游戲創(chuàng)作者還需要反復(fù)進(jìn)行微調(diào)。目前,渲染過(guò)程對(duì)創(chuàng)作者來(lái)說(shuō)是非常繁瑣的,如果我們能用光線追蹤來(lái)代替它,并將其簡(jiǎn)化,創(chuàng)作者就可以花更多的時(shí)間專(zhuān)注于游戲設(shè)計(jì)中更有創(chuàng)意的方面。換句話(huà)說(shuō),光線追蹤是一項(xiàng)有潛力優(yōu)化創(chuàng)作過(guò)程的技術(shù)。
?
通過(guò)軟件實(shí)現(xiàn)硬件性能的最大化
Q:要取代傳統(tǒng)的渲染處理,需要哪些條件?
渡邊:首先需要加快光線追蹤的速度。計(jì)算簡(jiǎn)單的射線與物體的交點(diǎn)可以單純依靠算力,但隨著物體數(shù)量的增加,這種方法越來(lái)越耗時(shí)。加快光線追蹤的一種方法是使用空間數(shù)據(jù)結(jié)構(gòu),將一個(gè)區(qū)域劃分為多個(gè)單元。數(shù)據(jù)結(jié)構(gòu)可以減少計(jì)算時(shí)間,因?yàn)樗粚?duì)射線經(jīng)過(guò)的區(qū)域內(nèi)的物體進(jìn)行計(jì)算。一個(gè)典型的數(shù)據(jù)結(jié)構(gòu)是邊界體積層次結(jié)構(gòu)(BVH)。在BVH中,對(duì)象被細(xì)分為一個(gè)不相干的集合層次結(jié)構(gòu),允許進(jìn)行高效的計(jì)算,因此計(jì)算速度更快。BVH也有不同的類(lèi)型,而構(gòu)建一個(gè)BVH的方式會(huì)對(duì)性能產(chǎn)生巨大的影響。如果你使用的是低質(zhì)量的數(shù)據(jù)結(jié)構(gòu),那么使用強(qiáng)大的硬件加速光線追蹤是沒(méi)有意義的。換句話(huà)說(shuō),在游戲中使用光線追蹤不僅要看硬件性能,還要看軟件效率。為了發(fā)揮硬件性能,我們正在督促創(chuàng)建加速光線追蹤的算法和數(shù)據(jù)結(jié)構(gòu),并開(kāi)發(fā)程序庫(kù)提供給創(chuàng)作者。
一個(gè)BVH的不相干集的層次結(jié)構(gòu)的例子
BVH集內(nèi)交叉點(diǎn)數(shù)量可視化(白色部分越大,交叉點(diǎn)數(shù)量越多)
Q:在您的研發(fā)工作中,什么對(duì)您來(lái)說(shuō)是重要的?
渡邊:在日常開(kāi)發(fā)中,我們專(zhuān)注于量化指標(biāo)來(lái)提升性能。我們?cè)诟鞣N條件下對(duì)GPU等硬件的性能進(jìn)行測(cè)量,了解數(shù)據(jù)。我們?cè)陂_(kāi)發(fā)過(guò)程中,能夠量化我們的優(yōu)勢(shì)和劣勢(shì),這讓我們?cè)陂_(kāi)發(fā)過(guò)程中感受到了進(jìn)步。我們也很重視與游戲創(chuàng)作者的溝通。作為一個(gè)平臺(tái)提供者,我們希望游戲創(chuàng)作者能夠最大限度地發(fā)揮他們的表達(dá)能力。當(dāng)創(chuàng)作者將我們的庫(kù)整合到他們的游戲中時(shí),他們可能會(huì)發(fā)現(xiàn)我們沒(méi)有預(yù)料到的錯(cuò)誤或問(wèn)題。因此,我們努力快速響應(yīng)工作室的反饋,并不斷改進(jìn)我們的庫(kù)。
?
與游戲創(chuàng)作者合作,帶來(lái)更多樂(lè)趣和驚喜
Q:最后,你對(duì)未來(lái)有什么打算?
渡邊:光線追蹤的先天優(yōu)勢(shì)在于它能讓我們準(zhǔn)確了解周?chē)氖澜?。在圖像之外,還有其他應(yīng)用,比如聲學(xué)模擬。我們可能會(huì)通過(guò)對(duì)聲波的回響或從背后環(huán)繞發(fā)現(xiàn)全新的聲音。我們期望它也可以應(yīng)用于NPC的尋路。光線追蹤仍然擁有無(wú)數(shù)種超出我們的想象的可能性。如果只從圖像的角度來(lái)看,你可能會(huì)認(rèn)為它已經(jīng)很成熟了,沒(méi)有任何可以進(jìn)步的空間。但是,我認(rèn)為還有很多問(wèn)題需要解決。特別是作為一個(gè)平臺(tái)開(kāi)發(fā)者,我認(rèn)識(shí)到在我們的硬件上做研發(fā)是多么重要。SIE的目標(biāo)是提供 "最好的游戲平臺(tái)",提供新的體驗(yàn)和多樣化的交流。通過(guò)這樣的方式,我們可以創(chuàng)造一個(gè)新的領(lǐng)域,讓用戶(hù)和開(kāi)發(fā)者可以相互聯(lián)系。而通過(guò)我們提供的平臺(tái),我們將創(chuàng)造一個(gè)讓創(chuàng)作者能夠釋放他們的創(chuàng)意和創(chuàng)新的環(huán)境,并將其傳遞給世界。為了給用戶(hù)提供更多的樂(lè)趣和驚喜,我們將繼續(xù)接受新的挑戰(zhàn),同時(shí)傾聽(tīng)創(chuàng)作者的反饋。