最近舉行的2024進博會，是了解索尼中國最新創(chuàng)新技術(shù)與本土實踐的一個窗口。第三次亮相進博會的索尼，此次重點展示了以科技激發(fā)創(chuàng)意的探索與成果。

進博會前，東西文娛/共同虛擬已參加過一次小范圍交流。索尼聲明了在華的業(yè)務(wù)，大的趨勢是穩(wěn)步中增長。（相關(guān)鏈接：巨頭索尼“洞察”中國：看好互動沉浸娛樂產(chǎn)業(yè)發(fā)展，虛擬制作、沉浸娛樂、LBE大空間、主機游戲是關(guān)鍵詞）

而在此次進博會期間，東西文娛/共同虛擬圍繞與沉浸娛樂和虛擬制作相關(guān)的兩項創(chuàng)新技術(shù)，與索尼在華最高技術(shù)負責(zé)人和項目首席創(chuàng)意制作人，就技術(shù)原理、發(fā)展路線、未來應(yīng)用等，有了進一步交流。

此次索尼重點推出兩項技術(shù)：地板觸覺反饋技術(shù)、虛擬形象捕捉解決方案。其中，地板觸覺反饋技術(shù)是第一次引入中國。

根據(jù)索尼的規(guī)劃，目前這兩項技術(shù)已優(yōu)先與索尼旗下娛樂相關(guān)版塊合作。也就是說，即將在索尼影視、游戲等項目中看到技術(shù)的實際應(yīng)用。

與此同時，索尼中國希望推進技術(shù)在中國的本土化應(yīng)用，加強與中國本土娛樂、文博等領(lǐng)域機構(gòu)與創(chuàng)作者的合作。

索尼中國品牌推廣辦公室總經(jīng)理、公司項目首席創(chuàng)意制作人西岡靖就表示，索尼到底要朝哪個方向去，實際上很簡單，就是貼近人。

具體來說，就是和創(chuàng)造感動的人士一起，通過索尼的創(chuàng)新技術(shù)來創(chuàng)造出優(yōu)質(zhì)的產(chǎn)品和內(nèi)容，然后提供感動。而為了讓創(chuàng)作者對新的創(chuàng)作技術(shù)心馳神往，激發(fā)他們的熱情，并更好利用技術(shù)創(chuàng)造感動，索尼將從三個方面入手：

“第一，是索尼自己的獨一無二的技術(shù)；第二，本土化的自產(chǎn)自銷的做法，第三，通過創(chuàng)造感動的體驗來實現(xiàn)這一點�！�

沉浸娛樂體驗：地板觸覺反饋技術(shù)

1、技術(shù)原理

“觸覺技術(shù)的范圍是比較廣的，比方說有力量、壓力，或者是溫度、疼痛的感覺等等，這些都是廣義上的觸覺的技術(shù)。

振動觸覺的技術(shù)，可以類比音箱。它的工作原理是這樣的，把聲音通過膜的振動來加以獲得。人類耳朵能夠獲得的聲音的范圍是20赫茲到2萬赫茲。如果聲音低于一定的赫茲，則可以通過人體的皮膚來獲得。人體皮膚類似于一個受體，它能夠起到傳感器的作用，把這種低赫茲的聲音捕捉過來。

為此，我們針對300赫茲以下的低頻的聲音做了特殊的處理，并以地板方式來呈現(xiàn)。也就是通過地板對聲音的振動，來使自己的腳心體驗到這種聲音。”

2、技術(shù)應(yīng)用方向和場景

“我們這種技術(shù)，對于音樂的波形是可以定制的，按照自己喜愛的方式來加以體現(xiàn)。比如感覺走在水上、干燥的落葉、冰上。另外，它還有一個特點，可以模塊化組裝，因此非常容易運輸、搬動，可以在任何地方根據(jù)需要來進行組合。

將它跟其他各個感官結(jié)合起來，像人本來所擁有的觸覺，或者是嗅覺、聽覺等等結(jié)合，能打造更為充滿沉浸感的空間。

現(xiàn)在，包括博物館、美術(shù)館，很多地方在做數(shù)字藝術(shù)的展示，可以很好地利用這項技術(shù)。原來是靜止展示的，比方說恐龍館，通過這個技術(shù)，就能夠感覺恐龍是會動的。

還有一個，通過這種技術(shù)，能夠把人帶到自己不能夠去或者永遠不能夠?qū)崿F(xiàn)去看一看這種心愿的地方。比如在冰上行走，其實很多人都沒有這種經(jīng)歷。如果說到更加極端的例子的話，很少有人去月球、去太空，但是通過我們的技術(shù)，能夠讓你身臨其境感覺到去月球、太空的可能。”

3、打造觸覺波形數(shù)據(jù)庫

“我們現(xiàn)在知道，如果是200赫茲的刺激的話，皮膚會感到是讓人給點了一下，或者是觸摸了一下。而如果是5赫茲這種波形的話，它讓人感覺非常柔軟。我們對于各種皮膚能夠感受到的觸覺的波形，正在打造一個類似于數(shù)據(jù)庫的東西。

隨著我們這個數(shù)據(jù)庫越建越強的話，最終就不需要再進行客制化的定制。只要調(diào)用現(xiàn)有的波形，就可以實現(xiàn)你要達到的觸覺的體驗。

目前的觸覺數(shù)據(jù)庫里已經(jīng)積累了很多觸覺波形，基本上都已經(jīng)覆蓋了。另外，索尼對技術(shù)非常開放，我們希望利用這個技術(shù)，由更多的創(chuàng)作者跟我們一起去打造更多體驗。因此索尼一方面自己會努力，另一方面是聯(lián)合更多的創(chuàng)作者一起來做這個事情。”

虛擬制作：虛擬形象捕捉解決方案

1、技術(shù)原理

“具體來說，它是一個融合了數(shù)字3D技術(shù)和對人物進行實地捕捉之后，進行融合形成全新內(nèi)容的技術(shù)。

有一個能夠全方位捕捉360度影像的多鏡頭系統(tǒng)，然后把人物或者是場景用這個多鏡頭系統(tǒng)完全捕捉過來。在此之后，會有個重建的過程。因為是360度的多鏡頭系統(tǒng)，所以每個側(cè)面都會被精確地掌握。”

2、技術(shù)應(yīng)用場景

“鏡頭捕捉獲得的數(shù)據(jù)可以有多樣的應(yīng)用范圍，比如在虛擬空間作為數(shù)字資產(chǎn)或者是用于VR、游戲等。另外，整套系統(tǒng)還可以用于包括體育、賽事、娛樂等等的場景之中，因為它可以提供自由視角的拍攝的場景。

進博會上特別設(shè)計了展示內(nèi)容。參觀者可體驗通過360度影棚拍攝并創(chuàng)建自己的3D虛擬形象，并使用自己的虛擬形象，游玩互動游戲，這其中就需要通過索尼AI驅(qū)動的3D建模算法。

我們還設(shè)計了兩個游戲，可以用自己的3D形象來進行參與。第一個是虛擬形象互動游戲——環(huán)保英雄：城市復(fù)蘇，用戶可以與來自于城市所誕生的眾多垃圾形成的靈或者怪物進行互動，最終挽救這個城市。

還有一個是虛擬形象舞——自然的節(jié)奏：生態(tài)健身之旅。我們用獲得的數(shù)字資產(chǎn)所形成的虛擬人，他能夠跟場景進行非常自然的融合，而且在這呈現(xiàn)自己的太極拳的功夫。”

3、未來技術(shù)迭代方向：借助AI力量、降低成本

“索尼虛擬形象捕捉解決方案，目前是要36臺攝像機一起聯(lián)動工作才能夠?qū)崿F(xiàn)的。因此我們在加大研發(fā)力度，是不是能夠用更少的相機就做到這一點？這方面可能還要借助AI的力量。我們的愿景是能夠?qū)崟r、高清晰地獲得相應(yīng)的畫面，而且以成本更低、更加方便的方式實現(xiàn)�！�

“在AI的導(dǎo)入方面，索尼已經(jīng)在硬件方面做出了成績，具體來說是索尼的傳感器的模組之中已經(jīng)搭載了AI的功能，所以作為消費者，可以實際體驗到索尼的AI能力的。另外，我們在研究所里已經(jīng)嘗試應(yīng)用AIGC，也就是AI的大模型的自動生成三維的數(shù)據(jù)�！�