近期 ， Meta AI部門宣布將為AR/VR開發全新的空間音頻工具：Acoustic Sythesis ， 以增強虛擬內容的視聽體驗 。 據悉 ， 該空間音頻工具可對不同的視覺環境做出相應的聲音反饋 ， 從而提升環境/場景模擬的保真性和沉浸感 。
Meta表示：我們一直在研究人們與周圍聲音的互動感知 ， 發現人們通常會根據聲音的位置去預判聽到的音效 。 比如 ， 如果你站在洞穴里 ， 可能會期待聽到回聲 ， 而遠處的聲源可能會聽的不清楚 。 也就是說 ， 環境特征會影響聲音 ， 包括空間的結構、空間中物品的材質、麥克風和聲源之間的距離 。
【ssd|為優化AR/VR體驗，Meta將開發基于AI的空間音頻工具】目前 ， AI模型已經可以理解視頻中的圖像場景 ， 因此Meta AI希望在此基礎上 ， 開發一個多模態的AI環境理解模型 ， 也就是說AI將不止能夠視覺分析場景 ， 還能理解不同場景中的聲音 。 簡單來講 ， 就是通過視覺提示來匹配目標場景坐標的聲音 ， 還可以融合虛擬和現實場景音 ， 去除混響和噪音 ， 強化虛擬音效 ， 從而提升AR/VR觀影、社交體驗的沉浸感 。
同時 ， 為了推動沉浸式空間音頻內容生態 ， Meta將向開發者開放三個支持視聽理解的AI模型 ， 這些模型專注于分析視頻中的人類語言和聲音 ， 可讓視頻體驗更加身臨其境 。 未來 ， Meta計劃將這種技術與音頻翻譯技術結合 ， 以推動全新的應用場景 。
相關經驗推薦
- |華為被打壓后，為什么國產手機撐不起高端？
- 小米科技|緊跟IE腳步，微軟為Windows 8.1宣告“死亡日記”
- 高通驍龍|同為“機皇級”芯片：驍龍870和天璣8100到底應該怎么選？
- |為什么小家電的電源線都這么短？看完才明白，原來都是套路！
- 華為鴻蒙系統|說實在的，鴻蒙這個方向真的錯了
- 網游|曾拒絕在美國建廠的王傳福，為何又和蘋果合作了？
- 汽車|音響失真率和信噪比很重要，你為什么一定要關注？
- 華為|空調市場遇“困境”！多地面對40℃高溫天，為何越來越多人不用空調？
- 華為|手機界的“奢侈品”，牛皮機身+5G網絡，直降3000
- 路易·威登|據說華為好像也要搞雙芯了呀，而現階段某東好評率最高的兩款綠廠