1. 首頁 > 科技 > >

|這個AI“演講”時居然會做動作打手勢了，虛擬化真人又近了一步

|這個AI“演講”時居然會做動作打手勢了，虛擬化真人又近了一步

想象一下 ， 有一個你 ， 在演講臺上或者屏幕里侃侃而談 ， 時不時還會配合演講內容做一些肢體動作 ， 以便讓整個演講更為形象生動 。 這里機智客之所以說有一個你 ， 只是因為它既是你又不是你 ， 因為它是你的數字化身 。 這個數字化身如此自然 ， 以至于根據演講內容的細微手勢 ， 都讓外人感覺這就是一個真人 。 沒錯 ， 這就是最新的AI ， 來自中科大和京東的研究人員之手 。
這個人工智能新應用就是這樣一種新穎的“speech2gesture”模型 ， 被稱之為FreeMo 。 而這個模型 ， 采用的是“雙流”架構 ， 一個分支用于主要的姿勢生成 ， 另一個分支用于“打節奏” ， 也就是將語音動作分解為姿態模式和節奏動力 。

這樣一個整合 ， 讓AI的表現變得更為自然 ， 根據音頻表現出來的手勢姿勢也更為豐富 。 沒錯 ， 它并不是語音動作死板固定的映射關系 ， 而是一種帶有隨意性無常規定式的解決方案 。 而且由于它是根據語音內容——也就是根據語音關鍵詞——而做動作 ， 所以AI這樣的語音動作表現出來 ， 不僅顯得更為多樣化 ， 而且顯得非常有同步性 。 至少在互動的對方（或者作為觀眾的我們）看來 ， AI“演講”的手勢表現 ， 并不會顯得雜亂無章 。
【|這個AI“演講”時居然會做動作打手勢了，虛擬化真人又近了一步】為了訓練這個模型 ， 研究人員不僅用了專門的Speech2Gesture數據集 ， 而且還搜集了一些公開的演講視頻和在線視頻內容作為補充 。 而在這個開源的頁面中 ， 機智客看到這個項目是用Python和Shell實現的 ， 也就是說 ， 要在Ubuntu系統里運行推理 。 這個晚一些時間自己實際測試一下 。 到時候發個測試結果 。
現在的人工智能技術 ， 或者更具體一點是深度學習神經網絡技術 ， 雖然分門別類 ， 不過跨模態越來越成為趨勢 ， 尤其是現在計算機視覺、現實模擬方面的發展如火如荼 ， 很有向元宇宙進軍的味道 。 也許 ， 機智客此刻想到 ， 以后的我們 ， 一個個實體都會虛擬化數字化 ， 用我們的一個個數字形象分支來應對每個平行化的爆炸般發展著的碎片化數字時代吧 。

    相關經驗推薦