這一輪硬件創(chuàng)新由 AI 引爆，或許最大受益者仍是 AI，因為只有硬件才能為 AI 直接獲取最真實世界的數(shù)據(jù)。

在人工智能與硬件融合的新時代，實時互動技術(shù)正迎來前所未有的創(chuàng)新浪潮。從嵌入式系統(tǒng)到混合現(xiàn)實，從空間視頻到腦機接口，這些前沿領(lǐng)域正以驚人的速度推進，為未來的人機交互描繪出令人振奮的藍圖。在本屆 RTE2024 大會上，來自產(chǎn)業(yè)界和學術(shù)界的多位專家深入探討了這些技術(shù)的最新進展及其潛在應用。

閃極科技 CTO 周萬程、聲網(wǎng)視頻工程師許振明、螢火空間創(chuàng)始人邵鵬、姬械機科技聯(lián)合創(chuàng)始人盧樹強以及 Rokid 前端工程師劉亞中等分享了他們在各自領(lǐng)域的研究成果和獨到見解。

果殼創(chuàng)始人、未來光錐基金創(chuàng)始合伙人姬十三主持了主題分享和圓桌討論環(huán)節(jié)。

周萬程：有限硬件資源下嵌入式系統(tǒng)的 AI 實時音頻算法

閃極科技 CTO 周萬程 在分享中深入探討了在嵌入式系統(tǒng)中實現(xiàn) AI 實時音頻算法的挑戰(zhàn)與解決方案。他結(jié)合自己在電路與系統(tǒng)領(lǐng)域的背景，生動闡述了 「沒有嵌入式，AI 則無翅」 這一觀點。

隨著 AI 技術(shù)的爆發(fā)式發(fā)展，如何將先進的 AI 功能部署到輕量級的邊緣計算平臺上，成為提升用戶體驗的關(guān)鍵技術(shù)。然而，嵌入式系統(tǒng)面臨著處理能力、內(nèi)存和功耗等硬件資源的嚴格限制。

針對這些限制，周萬程提出了三個優(yōu)化方向：

1、降低算法復雜度： 通過量化、減枝和低秩近似等技術(shù)，顯著降低計算量。

2、數(shù)據(jù)優(yōu)化： 利用多級緩存、數(shù)據(jù)預取和動態(tài)緩存等策略，提高數(shù)據(jù)訪問效率。

3、硬件支持： 充分利用 DSP、ASIC 和 FPGA 等硬件加速單元。

展望未來，周萬程認為 NPU 和 FPGA 的可重構(gòu)特性將為嵌入式 AI 帶來巨大機遇。他強調(diào)，嵌入式系統(tǒng)中的機器學習將成為推動 AI 發(fā)展的重要力量，因為它們能直接接觸到真實世界的數(shù)據(jù)。

許振明：空間視頻在 RTC 直播中的應用探索

許振明 分享了聲網(wǎng)團隊在空間視頻技術(shù)方面的最新探索，重點介紹了如何將空間視頻應用于實時互動直播中。

要在 RTC 中實現(xiàn)空間視頻，必須解決三個關(guān)鍵問題：3D 內(nèi)容的生產(chǎn)、傳輸和渲染顯示。

在內(nèi)容生產(chǎn)方面，iPhone 15 Pro 的雙攝像頭設(shè)計使得消費級設(shè)備能夠采集空間視頻成為可能。此外，AI 生成的視頻，如 SORA，也可以通過時間偏移技術(shù)模擬雙目效果。

在傳輸方面，采用 Multi-view 編碼技術(shù)可以節(jié)省超過30%的碼率。與此同時，還需要考慮網(wǎng)絡抖動、FEC 保護等 RTC 特有的問題。

渲染顯示 是最具挑戰(zhàn)的環(huán)節(jié)。為了實現(xiàn)流暢的空間視頻體驗，每只眼睛至少需要 1080p 30fps，理想情況下是 4K 60fps。這對渲染性能和系統(tǒng)調(diào)度精度提出了很高要求。聲網(wǎng)通過多種優(yōu)化手段來保證渲染質(zhì)量。

許振明表示，聲網(wǎng)提供了靈活的 API，開發(fā)者可以根據(jù)需求選擇使用聲網(wǎng)的采集、編解碼、傳輸?shù)饶芰?。除了空間視頻，聲網(wǎng)還提供 空間音頻、AI 降噪、Persona 等多項技術(shù)，支持更沉浸式的 RTC 體驗。

邵鵬：混合現(xiàn)實 MR 和空間計算的未來與挑戰(zhàn)

蘇州螢火空間創(chuàng)始人兼 CTO 邵鵬 首先介紹了混合現(xiàn)實（MR）的概念，稱其為增強現(xiàn)實（AR）的升級分支。MR 設(shè)備可以讓用戶同時看到真實世界和虛擬內(nèi)容，并實現(xiàn)虛擬與現(xiàn)實的無縫融合和交互。他進一步詳細解釋了空間計算的不同層次，從 0 自由度（DOF）到 6DOF 再到 SLAM，每一層級都要求更復雜的硬件和算法支持。

在技術(shù)細節(jié)方面，邵鵬強調(diào)了實現(xiàn)高質(zhì)量 MR 體驗所面臨的挑戰(zhàn)，包括 穩(wěn)定的空間算法、明亮的實景顯示、清晰的 RGB 顯示以及較大的視場角（FOV）。他預測，真正的消費級 MR 眼鏡可能要到 2030 至 2035 年才能問世，這將需要在重量、續(xù)航、建模能力等多個方面達到高水平。

面對這些挑戰(zhàn)，邵鵬提出了將計算任務上云的解決方案，認為這一策略可以使本地設(shè)備更加輕便，并大大延長續(xù)航時間。然而，他也指出，這種趨勢可能對國內(nèi)硬件廠商構(gòu)成威脅，并呼吁加強對 SLAM 和空間計算的研究，以在未來的技術(shù)浪潮中保持競爭力。

最后，邵鵬展示了螢火空間的產(chǎn)品，介紹了其能夠?qū)崟r快速建立空間模型，并支持遠程專家進行空間標注和指導的功能。他認為這種技術(shù)在遠程協(xié)作和培訓等領(lǐng)域具有廣闊的應用前景。

盧樹強：腦機接口與俱身智能計算體系的前沿探索

姬械機科技聯(lián)合創(chuàng)始人盧樹強開門見山地解釋道，「腦機接口本質(zhì)上屬于智能硬件，它是對大腦信號的采集與計算，并通過與外界設(shè)備或環(huán)境的交互來實現(xiàn)功能?！顾M一步將腦機接口技術(shù)分為兩類：侵入式（需要開顱）和非侵入式（皮膚外接觸）。雖然這項技術(shù)在日常生活中尚不普及，但其巨大的潛力令人期待。

俱身智能 的主要體系可以分為兩大類：一類是通過視覺傳感器進行環(huán)境理解和任務執(zhí)行；另一類是通過智能穿戴設(shè)備（包括腦機接口）來捕捉人體信息，用于訓練人形機器人。

在介紹計算體系時，盧樹強詳細闡述了從數(shù)據(jù)采集、處理到重建、生成的完整流程?！概c VR、XR 技術(shù)不同，我們面對的是 多元高維度的數(shù)據(jù)，」他強調(diào)道，「這就要求我們具備高精度、高采樣率的傳感器，以及復雜的降噪和特征識別算法。」

劉亞中：多維沉浸，探索 XR 中的 Web 內(nèi)容新體驗

Rokid 前端工程師劉亞中介紹了 JSAR——一個創(chuàng)新的 Web XR 運行時與瀏覽器，旨在解決當前 Web XR 內(nèi)容在 XR 空間中面臨的兩大挑戰(zhàn)：

應用形態(tài)的限制： 目前，Web XR 內(nèi)容在 XR 設(shè)備上只能選擇呈現(xiàn)為平面網(wǎng)頁或獨占的 3D 場景，無法同時存在，這大大限制了 Web XR 的使用場景和體驗。

3D 場景中的 UI 開發(fā)復雜性： 與傳統(tǒng)的 2D 網(wǎng)頁相比，在 Web XR 中開發(fā)簡單的 UI 組件需要大量代碼，這對開發(fā)者非常不友好。

**為了解決這兩個問題，劉亞中和團隊開發(fā)了 JSAR。**JSAR 使得 Web XR 應用能夠與其他 2D 和 3D 應用并存，并簡化了 3D 場景中的 UI 開發(fā)。通過深度緩沖等技術(shù)，JSAR 實現(xiàn)了 Web XR 內(nèi)容與 Unity 等游戲引擎渲染的無縫集成。

JSAR 的架構(gòu)設(shè)計： 每個 Web XR 應用都是一個獨立進程，通過客戶端與 Unity 進程通信。這不僅實現(xiàn)了多個應用的共存，還引入了空間音頻等優(yōu)勢。

未來展望：JSAR 將擴展更多功能，包括支持運行 HTML、傳統(tǒng) 2D 網(wǎng)頁等，成為真正的下一代 XR 瀏覽器。

圓桌討論：下一代計算平臺的模樣

在主題是「下一代計算平臺的模樣」的圓桌討論中，來自「未來光錐前沿基金」的姬十三擔任主持人，參與討論的嘉賓包括周萬程、許振明、邵鵬、盧樹強和劉亞中。

談及 Apple Vision Pro 的未來， 嘉賓們普遍認為盡管存在一些局限性，但這款產(chǎn)品為整個行業(yè)樹立了新的標桿。盧樹強觀察到 Vision Pro 在游戲開發(fā)和個人使用方面的需求正在增長。許振明補充道，即便 Vision Pro 停產(chǎn)，它對行業(yè)的影響也已經(jīng)深遠。

在 AI 與硬件結(jié)合的話題上， 周萬程強調(diào)了 反思型 AI 的重要性，認為未來 AI 應該能夠根據(jù)用戶的反饋不斷改進。邵鵬從混合現(xiàn)實的角度出發(fā)，指出大語言模型、圖像識別和 3D 模型理解將極大提升 MR 設(shè)備 的交互能力和應用場景。盧樹強則預測，AI 在未來兩三年內(nèi)將主要提供基礎(chǔ)信息服務，而在更遠的未來，可能會實現(xiàn) 任務和操作 層面的服務。劉亞中則提出，大語言模型使得用戶 不再依賴傳統(tǒng)的網(wǎng)址輸入 ，而是通過 AI 自動為其選擇和提供相應服務，極大提升了使用體驗。

關(guān)于下一代計算平臺 ， 專家們提出了多元化的觀點。盧樹強認為 人形機器人 可能成為重要的計算平臺，預計在十年內(nèi)可能出現(xiàn)雛形。許振明則看好 汽車作為潛在的計算中心 ，特別是在自動駕駛領(lǐng)域。邵鵬堅持認為 云計算 仍將是主要的計算平臺，但 AR/MR/VR 設(shè)備可能成為重要的人機交互界面。周萬程提出 未來的計算可能是分布式的， 利用閑置的設(shè)備資源進行邊緣計算。劉亞中則認為，AI 可能會引發(fā)硬件革命，用戶們將能夠 自行開發(fā)新的硬件 來滿足他們的需求。

「無所不在的計算：空間計算和新硬件」技術(shù)專場由 RTE 開發(fā)者社區(qū)和未來光錐前沿基金聯(lián)合出品。

RTE 開發(fā)者社區(qū)是聚焦實時互動領(lǐng)域的開發(fā)者社區(qū)。希望通過社區(qū)鏈接領(lǐng)域內(nèi)的開發(fā)者和生態(tài)力量，萌芽更多新技術(shù)、新場景，探索實時互動領(lǐng)域的更多可能。這里你將遇見一群致力于改變?nèi)撕腿?、人和世?#xff0c;以及人和 AI 連接方式的開發(fā)者。

「未來光錐」是由果殼發(fā)起的科創(chuàng)品牌，致力于推動科研端與產(chǎn)業(yè)端相互融合，促進科技成果的高效轉(zhuǎn)化。