您當前位置: 南順網絡>> 官方資訊>> 行業動態

解決這4個難題,IoT低功耗設備也能有高清視頻通話

解決這4個難題,IoT低功耗設備也能有高清視頻通話

如果有人跟你聊“實時音視頻通話功能”,你會想起什么?視頻聊天、在線課堂,還是朋友之間的游戲開黑?其實,還有一個復雜且巨大的領域,有著旺盛的“互動”需求,那就是 IoT 領域。

不少大廠商都紛紛布局推出了相應產品,例如在去年由“能打電話的智能手表”變為“能視頻的電話手表”的小天才手表;在今年2019 CES 上,多家廠商都推出了支持實時視頻的智能門禁。

總體來講,希望集成實時音視頻功能的低功耗智能設備有以下幾類:

?智能手表:“能打電話”已成很多兒童智能手表的標配,而“能視頻通話”的智能手表已經紛紛出現在海內外市場上。

?智能眼鏡:基于實時音視頻與后處理技術(如 AR、計算機視覺算法)可以實現多種場景

?智能攝像頭:安防監控、視頻交互一直是智能攝像頭的重要功能

?機器人:家庭機器人及少數公共場所的機器人,需要實時音視頻功能

?智能門禁:通過實時音視頻實現遠程安防、通話

低功耗設備上視頻通話的難點

事實上,利用WebRTC方案是可以在手機上實現實時音視頻通話的,但如果將這套方案照搬到低功耗設備,則無法做到。這是由于低功耗智能設備在硬件、軟件方面都與手機不同,所以對實時音視頻通信的要求也有所不同,這導致了手機的方案無法直接拿來套用。

以智能手表為例,如果要實現實時音視頻,需要滿足以下要求:

1. 功耗要低

很多低功耗智能設備的電池容量,以及可支持的功率有限。另一方面,很多智能設備采用的 CPU 性能有限,在進行音視頻通話的同時,還要支持系統、常駐功能的運轉。一般的解決方案,無法做到稍長時間的視頻通話,最大的障礙就在于能耗。隨著通話時長的積累,高負荷運轉的設備會發熱。所以低功耗十分必要。

2. 實時音視頻不可占用過多內存

智能設備的內存有的高,有的低,要看是什么類型的設備。但智能手表這類產品的內存一般都不高。在這樣的背景下,如果要在設備上進行實時音視頻通話時,不能占用太多內存資源,否則會影響設備的正常使用。

3. 跨平臺、跨設備的通話支持

智能設備并不像手機這樣普及,所以當你在通過智能手表、智能眼鏡與他人通話時,對方所使用的可能是手機或 Web 瀏覽器。所以還需要支持智能設備與其它平臺的通話。

4. 提供高音質高畫質體驗

音視頻通話的質量始終是關鍵,畫面的卡頓、模糊,聲音出現回聲、噪聲都是用戶無法接受的。但是,一套音視頻方案在別人的智能手表上跑通了的時候,并不意味著完全能用于你的設備。

還是以 WebRTC 為例,它本身具備回聲消除模塊,但一個回聲消除算法的設計實現與設備、系統狀態緊密相關。 聲音經過揚聲器傳導到麥克風,經過了多少路徑就被處理多少次。不同的設備材質,甚至設備發熱,都會導致聲傳導特性不一樣,都會導致回聲消除算法不一樣。這是設備的差異帶來的影響。

另一方面,回聲消除里有兩大模塊,自適應濾波和非線性處理。自適應濾波前置第一個模塊就是延時搜索。延時估計要在一定范圍內估計,就是要有一個預先設計的delay值,如果在一個很大的范圍內搜索,會極大消耗CPU資源。而Android系統的線程調度設計存在特殊性,一旦資源搶占,會在Android底層buffer產生延時,可能會導致之前預設的delay值不準。而低功耗智能設備的系統存在很多細微差異,就更需要有針對性地優化算法了。

所以,在低功耗智能設備上實現視頻通話,并不是用一套通用的 demo,通過短短幾步的配置、接口調用就能實現的。想要好的通話體驗,都需要圍繞你的設備進行調優。這也是難點之一。

聲網Agora低功耗智能設備場景方案

而針對以上大部分問題,尤其是針對低功耗設備的硬件、軟件系統的特點,聲網對 Agora SDK 進行了多方面的優化,包括編碼算法、降噪算法,幀率和分辨率的優化算法,推出了低功耗版本 Agora SDK ,支持低功耗智能設備與其它設備與平臺進行視頻通話。

5c874d7d80abd.png

聲網低功耗智能設備場景方案的特點:

1. 跨平臺實時語音通話

聲網Agora創建了基于UDP協議的軟件定義實時網絡SD-RTN?,并在全球部署的近200個數據中心。通過 Agora SD-RTN?虛擬通信網絡,集成聲網方案的低功耗設備,可以與 Web 瀏覽器、手機端進行實時的音視頻通話。

2. 低功耗、低內存占用

占用的內存小,正常通話發熱量小,可以保證用戶之間的較長時間的正常通話,經測試在小天才智能手表上可進行15分鐘的長時間視頻通話。 

3. 支持主流軟硬件平臺

該方案適用于基于 ARM 架構、Android 系統平臺的低功耗智能設備,只需要在集成后調優setVideoProfile、setAudioProfile參數即可正常通話。

目前,聲網智能設備低功耗 SDK 已經應用于多類智能硬件產品上,包括智能手表、智能眼鏡、智能音箱、智能攝像頭、機器人、智能門禁等 IoT 設備,被集成于小天才、亮亮視野、小米等多個品牌的產品中。


編輯:--史志成

龙王捕鱼上分期下分期