融云2021 X-Meetup續(xù)航上海以場景應(yīng)用解析音視頻技術(shù)新方向 _音視頻

2021年5月15日，融云X-Meetup技術(shù)沙龍第三站繼續(xù)上海。本場沙龍聚焦音視頻技術(shù)新方向，由融云音視頻研發(fā)高級工程師姜春雨、時光機器人創(chuàng)始人兼CEO徐晶、融云IM研發(fā)中心高級工程師劉佳、學而思網(wǎng)校架構(gòu)師李亞龍，和資深音視頻技術(shù)專家栗偉，五位技術(shù)大咖出任演講嘉賓，他們以時下熱門應(yīng)用場景為視角，從技術(shù)實踐出發(fā) ，與開發(fā)者們交流分享了關(guān)于音視頻技術(shù)的新觀察。

iOS上的音頻開發(fā)

今年，由于Clubhouse和Tiya的示范效應(yīng) ，語聊房產(chǎn)品大火，音頻的開發(fā)技術(shù)備受開發(fā)者的關(guān)注。來自融云的音頻視頻開發(fā)高級技術(shù)人員姜春雨，多年專注于移動終端和音頻視頻領(lǐng)域的技術(shù)開發(fā) ，共享了iOS音頻設(shè)備開發(fā)-Core關(guān)于Audio的主題內(nèi)容。

融云音頻開發(fā)高級技術(shù)人員姜春雨演講

姜春雨認為:單從iOS設(shè)備來說，要突破這些難點， iOS提供的AudioUnit是必不可少的，是一種強大靈活的音響處理技術(shù) ，支持混合、均衡、格式轉(zhuǎn)換和實時輸入/輸出，用于錄制、播放、離線渲染和實時對話。

融云SDK基于AudioUnit ，構(gòu)建了長音效、短音效等多個功能模塊，最終在音響設(shè)備上完成混音輸出。在場景化實踐中，姜春雨以音樂聊天室和百人超大會議室兩個典型場景為例，分享了融云SDK的技術(shù)開發(fā)優(yōu)化方案。例如，音樂聊天室重視高音質(zhì)、美音變聲，最好是舒適的噪音，開發(fā)人員必須根據(jù)這些需求進行算法調(diào)整，但是大型會議室的優(yōu)化要求服務(wù)方面的智能發(fā)射，多人的聲音同時可以智能地選擇會議發(fā)言人的聲音。

【融云2021 X-Meetup續(xù)航上海以場景應(yīng)用解析音視頻技術(shù)新方向】姜春雨總結(jié):Audio.Unit是一個強大的音頻處理框架，音頻處理應(yīng)基于Audio.Unit框架構(gòu)建內(nèi)容，并不斷磨練和優(yōu)化音頻處理內(nèi)容。未來，融云音視頻SDK將不斷基于不同場景開發(fā)新功能，不斷優(yōu)化音頻產(chǎn)品，為開發(fā)者提供更好的解決方案。

構(gòu)建低延遲高可靠的命令系統(tǒng)

融云作為互聯(lián)網(wǎng)通信云課程的領(lǐng)先制造商， 2020年在業(yè)界率先提出了IMRTCUSH的整體通信解決方案。融云RTC喚起用戶的通道就是依賴于IM的SDK信令，因此，本次融云的IM研發(fā)中心高級工程師劉佳，分享了《構(gòu)建低延遲高可靠信令系統(tǒng)的探索與實踐》，幫助開發(fā)者更好地了解融云IM如何協(xié)同RTC ，提供高可靠的通信能力。

融云IM研發(fā)中心高級工程師劉佳

劉佳介紹，高可靠音視頻信令系統(tǒng)的構(gòu)建在IM信令系統(tǒng)設(shè)計時，首先要進行服務(wù)分層，包括接入層、內(nèi)部服務(wù)和數(shù)據(jù)存儲的分層。而拆分原則要根據(jù)業(yè)務(wù)差異和服務(wù)對象的不同，拆分為API和 CMP ，整體做到可監(jiān)控、可維護。其次，建立完整的監(jiān)視系統(tǒng) ，通過可視化圖表，監(jiān)視網(wǎng)絡(luò)性能狀況，及時處理系統(tǒng)瓶頸。

關(guān)于實現(xiàn)低延遲信令系統(tǒng) ，劉佳共享道，融云不僅利用世界性的加速網(wǎng)絡(luò) ，降低網(wǎng)絡(luò)延遲，還基于融云自有的通信協(xié)議降低數(shù)據(jù)傳輸量，利用緩存機制，提高服務(wù)業(yè)務(wù)處理速度。另外，劉佳以緩存設(shè)計為例，通過一致性hash提高緩存命中率，高效利用CPU的處理能力，實施異步存儲等，也是實現(xiàn)低延遲系統(tǒng)設(shè)計的目的。

基于這些設(shè)計要點，劉佳展示了大量并發(fā)用戶場景下的語言聊天系統(tǒng)結(jié)構(gòu) ，為開發(fā)人員提供了干貨解決方案。同時，他總結(jié)了融云現(xiàn)有音頻視頻整體服務(wù)結(jié)構(gòu)的三大優(yōu)勢:第一，命令服務(wù)和媒體服務(wù)解除蓮藕，兩項服務(wù)之間也不需要狀態(tài)同步，第二，媒體服務(wù)集中在通信上，命令服務(wù)集中能力第三，配置簡單，全球媒體服務(wù)

實時系統(tǒng)結(jié)構(gòu)設(shè)計滿足用戶實時需求

本沙龍中，音頻視頻實時場景也是重點話題。深耕網(wǎng)絡(luò)音視頻12年，在直播領(lǐng)域積累了豐富實戰(zhàn)經(jīng)驗的拾光機器人公司創(chuàng)始人兼顧CEO徐晶，通過他的網(wǎng)絡(luò)直播快速實戰(zhàn) ，分享了基于直播回答場景的結(jié)構(gòu)設(shè)計，特別是一些重要的技術(shù)點和對策，以及如何保證直播中的視頻和音頻質(zhì)量在

沙龍中，專注于在線教育的學校思考網(wǎng)絡(luò)學校的構(gòu)造者李亞龍，對于教育低延遲班的直播場景，給開發(fā)者帶來了在線教育直播系統(tǒng)構(gòu)造升級的共享。他著重從網(wǎng)校視頻技術(shù)的發(fā)展、網(wǎng)校大班直播系統(tǒng)、網(wǎng)校公益直播課、低延遲直播探索這四個方面的設(shè)計要點，進行了分析講解。對于專注于在線教育的開發(fā)人員來說，具有普遍的示范意義。除了

之外，資深音視頻技術(shù)專家栗偉還發(fā)表了《使用WebRTC構(gòu)建實時在線課堂》的演講。栗偉曾任中國科學院計算所、CC視頻，在任期間利用網(wǎng)絡(luò)RTC技術(shù)開發(fā)現(xiàn)場直播、在線教室、視頻會議等商業(yè)產(chǎn)品，用戶數(shù)達到500萬人。他還主寫了《網(wǎng)絡(luò)RTC技術(shù)詳細說明:從0到1構(gòu)建多個視頻會議系統(tǒng)》，在這個領(lǐng)域有多年的實踐經(jīng)驗，對網(wǎng)絡(luò)RTC有著非常深入的研究，他的實踐共享也給開發(fā)者們帶來了利益。

結(jié)語

在這次沙龍中， 5位講師的共同特征是他們根據(jù)現(xiàn)在受歡迎的場景展開話題。由此可見，應(yīng)用場景是討論音頻視頻技術(shù)新方向的基礎(chǔ) ，越受歡迎的場景越代表該領(lǐng)域的發(fā)展?jié)摿?nbsp;，越需要承載新技術(shù)、新產(chǎn)品。

隨著5G的進一步落地，網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)質(zhì)量的優(yōu)化，音頻通信在使用量水平和使用場景中都有更多的可能性。對于開發(fā)者而言，只有及早儲備，盡可能多地掌握新技術(shù) ，關(guān)注新方向，才能贏在當下，贏在未來。