近年來，隨著視頻處理和通信技術(shù)的飛速發(fā)展，音視頻實(shí)時(shí)通訊的應(yīng)用已經(jīng)深入到生活的方方面面。從游戲直播、銀行視頻開戶、線上教育、直播帶貨再到視頻會(huì)議等，各種應(yīng)用場(chǎng)景隨處可見。

　　在這些場(chǎng)景中，視頻畫面是否清晰、流暢、視頻延時(shí)是否足夠小，是影響用戶體驗(yàn)的關(guān)鍵因素。當(dāng)你在觀看游戲直播或者參加在線課程的時(shí)候，難免會(huì)遇到視頻卡頓、花屏、延時(shí)大、不清晰這些問題。那么你知道是什么原因?qū)е铝诉@些問題嗎?事實(shí)上，盡管相關(guān)廠商一直在致力于改進(jìn)用戶體驗(yàn)，但你仍然會(huì)時(shí)不時(shí)的碰到讓人頭痛的場(chǎng)景。今天的這篇文章將會(huì)帶你挖掘這些問題背后的原理，也讓你了解視頻服務(wù)提供商在面對(duì)這些“難搞”的問題時(shí)做了哪些努力。

　　為了便于理解，我們把一個(gè)視頻傳輸鏈路簡(jiǎn)化成圖1所示，前端的成像系統(tǒng)進(jìn)行現(xiàn)場(chǎng)畫面的圖像采集、編碼，然后以特定的網(wǎng)絡(luò)協(xié)議把碼流發(fā)送出去，視頻數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)服務(wù)器的路由和傳輸之后到達(dá)接收端，在接收端進(jìn)行解碼、渲染，還原采集端的現(xiàn)場(chǎng)畫面。

 

　　圖1 視頻采集傳輸鏈路

　　清晰度

　　影響視頻清晰度的主要因素是傳感器成像時(shí)的圖像分辨率和編碼時(shí)的碼率。對(duì)應(yīng)同樣大小的成像區(qū)域，采集圖像的分辨率越高意味著更多的細(xì)節(jié)被傳感器捕捉到。大多數(shù)情況下，我們可以簡(jiǎn)單的認(rèn)為4K視頻比1080P的視頻更清晰。而由于目前的視頻編碼全部都是有損編碼，碼率越高也就意味著編碼時(shí)損失掉的細(xì)節(jié)越少。當(dāng)然，隨著視頻編碼算法的持續(xù)改善，一些更先進(jìn)的編碼算法能夠在保持圖像質(zhì)量的同時(shí)盡可能的降低碼率，但這也意味著編碼復(fù)雜度的增加和由此帶來的硬件成本增長。

　　流暢度

　　編碼之后的視頻碼流要在網(wǎng)絡(luò)上傳輸，由于發(fā)送端和接收端之間的網(wǎng)絡(luò)環(huán)境存在大量不確定因素，網(wǎng)絡(luò)抖動(dòng)幾乎無法避免，“生產(chǎn)者”和“消費(fèi)者”之間無法達(dá)到絕對(duì)意義上的平衡就會(huì)出現(xiàn)堵塞或丟包。如果把網(wǎng)絡(luò)比作高速公路，把網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)流比作“汽車”，那么視頻碼流的碼率越高，就意味著同樣的“道路”上要跑更多的“汽車”，堵車的概率也就越大，幾乎必然會(huì)帶來視頻卡頓、丟幀等現(xiàn)象，從而導(dǎo)致視頻不流暢。

　　延時(shí)

　　從圖1的數(shù)據(jù)流向我們可以看到，在采集端、網(wǎng)絡(luò)傳輸中、接收端都會(huì)產(chǎn)生延時(shí)。

　　攝像頭采集圖像時(shí)，sensor成像需要曝光和掃描時(shí)間，通常每秒30幀的視頻至少會(huì)產(chǎn)生33ms的延時(shí)，也就是一幀圖的時(shí)間。sensor采集到的數(shù)據(jù)送給編碼器進(jìn)行編碼也會(huì)有延時(shí)，編碼本身是一個(gè)復(fù)雜的過程，并且通常圖像分辨率越高，編碼延時(shí)越長。盡管目前絕大多數(shù)場(chǎng)景下都會(huì)使用硬件編碼器，但編碼延時(shí)仍然是一個(gè)可觀的數(shù)字，通常達(dá)數(shù)十毫秒。

　　端到端的網(wǎng)絡(luò)傳輸需要遵循一定的網(wǎng)絡(luò)協(xié)議，因?yàn)榇嬖诖罅康穆酚赊D(zhuǎn)發(fā)、協(xié)議解析，延時(shí)自然也無法避免，當(dāng)然不同的網(wǎng)絡(luò)協(xié)議帶來的延時(shí)也是不同的。

　　接收端收到數(shù)據(jù)后首先會(huì)進(jìn)行解碼，這是編碼的逆過程，延時(shí)長短取決于解碼器的性能。普通性能的x86電腦解一幀高清圖像需要幾毫秒，而如果是在普通的手機(jī)上播放視頻，則需要10毫秒左右才能解碼一幀。接下來是渲染，也就是把視頻數(shù)據(jù)在顯示器中展示出來。一般情況下渲染的延時(shí)比較小，但如果考慮到系統(tǒng)硬件性能或音視頻同步的要求，延時(shí)也可能增加。

　　看到這里，細(xì)心的讀者可能會(huì)發(fā)現(xiàn)一些有意思的聯(lián)系，那就是清晰度、流暢度、延時(shí)這三個(gè)因素是相互關(guān)聯(lián)、相互約束的，想做到“既要又要還要”是很困難的。

 

　　圖2 三因素相互約束的示意圖

　　通常情況下，可以通過提升視頻分辨率和碼率來獲得更好的視頻清晰度，選擇合適的流媒體傳輸協(xié)議也能夠改善視頻的流暢性和延時(shí)，比如RTMP(Real-Tune Messaging Protocol)就比HLS(Http Live Streaming)的實(shí)時(shí)性更好。單獨(dú)優(yōu)化某個(gè)性能指標(biāo)并不困難，難點(diǎn)在于不同指標(biāo)之間的相互約束，比如：降低碼率可以減少卡頓，提升流暢度并降低傳輸延時(shí)，但這也意味著會(huì)損失圖像質(zhì)量，讓用戶失去觀看高清視頻的體驗(yàn)，甚至丟失有價(jià)值的細(xì)節(jié)信息。又比如：增加網(wǎng)絡(luò)傳輸?shù)木彌_區(qū)可以提升流暢度，但相應(yīng)的延時(shí)就會(huì)加大。另外，在不同應(yīng)用場(chǎng)景下這些指標(biāo)的重要性也有差異，需要結(jié)合實(shí)際需求來提高某個(gè)指標(biāo)的優(yōu)先級(jí)。

　　接下來我們考慮一個(gè)特定的視頻應(yīng)用場(chǎng)景------一體化融合指揮調(diào)度系統(tǒng)。在這樣一個(gè)用戶數(shù)和設(shè)備數(shù)眾多的系統(tǒng)中，由于終端設(shè)備五花八門，視頻采集端可能會(huì)有監(jiān)控?cái)z像機(jī)、4G/5G布控球、執(zhí)法記錄儀、智能眼鏡、智能頭盔、無人機(jī)等，顯示端可能會(huì)有調(diào)度臺(tái)、手持終端、平板等，這些設(shè)備的視頻編解碼性能參差不齊，同時(shí)不同帶寬、不同穩(wěn)定性的有線網(wǎng)絡(luò)、蜂窩網(wǎng)絡(luò)、Mesh及衛(wèi)星網(wǎng)絡(luò)融合在一起，這時(shí)候如果仍然采用單一碼率的視頻流和固定的分發(fā)策略，并想要保持視頻的流暢性、減少卡頓，將會(huì)是一件非常困難的事情。

 

　　圖3 一體化融合指揮調(diào)度系統(tǒng)架構(gòu)圖

　　上圖是一個(gè)典型的一體化融合指揮調(diào)度系統(tǒng)。在這個(gè)系統(tǒng)中，視頻預(yù)覽的動(dòng)作通常是用戶通過客戶端發(fā)起，當(dāng)用戶需要預(yù)覽設(shè)備的實(shí)時(shí)視頻時(shí)，會(huì)先向監(jiān)控平臺(tái)發(fā)起預(yù)覽視頻的命令，平臺(tái)再向設(shè)備發(fā)起指令，然后設(shè)備將編碼之后的高清視頻流發(fā)送給平臺(tái)，平臺(tái)再進(jìn)一步下發(fā)給客戶端。此時(shí)，當(dāng)有另一個(gè)客戶端需要預(yù)覽同一個(gè)設(shè)備的視頻時(shí)，同樣的，會(huì)首先向監(jiān)控平臺(tái)發(fā)起預(yù)覽視頻的命令，平臺(tái)發(fā)現(xiàn)之前已經(jīng)向該設(shè)備申請(qǐng)過視頻流了，便直接將已有的高清視頻流分發(fā)給新的客戶端，而不是重新創(chuàng)建新的視頻流。

　　這種做法雖然保證了平臺(tái)和設(shè)備之間只有一條高清視頻流，能夠減輕設(shè)備端的編碼壓力，但忽略了網(wǎng)絡(luò)狀況差異帶來的影響。在整條通信鏈路上我們從平臺(tái)的角度將網(wǎng)絡(luò)分為兩部分：一部分是設(shè)備端(采集端)與平臺(tái)之間的視頻上傳，另一部分是平臺(tái)與客戶端(顯示端)之間的視頻分發(fā)。任意一個(gè)部分的網(wǎng)絡(luò)狀況變差時(shí)，都會(huì)引起視頻卡頓和延時(shí)。

　　為了解決這一難題，睿極智能做了大量的前沿探索和開創(chuàng)性研究，提出了一種網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)。該系統(tǒng)的架構(gòu)如圖4所示，它的工作流程可以簡(jiǎn)要描述如下：

 

　　圖4 網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)

　　(1)客戶端需要預(yù)覽設(shè)備的視頻時(shí)，首先向負(fù)載均衡器發(fā)送命令，負(fù)載均衡器判斷是否已經(jīng)在預(yù)覽該設(shè)備的二級(jí)視頻流，如果是，直接返回對(duì)應(yīng)的二級(jí)分發(fā)器的地址即可;否則，選擇一個(gè)負(fù)載最小的二級(jí)分發(fā)器返回。

　　(2)客戶端使用負(fù)載均衡器返回的地址與二級(jí)分發(fā)器建立視頻流的傳輸通道。

　　(3)二級(jí)分發(fā)器如果沒有在分發(fā)視頻流，則向負(fù)載均衡器發(fā)送預(yù)覽視頻的命令，負(fù)載均衡器判斷是否已經(jīng)在預(yù)覽該設(shè)備的一級(jí)視頻流，如果是，直接返回對(duì)應(yīng)的一級(jí)分發(fā)器的地址即可;否則，選擇一個(gè)負(fù)載最小的一級(jí)分發(fā)器返回。

　　(4)一級(jí)分發(fā)器與設(shè)備建立視頻流的傳輸通道，一級(jí)分發(fā)器從設(shè)備獲取到合適的視頻流后，將視頻流發(fā)送給二級(jí)分發(fā)器。

　　(5)二級(jí)分發(fā)器從一級(jí)分發(fā)器獲取到視頻流后，進(jìn)行處理，再將處理后視頻流推送給客戶端。

　　自適應(yīng)流媒體分發(fā)系統(tǒng)的關(guān)鍵就在上述的第4步和第5步。

　　在第4步中，設(shè)備與一級(jí)分發(fā)器建立傳輸通道后，會(huì)在最初的若干毫秒內(nèi)發(fā)送隨機(jī)測(cè)試數(shù)據(jù)，計(jì)算出傳輸通道的初始網(wǎng)絡(luò)狀況，并根據(jù)網(wǎng)絡(luò)的帶寬、丟包率等選擇最合適的分辨率、幀率和碼率。同時(shí)，設(shè)備每隔一段時(shí)間就重新計(jì)算一次傳輸通道的網(wǎng)絡(luò)狀況，如果連續(xù)若干次計(jì)算出的網(wǎng)絡(luò)狀況都與之前的網(wǎng)絡(luò)狀況差別較大，則重新選擇最合適的分辨率、幀率和碼率。這樣，就對(duì)設(shè)備與一級(jí)分發(fā)器之間的流媒體傳輸通道進(jìn)行了自適應(yīng)。

　　在第5步中，二級(jí)分發(fā)器與客戶端建立傳輸通道后，會(huì)在最初的若干毫秒內(nèi)發(fā)送隨機(jī)測(cè)試數(shù)據(jù)，計(jì)算出傳輸通道的初始網(wǎng)絡(luò)狀況，并根據(jù)網(wǎng)絡(luò)的帶寬、丟包率等選擇最合適的分辨率、幀率和碼率。如果選擇的分辨率、幀率和碼率對(duì)應(yīng)的視頻流已經(jīng)在預(yù)覽，則直接分發(fā)給客戶端即可。否則，將從一級(jí)分發(fā)器獲取的視頻流解碼成原始圖像數(shù)據(jù)，然后重采樣成選擇的分辨率，最后再使用選擇的碼率和幀率編碼成新的視頻流，并推送給客戶端。這樣，就對(duì)客戶端與二級(jí)分發(fā)器之間的流媒體傳輸通道進(jìn)行了自適應(yīng)。

　　對(duì)4G/5G車載設(shè)備實(shí)際路測(cè)發(fā)現(xiàn)，在進(jìn)入涵洞、橋梁、高樓、隧道、電梯等附近時(shí)，設(shè)備與一級(jí)分發(fā)器之間的網(wǎng)絡(luò)帶寬迅速降低至幾百kbps，甚至幾十kbps，同時(shí)網(wǎng)絡(luò)丟包率大幅上升。未采用自適應(yīng)流媒體分發(fā)系統(tǒng)前，客戶端預(yù)覽的視頻往往會(huì)卡頓好幾秒，甚至幾十秒，嚴(yán)重影響了用戶的使用體驗(yàn)。采用自適應(yīng)流媒體分發(fā)系統(tǒng)后，客戶端預(yù)覽的視頻基本不存在卡頓現(xiàn)象，非常流暢，延時(shí)也比較低，畫面清晰度尚可(碼率被一級(jí)分發(fā)器適當(dāng)降低了)。當(dāng)網(wǎng)絡(luò)狀況恢復(fù)后，客戶端預(yù)覽視頻的清晰度也會(huì)自動(dòng)提升(碼率被一級(jí)分發(fā)器適當(dāng)升高了)。

　　對(duì)手機(jī)/平板等客戶端實(shí)際路測(cè)發(fā)現(xiàn)，在進(jìn)入涵洞、橋梁、高樓、隧道、電梯等附近時(shí)，客戶端與二級(jí)分發(fā)器之間的網(wǎng)絡(luò)帶寬迅速降低至幾百kbps，甚至幾十kbps，同時(shí)網(wǎng)絡(luò)丟包率大幅上升。未采用自適應(yīng)流媒體分發(fā)系統(tǒng)前，客戶端預(yù)覽的視頻延時(shí)特別大，達(dá)到幾十秒，畫面也會(huì)卡頓住，偶爾刷新一下，還會(huì)出現(xiàn)馬賽克現(xiàn)象。采用自適應(yīng)流媒體分發(fā)系統(tǒng)后，客戶端預(yù)覽的視頻基本不存在卡頓現(xiàn)象，非常流暢，延時(shí)也比較低，畫面清晰度尚可(碼率被二級(jí)分發(fā)器適當(dāng)降低了)。當(dāng)網(wǎng)絡(luò)狀況恢復(fù)后，或者對(duì)于網(wǎng)絡(luò)狀況良好的客戶端，其預(yù)覽的視頻畫面則是高清、甚至超高清的(碼率被二級(jí)分發(fā)器適當(dāng)升高了)。

　　綜上，自適應(yīng)流媒體分發(fā)系統(tǒng)采用精準(zhǔn)的網(wǎng)絡(luò)狀況評(píng)估算法和負(fù)載均衡算法，在設(shè)備端自適應(yīng)設(shè)備與一級(jí)分發(fā)器之間的網(wǎng)絡(luò)傳輸通道，在二級(jí)分發(fā)器端自適應(yīng)二級(jí)分發(fā)器與客戶端之間的網(wǎng)絡(luò)傳輸通道，大幅降低了客戶端視頻出現(xiàn)卡頓、延遲和丟幀等現(xiàn)象的概率，顯著改善了用戶預(yù)覽視頻，特別是超高清視頻時(shí)的體驗(yàn)。

　　通過上面的分析和總結(jié)我們可以發(fā)現(xiàn)，平臺(tái)的流媒體分發(fā)機(jī)制是整個(gè)架構(gòu)中影響視頻效果的關(guān)鍵因素。睿極智能自主研發(fā)的可視化融合指揮調(diào)度平臺(tái)以視頻業(yè)務(wù)為核心，基于“實(shí)時(shí)視頻監(jiān)控+融合指揮調(diào)度”雙引擎，在傳統(tǒng)安防視頻監(jiān)控基礎(chǔ)功能之上，創(chuàng)新性的融入了指揮調(diào)度、視頻會(huì)商以及智能視覺分析三大業(yè)務(wù)體系，極大的豐富了無線視頻的應(yīng)用場(chǎng)景。平臺(tái)具有“分布式、高安全、高可靠、大容量、可伸縮、易管理”等先進(jìn)的設(shè)計(jì)理念，同時(shí)運(yùn)用了上述網(wǎng)絡(luò)自適應(yīng)流媒體分發(fā)系統(tǒng)，能夠?yàn)橛脩籼峁┝鲿车某�高清�?shí)時(shí)視頻傳輸服務(wù)。

　　作為視頻物聯(lián)網(wǎng)基礎(chǔ)應(yīng)用的專業(yè)提供商，睿極智能將繼續(xù)不斷提升核心技術(shù)的積累，在視頻編碼、圖像質(zhì)量、低延時(shí)流媒體傳輸協(xié)議、弱網(wǎng)環(huán)境下的視頻傳輸算法等領(lǐng)域持續(xù)創(chuàng)新，迎合更多場(chǎng)景的業(yè)務(wù)需求，為用戶提供最佳的產(chǎn)品體驗(yàn)。

(新媒體責(zé)編：zpl05-02)