當(dāng)下最受歡迎的手機(jī)App是什么?相信十個(gè)人中有九個(gè)都會(huì)回答“短視頻”。

隨著5G網(wǎng)絡(luò)逐步落地，網(wǎng)絡(luò)傳輸速度不再是瓶頸，加之手機(jī)拍攝素質(zhì)不斷提升，大眾越來(lái)越熱衷于通過(guò)視頻的形式來(lái)進(jìn)行自我表達(dá)。

為了讓用戶更好地展現(xiàn)個(gè)性與審美，快手等短視頻平臺(tái)陸續(xù)上線了花樣繁多的濾鏡及特效功能，使得“老鐵”們無(wú)論在繁華都市還是田間地頭，都能創(chuàng)作出充滿趣味和生命張力的短視頻作品。

比如一秒變裝童話在逃公主：

如果你熱衷于看肥皂劇，也能輕松化身霸道總裁或瑪麗蘇女主。更厲害的是，在快手上使用“娃娃臉”特效，還可以一鍵回到幼兒時(shí)期。當(dāng)然，展望自己中老年時(shí)期的模樣也不在話下，輕松幫你秒速穿越“我的一生”。

濾鏡背后的“靈魂畫(huà)師”需要一顆AI之“芯”

不過(guò)，這些好玩又有趣的特效背后，其實(shí)深藏著AI科技的功與名，全球領(lǐng)先的移動(dòng)平臺(tái)廠商高通也沒(méi)少操“芯”。就拿快手上廣受好評(píng)的“手繪濾鏡”來(lái)說(shuō)，它能夠持續(xù)將用戶拍攝視頻的每一幀畫(huà)面轉(zhuǎn)換成唯美的手繪作品。

這一濾鏡特效的實(shí)現(xiàn)大致可以分成幾個(gè)步驟：首先，用戶拍攝視頻時(shí)，ISP會(huì)處理視頻并發(fā)送給快手App?？焓諥pp會(huì)對(duì)視頻的每一幀進(jìn)行預(yù)處理，并進(jìn)行人臉偵測(cè)和剪切等;然后再發(fā)送到高度定制化、類似于UNET的神經(jīng)處理網(wǎng)絡(luò)(即機(jī)器學(xué)習(xí)算法)，該神經(jīng)處理網(wǎng)絡(luò)將生成與輸入幀相融合的手繪特效。之后，再通過(guò)化妝和美顏算法對(duì)整體圖像質(zhì)量進(jìn)行優(yōu)化，就得到美美的特效預(yù)覽啦。

以上每一個(gè)步驟都需要借助精密巧妙的算法來(lái)實(shí)現(xiàn)，而其中最關(guān)鍵的就是生成手繪特效的神經(jīng)處理網(wǎng)絡(luò)。作為AI算法的一種，它和傳統(tǒng)軟件中算法的最大不同就在于，它可以通過(guò)不斷學(xué)習(xí)來(lái)提升自己的能力。你不妨把它想象成一個(gè)學(xué)霸，可以通過(guò)不斷“刷題”來(lái)提升成績(jī)，而且刷的題型越多，成績(jī)就越出色。AI算法也熱衷于“刷題”，它訓(xùn)練自己的題庫(kù)便是海量的圖像和視頻數(shù)據(jù)。

作為短視頻賽道上的領(lǐng)頭羊，快手擁有龐大的用戶基數(shù)。根據(jù)快手大數(shù)據(jù)研究院發(fā)布的《2021快手內(nèi)容生態(tài)半年報(bào)》，快手應(yīng)用平均月活用戶已經(jīng)高達(dá)5.198億。同時(shí)，快手不久前發(fā)布的《2021快手創(chuàng)作者生態(tài)報(bào)告》顯示，2020年，超25%的快手應(yīng)用平均月活用戶為內(nèi)容創(chuàng)作者。據(jù)此估算，快手平臺(tái)上聚集的內(nèi)容創(chuàng)作者數(shù)量已經(jīng)超過(guò)2億，而這背后是數(shù)量更加驚人的視頻數(shù)據(jù)。這些數(shù)據(jù)就像水流一樣源源不斷地澆灌著快手的算法之花，使其愈發(fā)嬌艷。

對(duì)AI略有了解的讀者都知道，算法、數(shù)據(jù)和算力被譽(yù)為驅(qū)動(dòng)AI發(fā)展的三大引擎，缺了其中任何一個(gè)，AI產(chǎn)業(yè)這艘巨輪都跑不起來(lái)。落到“手繪濾鏡”這樣一個(gè)具體的功能上亦是如此。盡管有了出色的算法和豐富的數(shù)據(jù)，但要讓用戶獲得完美流暢的使用體驗(yàn)，中間仍缺少一個(gè)必要環(huán)節(jié)，那就是強(qiáng)大的AI算力。

快手發(fā)現(xiàn)，雖然“AI藝術(shù)家”能夠創(chuàng)作出引人入勝的手繪作品，但在速度方面卻難以滿足需求，實(shí)際使用時(shí)會(huì)出現(xiàn)幀率下降的情況。

“手繪濾鏡”算法默認(rèn)是在CPU上運(yùn)行，而CPU是一個(gè)通用計(jì)算單元，并非運(yùn)行AI工作負(fù)載的最佳選擇。在這種情況下，App提供商通常會(huì)選擇在云端進(jìn)行復(fù)雜的AI處理，然而云端又會(huì)受到網(wǎng)絡(luò)覆蓋的影響，導(dǎo)致額外的時(shí)延和其他變化。幾經(jīng)探索，快手終于找到了一個(gè)完美的解決方案——搭載高通AIE的驍龍移動(dòng)平臺(tái)。

軟件、硬件兩手抓，兩手都要硬

高通的驍龍移動(dòng)平臺(tái)大家已經(jīng)耳熟能詳了，比如最新的驍龍888、驍龍780G等等，但什么是AIE呢?高通AIE其實(shí)是人工智能引擎(Atificial Intelligence Engine)的簡(jiǎn)稱，它并非一枚全新的芯片，而是可以內(nèi)置在驍龍移動(dòng)平臺(tái)中的一套涵蓋完整軟硬件的AI解決方案。

那么，高通AIE具體都包含哪些關(guān)鍵組件呢?首先，硬件方面，高通AIE采用異構(gòu)運(yùn)算，內(nèi)部包含Hexagon 處理器、Adreno GPU 和 Kryo CPU 的人工智能優(yōu)化組合。其中，Hexagon 處理器擅長(zhǎng)處理涉及向量數(shù)學(xué)的應(yīng)用工作負(fù)載;Adreno GPU擅長(zhǎng)處理精度較高的數(shù)據(jù)運(yùn)算，比如圖像和視頻等等;Kryo CPU則更加擅長(zhǎng)對(duì)常規(guī)數(shù)據(jù)的運(yùn)算與處理。

如果你對(duì)這些專業(yè)詞匯感到陌生，沒(méi)關(guān)系，你可以把它們想象成一個(gè)工廠里的三條生產(chǎn)線，分別擅長(zhǎng)生產(chǎn)不同的產(chǎn)品。在異構(gòu)運(yùn)算的條件，工廠接到生產(chǎn)任務(wù)后會(huì)首先分析該任務(wù)究竟是哪條生產(chǎn)線更擅長(zhǎng)的，并進(jìn)行相應(yīng)的分配，從而讓整個(gè)工廠處于最高的生產(chǎn)效率。

同時(shí)在軟件層面，高通AIE包含了驍龍神經(jīng)處理 SDK、Android NN 和 Hexagon NN。軟件配套組件的主要作用在于讓開(kāi)發(fā)者和OEM廠商可以更加容易地應(yīng)用高通AIE人工智能引擎，以便在最短的產(chǎn)品研發(fā)周期中，第一時(shí)間推出自家定制化、個(gè)性化的AI智能終端產(chǎn)品。對(duì)于開(kāi)發(fā)者與OEM廠商而言，一套解決方案最為重要的除了強(qiáng)大的功能外，易用性則是第二考慮因素。很顯然，高通AIE人工智能引擎很好地兼顧了這兩點(diǎn)。

除了在產(chǎn)品設(shè)計(jì)之初就將易用性刻入高通AIE的基因，高通還和下游廠商進(jìn)行了大量的共創(chuàng)工作，以幫助后者最大限度發(fā)揮高通AIE的巨大潛力。比如，為了給快手的“手繪濾鏡”功能提供算力支撐，高通技術(shù)公司和快手從驍龍765移動(dòng)平臺(tái)推出時(shí)就展開(kāi)合作。驍龍765首次釋放了CPU的工作負(fù)載，并通過(guò)Hexagon處理器來(lái)完成相應(yīng)工作，這使得手繪濾鏡的幀率(FPS)提升了56%，并且功耗降低32%(降低顯示功率)，從而帶來(lái)無(wú)縫的視頻拍攝體驗(yàn)。

而且，高通技術(shù)公司和快手工程師通力合作，針對(duì)快手對(duì)于未來(lái)移動(dòng)平臺(tái)在性能、功耗、擴(kuò)展性和兼容性方面的需求進(jìn)行分析。高通神經(jīng)網(wǎng)絡(luò)處理SDK能夠以軟件的方式提供支持，而Hexagon處理器則是作為AI加速器提供支持。并且，雙方針對(duì)量化開(kāi)展的聯(lián)合工作對(duì)于此次合作的成功發(fā)揮了關(guān)鍵作用，因?yàn)槠淠軌蛟谔嵘阅芎湍苄У耐瑫r(shí)，確保處理的精確度。

基于此，高通還正在推動(dòng)雙方合作更進(jìn)一步，確保快手所需的各種特性能夠面向最新一代驍龍778G平臺(tái)及時(shí)進(jìn)行優(yōu)化，滿足驍龍778G終端的商用需求。

高通AIE的發(fā)展史也是手機(jī)AI的普及史

高通AIE首次被國(guó)內(nèi)用戶所熟悉要追溯到2018年3月，當(dāng)時(shí)vivo發(fā)布最新一代旗艦手機(jī)vivo X21，搭載了驍龍660AIE。

如今，高通旗下的驍龍845、驍龍835、驍龍820、驍龍821、驍龍700系列等均已支持高通AIE人工智能引擎。此外，在物聯(lián)網(wǎng)領(lǐng)域的Qualcomm視覺(jué)智能平臺(tái)體系中，QCS605與QCS603也同樣支持高通AIE人工智能引擎。

隨著“家族”不斷壯大，高通AIE的性能也在不斷提升。在驍龍888移動(dòng)平臺(tái)中，高通最新推出了第六代高通AIE。作為一整套處理器協(xié)作系統(tǒng)，這代AI引擎包含了重新設(shè)計(jì)的Hexagon 780處理器，不僅使標(biāo)量、張量和向量加速器之間的物理距離幾乎消失，還在這三個(gè)不同的加速器之間添加了一個(gè)共享內(nèi)存，實(shí)現(xiàn)了更快和更高效的數(shù)據(jù)移動(dòng)和共享。在某些用例下，數(shù)據(jù)交互時(shí)效實(shí)現(xiàn)了千倍提升。不僅如此，加速器本身也實(shí)現(xiàn)了提升，其中標(biāo)量加速器性能提升50%，張量加速器的矩陣處理速度提升了2倍?；谌碌募軜?gòu)設(shè)計(jì)，Hexagon每瓦特性能較前代平臺(tái)提升高達(dá)3倍，并實(shí)現(xiàn)了每秒26萬(wàn)億次運(yùn)算(26 TOPS)的驚人算力。

基于強(qiáng)大的算力，高通AIE正在為越來(lái)越多的終端應(yīng)用提供可靠支撐。除了前面提到的視頻濾鏡還包括AI刷臉、拍照翻譯、3D Animoji等等。不過(guò)，對(duì)于絕大多數(shù)用戶而言，AIE帶來(lái)的最直觀變化還是拍照體驗(yàn)的提升。得益于專屬AI處理和加速，國(guó)產(chǎn)安卓旗艦在無(wú)需堆疊硬件傳感器的前提下，通過(guò)軟件算法等就能實(shí)現(xiàn)更加出色的拍照效果。

除了視覺(jué)方面的應(yīng)用，高通AIE也在幫助手機(jī)中的“虛擬助理”不斷提升語(yǔ)音交互能力。比如vivo手機(jī)的虛擬助理Jovi背后，是就是高通AIE作為心臟在不斷供血。

高通AIE能力不斷提升的過(guò)程，正是手機(jī)AI不斷拓展其應(yīng)用邊界的過(guò)程。不夸張地說(shuō)，高通AIE的發(fā)展史也是手機(jī)AI的普及史。

關(guān)鍵詞： 拍照更好看 5G網(wǎng)絡(luò) 網(wǎng)絡(luò)傳輸 瓶頸