為加速驍龍安卓設(shè)備的AI工作負(fù)載處理 谷歌推出了新的LiteRT加速器

谷歌針對LiteRT推出了一款全新的加速器，命名為高通AI引擎直通（QNN），其目的是增強(qiáng)配備驍龍8 SoC的高通安卓設(shè)備的AI性能表現(xiàn)。這款加速器能大幅提升性能，與CPU執(zhí)行相比，速度最多可提升100倍；和GPU相比，速度也能提升10倍。

盡管現(xiàn)代安卓設(shè)備大多都配備了GPU硬件，但谷歌的軟件工程師盧王、Wiyi Wanf與安德魯·王認(rèn)為，僅依賴GPU來處理AI任務(wù)或許會引發(fā)性能瓶頸。他們舉例說明，像“在設(shè)備端運(yùn)行計(jì)算量龐大的文本轉(zhuǎn)圖像生成模型，同時借助機(jī)器學(xué)習(xí)的分割技術(shù)處理實(shí)時相機(jī)畫面”這類情況，即便是配置較高的移動GPU也可能難以應(yīng)對。如此一來，很可能會造成用戶體驗(yàn)出現(xiàn)卡頓以及掉幀的問題。

然而，許多移動設(shè)備現(xiàn)在配備了神經(jīng)處理單元（NPUs），這些專門設(shè)計(jì)的AI加速器與GPU相比，可以顯著加速AI工作負(fù)載，同時消耗更少的電力。

QNN是谷歌與高通密切合作開發(fā)的，用來替代之前的TFLite QNN代理。它通過集成廣泛的SoC編譯器和運(yùn)行時，并通過簡化的API提供給開發(fā)者，提供了統(tǒng)一和簡化的工作流程。它支持90個LiteRT操作，目標(biāo)是實(shí)現(xiàn)完整模型委托，這是實(shí)現(xiàn)最佳性能的關(guān)鍵因素。QNN還包括專門的內(nèi)核和優(yōu)化，進(jìn)一步提升了像Gemma和FastLVM這樣的LLM的性能。

谷歌對72個機(jī)器學(xué)習(xí)模型進(jìn)行了QNN基準(zhǔn)測試，其中64個成功實(shí)現(xiàn)了完整的NPU委托。結(jié)果顯示，與CPU執(zhí)行相比，性能提升高達(dá)100倍，與GPU相比提升10倍。

在高通最新的旗艦SoC，驍龍8 Elite Gen 5上，性能提升顯著：超過56個模型在NPU上運(yùn)行時間不到5毫秒，而在CPU上只有13個模型能達(dá)到這一速度。這解鎖了許多之前無法實(shí)現(xiàn)的實(shí)時AI體驗(yàn)。

谷歌工程師還開發(fā)了一個概念應(yīng)用，利用了蘋果FastVLM-0.5B視覺編碼模型的優(yōu)化版本。該應(yīng)用幾乎可以即時解釋相機(jī)的實(shí)時場景。在驍龍8 Elite Gen 5 NPU上，它在1024×1024圖像上的首次令牌時間（TTFT）僅為0.12秒，預(yù)填充速度超過11,000令牌/秒，解碼速度超過100令牌/秒。蘋果的模型通過int8權(quán)重量化和int16激活量化進(jìn)行了優(yōu)化。根據(jù)谷歌工程師的說法，這是解鎖NPU最強(qiáng)大、高速int16內(nèi)核的關(guān)鍵。

QNN僅適用于部分安卓硬件設(shè)備，具體來說主要是搭載驍龍8和驍龍8+ SoC的機(jī)型。若要開啟使用，可前往NPU加速指南頁面，并從GitHub上下載LiteRT。