首頁 > 新聞資訊
? ??物聯(lián)網已經從連接普通設備，如燈泡、攝像頭、傳感器和恒溫器，到連接智能助手、嬰兒監(jiān)視器和智能電器。現(xiàn)在，我們可以使用來自傳感器、麥克風/音頻和攝像機/視頻的數(shù)據(jù)，持續(xù)訓練機器學習和人工智能（AI），獲得預測能力。
? ? 我們現(xiàn)在已經可以在網絡邊緣運行強大的智能設備。
邊緣AI
基于神經網絡的AI主要由訓練和推理組成。
訓練：專家建立深度神經網絡（DNN）模型去解決一些特定的問題，如對象分類或語音識別。他們在云端或數(shù)據(jù)中心執(zhí)行計算密集型模型訓練任務。
推理：一旦模型可靠，就可以部署到物聯(lián)網設備上。這些設備將來自傳感器、麥克風和攝像頭的輸入數(shù)據(jù)與訓練好的模型進行比較，做出“智能”的決定。
基于軟件算法的進步，硬件計算資源的提高和安全性的提升，推理工作不再需要在云端進行；現(xiàn)在，可以在設備網絡邊緣執(zhí)行推理工作。
邊緣AI有哪些優(yōu)勢？與基于云計算的解決方案相比，邊緣推理可以實現(xiàn)更低的延遲響應、更少的帶寬成本，并節(jié)約存儲成本。例如，對象跟蹤應用如果在本地分析攝像頭視頻內容的話，可以更快速地進行響應，而無需將內容從網絡邊緣發(fā)送到云端進行處理并等待結果。此外，由于數(shù)據(jù)保留在物聯(lián)網設備上，而不是通過網絡傳輸，所以邊緣推理也可以帶來更好的隱私保護和安全性。
如何在IOT設備的邊緣運行AI
? ? IoT設備運行AI，為音頻、視頻和傳感器分析提供了的機會，可用于聯(lián)網攝像頭、家庭控制中心、無人機/機器人和XR以及工業(yè)物聯(lián)網和智慧城市。在以后的博客文章中，我將探討這些機會對開發(fā)者意味著什么。
?
? ? 設備端AI需要運行在正確的計算核心。僅僅有一個強大的多核CPU還不夠。圖形處理單元（GPU）可能更適合于檢測和跟蹤，而分類計算密集型工作負載可能在數(shù)字信號處理器（DSP）上運行得更好。更好的是，隨著Hexagon矢量擴展（HVX）的加入，DSP可以以極低的功耗高速處理圖像。
? ? 在物聯(lián)網中成功部署人工智能的關鍵是在核心上運行工作負載，同時保證低功耗和推理性能。因此，對于Qualcomm Technologies平臺開發(fā)者來說，可以在各種核心（GPU、DSP/HVX和CPU）異構運行神經網絡模型，擁有這樣的靈活性就是一個明顯的優(yōu)勢。
例如，物聯(lián)網設備運行AI為個人、社區(qū)和企業(yè)用例帶來視覺智能：
??視頻摘要
??場景分類
??文字或車牌識別
??人臉檢測和識別
??帶深度和位置跟蹤的對象檢測和分類
?
例如，如果與員工數(shù)據(jù)庫相匹配，使用DNN進行人臉識別可以為企業(yè)帶來更高的安全性。另一個例子是使用DNN來清點人數(shù)，并按性別和年齡進行分類，這樣的操作對于零售業(yè)來說簡直就是福音。
物聯(lián)網設備運行AI還可以在新用例中引入音頻智能：
??音頻分類（例如嬰兒哭鬧、玻璃破碎、槍聲識別）
??語音激活和講話者識別
??回聲消除和噪音抑制
??自然語言處理/自動語音識別（NLP/ASR）
?
Qualcomm??驍龍?神經處理引擎
搭載Qualcomm Technologies系統(tǒng)級芯片（SoC）的物聯(lián)網設備擁有2至3個可用于運行AI工作負載的內核：
??Qualcomm Kryo? CPU
??Qualcomm Adreno? GPU
??Qualcomm Hexagon? DSP, including recently released versions with HVX
??Qualcomm Hexagon? DSP，包括最近發(fā)布的HVX版本
?
? ? 現(xiàn)在，Qualcomm Technologies還提供驍龍神經處理引擎（SNPE），這是一款專為在Qualcomm Technologies SoC各計算核心（GPU、DSP和CPU）運行而設計的軟件框架。SNPE SDK包含將基于Caffe/Caffe2和TensorFlow的現(xiàn)有網絡遷移到Qualcomm Technologies SoC運行環(huán)境的轉換工具。還為各核心提供了調試工具和性能優(yōu)化工具。開發(fā)者可以優(yōu)化應用，在適合的核心上運行AI任務。
?
? ? 我們采用異構計算技術，結合高度集成的SoC和SNPE，不論在機器人、智能家居，或是工業(yè)應用方面，都可以實現(xiàn)在物聯(lián)網設備邊緣、低功耗地運行AI。
CSDN新聞
