2019-10-31 AIoT浪潮席捲全球 Edge AI晶片設計思維大不同

AIoT浪潮席捲全球 Edge AI晶片設計思維大不同
交通大學資訊工程系教授暨人工智慧系統檢測中心主任陳添福。

全球知名商情分析刊物「哈佛商業評論」在今年7月號的主題是「你的公司夠AI嗎?」由此一報導中可看出AI已被視為企業未來的核心競爭力。觀察AI近年來的發展軌跡,交通大學資訊工程系教授暨人工智慧系統檢測中心主任陳添福表示,在AI與物聯網結合的AIoT架構中,邊緣運算將成為重要設計,而由於終端設備與上層雲端平台的功能需求大不相同,要能讓邊緣運算的性能與成本最佳化,其系統晶片就必須針對其環境與架構進行優化,而目前各大晶片廠商也都已提出對應產品。

 

陳添福指出,現在企業的AIoT架構是先在底層佈建感測器,用以偵測設備或環境狀態,再將資料傳送到上層平台累積為大數據,並透過AI運算分析,達到智慧化願景。不過此一運作機制仍需克服重重困難,在底層部分,系統團隊必須解決現場端數據的取得、感測器的佈建、數據取樣的類型與數量等問題;上層雲端則要思考如何從資料擷取特徵?AI的推論如何在現場落地?對以ROI為首要考量的企業來說,這些曠日廢時的工作將有可能在未建置前就先拖垮企業效益與獲利,因此陳添福指出,要讓AIoT的效益快速而有效的浮現,Edge AI將是必要設計。

 

從架構面來看,AIoT與Edge AI系統目前會面臨幾個挑戰:在終端節點部分,國內仍缺少關鍵技術,而且AI系統軟體未臻健全,無法因應IC設計所需;終端伺服方面則是AI系統人才極度缺乏,難以組成即戰力團隊,另外廠商在系統整合與垂直分工的能力也有待提升;至於最上層的雲端伺服,廠商的資料掌握量不夠,同時也缺乏大型成功範例,難以搶到應用主導權。陳添福進一步舉例說,就如政府面臨5缺問題(缺水、缺電、缺工、缺地、缺人才),台灣要發展AIoT,企業本身也要克服5缺問題(缺人才、缺資料、缺關鍵AI模式、缺有價值的資料特徵、缺終端系統整合等),這些問題都是多面向且麻煩但需要同時解決,方能有效建構各公司自己的產業智慧。

 

除了政府與企業外,晶片廠商則需要克服的難題則有3大面向,陳添福指出,現在市場的AI晶片有3大趨勢,首先是必須具備超高運算能力,其次是因應多應用面向所需的多樣化運算架構搭配,最後為持續運作所需的低功耗設計,而這3大需求都必須彙整在單一晶片上,以提高整合度並降低成本。

 

應用面向不同,Edge AI架構多元

 

再就AI的神經網路架構來看,在各學術機構與企業的大力投入下,現在各種AI模型快速浮現,以更小的運算量達到更高精度的結果,此一發展讓AI模型更容易應用於嵌入式系統與邊緣運算架構中。而運算晶片架構方面,陳添福指出,因應市場需求,目前各晶片廠商的主要架構共分4種,包括CPU+GPU、CPU+AI加速器、CPU+DSP+GPU、CPU+GPU+AI加速器。

 

這4種架構都以CPU為主,再透過不同的通訊標準如PCI-E、USB等鏈結,而不同架構也有各自的優劣勢,CPU+GPU可滿足系統的效能與彈性需求,只是耗電高,且處理前必須將數據傳送至VRAM,運作架構較為複雜。CPU+AI加速器適於機器學習,但是其應用領域有一定限制,且需要編譯器處理數據。CPU+DSP+GPU組合的優勢,是每一元件都可在多個應用程序中使用,不過須以DSP做為控制。至於CPU+GPU+AI加速器則在機器學習應用的效益極佳,但NPU也僅侷限於機器學習應用,且GPU與NPU必須先行規劃,才可同時使用。

 

除了硬體產品外,各晶片廠商為使AI演算法可從訓練模式順利在推論端使用,也推出了各種軟體工具,像是NVIDIA的TensorRT、Intel的OpenVino、Qualcomm的Neural Processing Engine與Android陣營的Neural Networks API,對於這些軟體工具,陳添福指出,各種AI模型的架構與目標不同,因此設計者必須慎選合適工具,為此交大也在近期成立了AI系統檢測中心,協助企業優化AI系統,使其可落地實現。

 

交大的AI系統檢測中心共提供了4項服務,包括AI量測與調校服務、系統軟硬體產品的測試評比與分析技術報告、自動參數調校與遠端超參數建議、AI模型優化與系統實現方案,透過這些服務,企業將可縮短開發時程,並讓研發成果更貼近實際應用,以有限資源打造出最佳化AI系統。