人工智慧（AI）科技在行業應用中，大多依賴海量的訓練數據和大規模服務器的算力支持，存儲暴漲、數據堰塞、隱私洩露、能耗高企等問題也隨之而來。隨著近5年來摩爾定律的逐步放緩，IT硬體的發展愈發難以滿足當前人工智慧模型動輒萬億級規模的存儲和算力需求。囙此，當前對人工智慧設備和應用的快速回應、隱私保護以及節能減排的需求越發凸顯。如何將人工智慧模型及其計算載體前端化、輕量化，成為亟待解决的問題。
輕量化人工智慧（Tiny AI）的興起正在改變這一點。
Tiny AI讓AI更普惠、更主流
剖析智能化應用，我們可以看到，人工智慧使能架構是由晶片（硬體）、AI作業系統（深度學習框架平臺）和算灋三個部分組成。而Tiny AI恰是以一系列輕量化科技為驅動提高晶片、平臺和算灋的效率，在更緊密的物理空間上實現低功耗的人工智慧訓練和應用部署，不需要依賴與雲端互動就能實現智能化操作。
輕量化人工智慧所帶來的突破是顯而易見的。《麻省理工科技評論》在2020年將“Tiny AI”列為“全球十大突破性科技”，其在評選理由中寫到：“輕量化智慧使現有的服務比如語音助手、手機拍照等變得更好更快，不必每次都需要連接雲端才能運行深度學習模型；此外，輕量化人工智慧也將使新的應用成為可能，比如基於移動端的醫學檢測分析、對反應時間要求更快的自動駕駛汽車；最後，當地語系化的人工智慧更利於隱私保護，用戶的數據不再需要離開設備就能實現服務功能的進化。”
更重要的是，Tiny AI將人工智慧推向更主流，它大大降低了AI系統的部署難度和成本，把AI從一場高門檻的科技巨頭競賽變成普惠民生的智慧生態。
在人工智慧領域的角逐中，以“輕量化”為賽點的下半場已經來臨。
Tiny AI的外“减”內“加”
Tiny AI對外表現是在做減法，降低能耗、降低對硬體平臺性能指標的要求、降低與雲端的通訊需求等，而實質上，輕量化的內核卻是在做加法。產業需求决定了要完成的AI任務越來越複雜，輕量化人工智慧必須通過加速運算效率、提高計算密度才能實現極致的效率。
在精度接近無損的前提下，將AI模型及其計算載體微型化，是一個極具挑戰性的任務，需要對神經網路輕量化設計、計算加速以及設計新的計算架構實現模型的硬體化。
這需要從軟件和硬體兩方面來著手。軟件方面，要進行模型和算灋創新，通過輕量化模型設計、矩陣分解、稀疏表示、量化計算來實現模型的微型化和計算加速。而在硬體方面，則須通過流水線設計、存儲模式設計等手段進行硬體架構的創新。
雖然執行神經網路計算的是硬體，但神經網路結構和AI平臺决定著計算量的大小和運算管道。所以，極致的輕量化必須是軟件和硬體的協同輕量化：基於複雜的AI應用場景，將晶片、平臺和算灋充分結合以聯合加速。
首先，AI晶片作為人工智慧的硬體載體，必須達到更高的效能、更高的效率、更低的功耗和更小的體積，足够平價高效的計算平臺才能滿足產業需求承載複雜的AI任務，並且使推理和運算從雲端遷移到終端成為可能。
其次，輕量化的AI平臺需要以更低的功耗來訓練和運行人工智慧算灋，最大化的發掘硬體的能力。
最後，應用輕量化科技的神經網路模型以小規模、少運算量並保持良好的精度。
AI三層使能架構决定了追求單一算灋、平臺或者晶片輕量化並不能最大化實現極致效率，而需要針對應用場景中複雜的AI計算系統全面去考慮，將三者進行協同輕量化。
自動化所：Tiny AI“先行者”
2014年，在卷積神經網路大規模邁向應用之初，中國科學院自動化研究所（以下簡稱自動化所）就在國際AI頂會發表了多篇神經網路模型輕量化領域的重要論文，成為國際上最早開始AI輕量化研究的機构之一，相關成果引起包括英偉達公司創始人兼CEO黃仁勳等在內的諸多專家的廣泛關注。
自動化所很早就開始了軟硬協同輕量化的科技研究，走在國際的前列。自動化所設計開發的輕量化AI平臺QEngine及輕量化算灋已經在數十萬終端上部署。2019年，在國際神經資訊處理系統大會（NeurIPS）上舉行的MicroNet Challenge競賽中，自動化所與ARM、IBM、高通、Xilinx等國際一流晶片公司同場競技，設計的輕量化神經網路架構獲得了影像類雙冠軍。
2020年，自動化所自主研發的世界首款極低比特量化神經處理晶片（QNPU）成功流片，解决了晶片計算領域備受關注的“記憶體牆”難題，在晶片成本、功耗、計算結構、邊緣計算等方面實現革命性變革。該晶片的問世，也標誌著自動化所成為了全球為數不多的擁有“AI晶片—平臺—算灋”全棧輕量化AI科技機构之一。
面向行業應用的Tiny AI
未來，以AI驅動的小型化設備會越來越多地出現在我們身邊。同時，由AI晶片、平臺和算灋組成的Tiny AI智慧終端將始終圍繞應用場景而生。
對此，自動化所率先做了一些嘗試。
MCU單片機以低價低功耗的優勢，在各種終端上有著大規模的應用。但是單片機的計算效能極低，一直不被看好是可以實現人工智慧的硬體。自動化所在幾元錢的STM32單片機上成功的部署了四十層網絡的人臉檢測模型，運行功耗僅800毫瓦，做了開創性的嘗試——其背後就是基於Tiny AI科技。
在教育行業，自動化所的“輕量化指尖點讀解決方案”顛覆了教育終端的人機互動模式，並成功突破硬體效能瓶頸，賦予低端硬體平臺高端AI算力。
在消費電子行業，自動化所設計的輕量化的算灋及輕量化神經網路計算架構可有效實現暗光增强、超分辯率等，為手機終端、安防終端提供了影像增强效果。
在電力行業，我國的輸電線路覆蓋廣，野外自然環境複雜，檢修維護工作危險係數高難度大。自動化所基於Tiny AI研製的自主巡檢無人機、缺陷識別分析便攜終端、通道視覺化智慧感知監視器等，具備多種智慧識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統穩定。
本文版權歸原作者所有，文章內容不代表平臺觀點或立場。如有關於文章內容、版權或其他問題請與我方聯系，我方將在核實情况後對相關內容做删除或保留處理！