邊緣計算七大核心技術之算法執(zhí)行框架

隨著人工智能的快速發(fā)展，邊緣設備需要執(zhí)行越來越多的智能算法任務。例如，家里的語音助手需要理解自然語言，智能車輛需要識別和識別道路物體，便攜式翻譯設備需要實時翻譯語音信息。機器學習，尤其是深度學習算法，占了這些任務的很大一部分。為邊緣計算場景開發(fā)高效的算法執(zhí)行框架是一種重要的方法。

谷歌于2016年發(fā)布了TensorFlow，該社區(qū)依賴于開源社區(qū)的性能，并擁有許多機器學習算法屬性的執(zhí)行框架。然而，這些框架中的大多數(shù)在云數(shù)據(jù)中心運行，不能直接應用于邊緣設備。云數(shù)據(jù)中心和邊緣設備對算法執(zhí)行框架有不同的要求，在云數(shù)據(jù)中心，算法執(zhí)行框架有更多的模型訓練。輸入訓練期間幀的重復率，這是一個大批量數(shù)據(jù)集，重點是收斂速度和可擴展性。邊緣設備執(zhí)行更多的預測任務，輸入更少的實時數(shù)據(jù)。由于邊緣設備的計算和存儲資源的相對限制，算法在執(zhí)行框架預測時的速度更加關注內(nèi)存消耗和能量效率。

為了更好地幫助邊緣設備執(zhí)行智能任務，我們開發(fā)了邊緣設備的算法執(zhí)行框架。2017年，我們發(fā)布了適用于移動和嵌入式設備的輕量級解決方案TensorFlow Lite。我們優(yōu)化了移動應用程序內(nèi)核，預激活并量化了內(nèi)核，并進行了預測，減少升級期間的延遲和內(nèi)存使用。Cafe2的更高版本是一個輕量級的實現(xiàn)框架，增加了對移動設備的支持。此外，用于實現(xiàn)機器學習算法的主流框架，如PyTorch和MXNet，也開始在邊緣設備上部署部署方法。

Zhang等人比較并分析了TensorFlow、Cafe2、MXNet、PyTorch和TensorFlow Lite在各種邊緣設備（MacBook Pro、Intel FogNode、NVIDIA Jetson TX2、Raspberry Pi3 Model B+、華為Nexus 6P）上的延遲、內(nèi)存消耗和能效，從而提高了執(zhí)行框架的性能。研究可擴展邊緣設備算法執(zhí)行框架非常重要，這也是實現(xiàn)邊緣智能的重要步驟。