聰泰將邊緣 AI 記憶體用量降低約 20% 讓智慧社區影像分析在 Jetson Orin NX 8GB 上運行

採用輕量化視覺模型後 聰泰 將智慧社區跨攝影機影像分析從 16 GB 平台移至 Jetson Orin NX 8GB

社區各處的攝影機記錄大廳、公共空間、多功能室和電梯內的活動。檢視事件時,管理人員往往需要在不同攝影機畫面之間切換,手動拼湊事件經過。跨攝影機影像分析可串聯各視角的資訊。處理多路影像串流也會增加邊緣運算與記憶體負擔。
聰泰的跨攝影機影像分析方案在 NVIDIA Jetson Orin NX 8GB 上運行,搭配 NVIDIA JetPack 6.2,每台裝置可同時處理四路 1080p 影像串流。
透過輕量化 AI 模型、NVIDIA TensorRT FP16 推論與系統服務精簡,聰泰將 AI 模型的記憶體用量從 4.4 GB 降至 3.5 GB,減少 20.5%。Rank-1 準確率從 95.2% 降至 94.6%,相差 0.6 個百分點。

在記憶體有限的邊緣裝置上執行多攝影機分析

跨攝影機影像分析會持續偵測物件、擷取外觀特徵,並關聯不同攝影機畫面中的移動軌跡。這些工作與影像解碼、串流緩衝區、作業系統和背景服務共用記憶體。

在 8 GB 邊緣裝置上,減少模型與系統的記憶體負擔,有助於兼顧比對準確率與部署需求。聰泰同時最佳化這兩個層面,使記憶體容量較小的平台也能用於社區的多攝影機分析。

串聯攝影機畫面以加快事件檢視

聰泰的方案透過三個處理階段,整合不同區域的攝影機資訊。

1. 物件偵測與單一攝影機追蹤 : 偵測各攝影機畫面中的物件,建立物件在該視角內的移動軌跡。

2. 跨攝影機關聯 : 根據外觀特徵、時間戳記與攝影機之間的空間關係,比對不同視角的軌跡。

3. 整合移動紀錄 : 將關聯後的軌跡整理成紀錄,供管理人員檢視事件時查詢。

例如 : 若事件橫跨大廳、公共空間與電梯,管理人員可利用關聯紀錄找出相關地點,以及最後拍到目標的攝影機畫面,縮小人工查閱的影像範圍。關聯品質會受到照明、遮擋、拍攝角度和攝影機位置影響。

聰泰也與提供 Physical AI 平台及資料驅動營運解決方案的 永元智能 合作,推動智慧社區的自主機器人巡檢。聰泰的邊緣 AI 運算與機器視覺技術,結合永元智能在具身 AI 機器人上的專長,讓機器人能與既有攝影機及物聯網(IoT)系統協作,在事件觸發後執行巡檢,支援社區營運。

聰泰最佳化模型與系統軟體

輕量化模型與 TensorRT FP16 推論

聰泰採用輕量化 AI 模型,搭配 NVIDIA TensorRT 和 FP16 半精度推論,以降低模型執行時的記憶體需求。比較最佳化前後的 Rank-1 準確率,可量化這些調整對人員外觀特徵比對的影響。

精簡 BSP、Jetson Agent Skills 與系統服務

聰泰依部署需求調整板級支援套件(BSP)、Jetson Agent Skills 及系統設定,並採取以下措施。

• 停用應用程式用不到的圖形介面服務。

• 停用非必要的背景服務。

這些調整可降低系統常駐記憶體用量,為影像處理和 AI 分析保留更多空間。實際停用哪些服務,取決於裝置功能與維護需求。

量測記憶體用量與比對準確率

最佳化後,單台 NVIDIA Jetson Orin NX 8GB 裝置可同時處理四路 1080p 影像串流。下表列出 AI 模型層級的量測結果。

圖 1 最佳化前後的 AI 模型記憶體用量與 Rank-1 準確率。

 

如何解讀測試結果

Rank-1 準確率衡量的是人員外觀特徵檢索時,排名第一的候選結果為正確對象的比例。不同場域中,跨攝影機追蹤從頭到尾的成功率須另行評估。

記憶體數據反映的是 AI 模型用量。從 NVIDIA Jetson Orin NX 16GB 移至 8GB 平台,是硬體記憶體容量的變更。20.5% 則是模型本身的記憶體用量降幅,整體系統用量須另行量測。

部署時,須依串流影格率、畫面中的人數與場域條件,驗證處理影格率、延遲及系統記憶體峰值用量。硬體成本與功耗方面的效益也取決於最終部署配置。

將最佳化方法應用於更多邊緣 AI 場景

聰泰結合輕量化模型、TensorRT 推論與系統服務調整,在降低記憶體需求的同時,維持接近原有水準的 Rank-1 準確率。

這套做法也可作為零售、製造與交通運輸部署多攝影機分析的參考。這些場域往往需要較多硬體設備。開發團隊與企業可依裝置資源與比對準確率需求選擇部署配置,有助於降低硬體成本。

 

 

Copyright © 2026 YUAN High-Tech Development Co., Ltd.
All rights reserved.