YUAN 於 Jetson T5000 實測 NVIDIA Cosmos3 與 Qwen3.5：推動即時邊緣推理 AI 落地

隨著 AI 從雲端資料中心走向物理世界，次世代視訊邊緣 AI（Edge Video AI）對多模態推理、低延遲以及高併發處理能力的需求日益激增。為了突破傳統物件偵測的局限，聰泰科技於 NVIDIA Jetson T5000 平台上，針對 NVIDIA Cosmos3-Nano、Cosmos3-Edge 與 Qwen3.5-9B 三款新一代推理視覺語言模型 (VLM) 進行了深度效能基準測試。NVIDIA Cosmos 3 是一款世界基礎模型，亦可用於感知到行動模型及推理視覺語言模型等應用，我們已完成對其效能的評估。本次測試聚焦於真實公共安全場景（如車禍、火災、水災等）的二元視覺問答（Binary Visual QA），全面評估模型的辨識品質與高併發負載下的推論擴展表現。

技術亮點：準確度與吞吐量的核心對決

綜合來看，Cosmos3-Nano 與 Qwen3.5-9B 呈現出清楚的吞吐量對比：在 49 路併發下，Cosmos3-Nano 的吞吐量超過 Qwen3.5-9B 的兩倍，而準確率僅低約 1%（96.31% 對 97.44%）——對於高密度多攝影機邊緣部署而言，是極具吸引力的效能取捨。測試結果顯示，兩款模型在邊緣端皆展現出極為優異的事件推理能力，但各有其獨特的架構優勢：

Qwen3.5-9B｜極致的語意理解平衡

達成了 97.44% 的準確率與 91.15 的 F1 Score，在相同 49 路併發負載下，吞吐量為 215.37 total tokens/s。在精確率（Precision）與召回率（Recall）之間具備極佳的整體平衡，是需要高度可靠語意理解與深度情境推理場景的首選。

Cosmos3-Nano｜專為多路影像而生的吞吐量怪獸

達成了 96.31% 的準確率與 88.14 的 F1 Score，同時於併發數（Concurrency）達到 49 的極限工作負載下，持續維持 525.01 total tokens/s 的驚人推論速度，效能超過 Qwen3.5-9B 的兩倍以上。（以上兩者數據皆採用 vLLM 搭配 NVFP4 量化——為 YUAN 正式量產的優化配置。）

擴展家族陣容：在同一基準下看 Cosmos3-Edge

為了完整呈現整個模型家族的樣貌，聰泰科技也對 Cosmos3-Edge 進行了測試——這是 Cosmos3 家族中最輕量的成員，專為最嚴苛的邊緣裝置而生。由於 Cosmos3-Edge 的架構目前尚未支援 NVFP4 量化（透過 llm-compressor）或 vLLM/vLLM-Omni，聰泰科技將三款模型一併以完整 FP32 精度、透過 Hugging Face Transformers 執行測試，建立一個不受量化或推論框架優化影響、可直接比較整個家族的乾淨基準。

在同一基準下，F1 Score（相較單純準確率更公平的跨模型比較指標，因為準確率容易受類別不平衡影響）隨模型規模呈現清楚的遞增：Qwen3.5-9B 以 90.32 領先，其次是 Cosmos3-Nano-Reasoner 的 88.32，Cosmos3-Edge 則為 87.40。Cosmos3-Edge 以些微的推理準確度，換取大幅縮小的模型體積。

在單路（concurrency = 1）吞吐量測試中，情況則如預期般反轉——在未量化、未批次處理的基準測試下：Cosmos3-Edge 以 7.37 tokens/s 拿下最快速度，其次是 Cosmos3-Nano 的 3.83 tokens/s，Qwen3.5-9B 則為 2.95 tokens/s。這使 Cosmos3-Edge 成為單攝影機或功耗受限邊緣部署的自然首選，在這類場景中每一毫秒、每一毫瓦都至關重要。至於高併發、多攝影機的量產工作負載，聰泰科技仍建議採用上述 Cosmos3-Nano 搭配 NVFP4 + vLLM 的優化配置。

從影像分析邁向 Physical AI 的全新時代

傳統 Video AI 依賴預先定義的物件偵測，缺乏靈活性。而透過聰泰科技邊緣推理技術與多模態視覺語言模型（VLM）的結合，操作人員現在可以直接以自然語言向系統提問： 「道路是否發生了交通事故？」「監控區域內是否發生異常情況？」 藉由將 NVIDIA Jetson T5000 的強大算力，與 YUAN 的影像擷取、多攝影機整合、SmartNVR 及 SmartVMS 技術深度融合，開發者得在本地端實現即時場景理解與事件推理。這不僅保障了資料隱私，更加速傳統影像分析（Video Analytics）向具備自主決策能力的 Physical AI（物理 AI）與 Agentic AI（智能體 AI）應用轉型。