YUAN、Jetson T5000上でNVIDIA Cosmos 3とQwen 3.5のベンチマークを実施：リアルタイムエッジ推論AIの進化

AI がクラウドデータセンターからフィジカルAI（ Physical AI ）の世界へと進化する中、次世代エッジ・ビデオAIには、マルチモーダル推論、超低遅延、高並列処理能力に対する要求が急速に高まっています。

従来の物体検出ベースの Video AI の限界を打破するため、YUAN は、NVIDIA Jetson™ T5000 プラットフォーム上で、次世代推論対応 Vision Language Model（ VLM ）である NVIDIA Cosmos3-Nano、Cosmos3-Edge、および Qwen3.5-9B の 3 モデルについて詳細な性能評価を実施しました。

NVIDIA Cosmos 3 は、Perception-to-Action モデルとしても、推論型 Vision Language Model（ Reasoning VLM ）としても利用可能な World Foundation Model であり、本評価では推論 VLM として性能を検証しています。

技術ハイライト : 精度とスループットをめぐる性能比較

Cosmos3-Nano と Qwen3.5-9B の比較では、高密度マルチカメラ環境におけるスループット性能の優位性が明確に示されました。

49 ストリーム同時推論において、Cosmos3-Nano は Qwen3.5-9B の 2 倍以上のスループットを実現しながら、精度差はわずか約 1%（ 96.31%対97.44% ）に留まりました。この結果は、高密度・マルチカメラのエッジAIシステムにおいて極めて優れたトレードオフであることを示しています。

ベンチマーク結果から、両モデルともエッジ環境における高度なイベント推論能力を備えており、それぞれ異なるアーキテクチャ上の強みを持つことが確認されました。

Qwen3.5-9B | 卓越した意味理解性能と総合バランス :

‧ Accuracy ：97.44%
‧ F1 Score ：91.15
‧ 49 ストリーム同時推論時のスループット ：215.37 Tokens/s

Qwen3.5-9B は、高い Precision と Recall を両立し、意味理解および複雑なコンテキスト推論において優れた性能を発揮します。高度な意味解析と高信頼な推論が求められるアプリケーションに最適な選択肢です。

Cosmos3-Nano | マルチカメラ向けに最適化された超高スループット推論エンジン :

‧ Accuracy：96.31%
‧ F1 Score：88.14
‧ 49 ストリーム同時推論時のスループット：525.01 Tokens/s

49ストリームという高負荷環境下でも、525.01 Tokens/sという圧倒的なスループットを維持し、Qwen3.5-9Bの2倍以上の処理性能を達成しました。

※ 上記結果はいずれも、vLLM および NVFP4 量子化を適用した、YUAN の本番環境向け最適化構成による測定結果です。

Cosmos3 ファミリーの比較 : Cosmos3-Edge を含めた公平な性能評価

YUAN はさらに、Cosmos3 シリーズ最軽量モデルであり、リソース制約の厳しいエッジデバイス向けに設計された Cosmos3-Edge についても評価を実施しました。

現時点では Cosmos3-Edge は、llm-compressor による NVFP4 量子化や vLLM / vLLM-Omni に対応していないため、3 モデルすべてを Hugging Face Transformers ランタイム上で FP32 精度に統一してベンチマークを実施しました。これにより、量子化やサービングフレームワークによる最適化の影響を排除し、モデル本来の性能を公平に比較しています。

この統一条件下では、クラス不均衡の影響を受けやすい Accuracy よりも公平な指標である F1 Score において、モデルサイズに応じた性能向上が確認されました。

‧ Qwen3.5-9B ：90.32
‧ Cosmos3-Nano ：88.32
‧ Cosmos3-Edge ：87.40

Cosmos3-Edge は推論精度をわずかに犠牲にする一方、モデルサイズを大幅に削減しており、軽量性を重視する用途に適しています。

一方、単一ストリーム（ Concurrency=1 ）でのスループットでは結果が逆転しました。

‧ Cosmos3-Edge ：7.37 Tokens/s
‧ Cosmos3-Nano ：3.83 Tokens/s
‧ Qwen3.5-9B ：2.95 Tokens/s

量子化およびバッチ処理を行わない条件では、Cosmos3-Edge が最も高速であり、単一カメラ構成や消費電力が厳しく制約されるエッジシステムに最適です。

一方、高並列・マルチカメラ環境では、NVFP4 量子化とvLLMを組み合わせた Cosmos3-Nano 構成が、YUAN 推奨の本番運用ソリューションとなります。

新時代へ : Video Analytics からPhysical AI への進化

従来の Video AI は、あらかじめ定義された物体検出に依存しており、柔軟な状況判断には限界がありました。

YUANは、エッジ推論技術とマルチモーダル Vision Language Model（ VLM ）を組み合わせることで、ユーザーは自然言語によってシステムへ直接問い合わせることが可能になります。

‧ 「道路上で交通事故は発生していますか？」
‧ 「監視エリア内に異常はありますか？」

このような自然言語による問い合わせに対し、YUAN は NVIDIA Jetson T5000 の高い AI 演算性能と、自社のビデオキャプチャ技術、マルチカメラ統合技術、SmartNVR、SmartVMS を高度に融合することで、エッジ側でリアルタイムなシーン理解とイベント推論を実現します。

これにより、クラウドへのデータ送信を必要とせず、プライバシーを保護しながら、従来の Video Analytics を、自律的な意思決定能力を備えた Physical AI および Agentic AI へと進化させることが可能になります。

 

詳細はこちら : 
NVIDIA SIGGRAPH 2026 – Cosmos 3
https://blogs.nvidia.com/blog/siggraph-news-2026/#cosmos-3