視頻分析 AI 智能體的時代已經到來。

視頻是現代數字行業的標志性特征之一，占全球數據流量的 50% 以上。它不僅在媒體行業占據主導地位，對各行業的企業也日趨重要，是全球規模最大、最普遍的數據源之一。然而，其中只有不到 1% 的視頻數據會被用于深入分析。

全球近一半的 GDP 產生自實體行業，包括能源、汽車和電子產品。由于勞動力短缺、制造業回流以及自動化需求的增長，視頻分析 AI 智能體將發揮更重要的作用，在物理世界和數字世界之間搭建橋梁。

為了加速這些智能體的開發，NVIDIA 打造了用于視頻搜索與總結 (VSS) 的 AI Blueprint，該藍圖由 NVIDIA Metropolis 平臺驅動，現已全面推出，可為開發者提供構建和部署高性能 AI 智能體的工具，用于分析大量實時和存檔視頻。

由視覺語言模型 (VLM) 驅動的一系列視覺 AI 智能體和生產力助手即將上線。結合強大的計算機視覺模型與超智能大語言模型 (LLM)，這些視頻分析 AI 智能體可助力企業輕松查看、搜索并總結海量視頻。通過實時分析視頻或處理 TB (terabytes) 級錄制視頻，視頻分析 AI 智能體正在眾多行業釋放前所未有的價值和機遇。

制造業和倉儲企業正在通過 AI 智能體提高人員安全性和生產效率。例如，智能體可以幫助分配叉車資源和調配人員崗位，實現效率最大化。在智慧城市領域，視頻分析 AI 智能體被用于緩解交通擁堵并提升安全性，其應用場景還在持續擴展。

用于創建多樣化視頻分析

AI 智能體群的 Blueprint

VSS 藍圖基于 NVIDIA Metropolis 平臺構建，由 NVIDIA VILA 和 NVIDIA Llama Nemotron 等 VLM 和 LLM、NVIDIA NeMo Retriever 微服務以及檢索增強生成 (RAG) 驅動，RAG 可將 LLM 與公司的企業數據結合起來。

VSS 藍圖集成了 NVIDIA AI Enterprise 軟件平臺，包括用于 VLM、LLM 的 NVIDIA NIM 微服務，以及用于 RAG 的先進 AI 框架。通過 VSS 藍圖，用戶總結視頻的速度比實時觀看快 100 倍。例如，60 分鐘的視頻可在不到 1 分鐘的時間內用文字總結出來。

VSS 藍圖具有一系列強大的功能，旨在提供強大的視頻理解能力、性能和可擴展能力。

它可以同時處理數百個實時視頻流或多組視頻片段。除了視覺理解，它還支持音頻轉錄。在音頻至關重要的場景中，將語音轉換為文本可增強理解，例如訓練視頻、主題演講或團隊會議等。

行業領導者部署視頻分析 AI 智能體，

推動實現商業價值

從全球領先制造商到智慧城市和體育賽事聯盟，所有組織都在使用 VSS 藍圖開發 AI 智能體以優化運營。

領先的電子制造公司 Pegatron 使用 VSS 藍圖來研究運營程序并對員工進行最佳實踐培訓。公司還將該藍圖集成到 PEGAAi 平臺中，以便組織構建 AI 智能體，從而優化制造流程。

這些智能體可以提取并分析大量視頻，實現自動監控、異常檢測、視頻搜索和事件報告等高級功能。Pegatron 的 Visual Analytics Agent 可用于理解印刷電路板組裝的操作程序，并識別正確或錯誤的操作。迄今為止，這些智能體將 Pegatron 的人力成本降低了 7%，并將不良率降低了 67%。

其他領先的半導體和電子制造商正在構建 AI 智能體和數字孿生，從而優化其規劃和運營應用。

高雄市正在使用由其合作伙伴 Linker Vision 開發的統一智慧城市視覺 AI 應用，以縮短事件響應時間。此前，廢物管理、交通運輸和應急響應等城市部門因孤島式基礎設施相互隔離，關鍵信息無法互通導致響應速度延遲。

Linker Vision 的 AI 應用由 VSS 藍圖驅動，其智能體能夠結合實時視頻分析與生成式 AI 技術，不僅可以檢測視覺元素，還能夠解析并生成對洪水、交通事故等復雜城市事件的態勢描述。

目前，Linker Vision 為 12 個城市部門提供及時洞察，并計劃在 2026 年前將城市攝像頭從 3 萬臺增加至超 5 萬臺。這些洞察正在提升城市服務的態勢感知能力和數據驅動決策水平，并將事件響應時間縮短高達 80%。

北美職業冰球聯盟 (NHL) 將 VAST InsightEngine 與 VSS 藍圖相結合，可簡化并加速視覺 AI 工作流，管理大量比賽視頻。

通過 VAST InsightEngine，NHL 能夠實現在亞秒級時間內對 PB (petabytes) 級視頻的檢索，支持對比賽精彩瞬間和高光時刻的近實時提取。AI 驅動的代理式工作流通過自動剪輯、標記和組合視頻內容，進一步提高了內容創作效率，確保素材的便捷訪問與高效利用。

NHL 未來或將啟用實時 AI 邏輯推理功能，在比賽時動態生成定制化洞察，例如選手運動數據、比賽戰術分析或預想建議。這種全流程自動化體系或將徹底改變賽事內容的生成、編排以及分發方式，為 AI 體育內容制作樹立新標桿。

西門子正在使用其 Industrial Copilot for Operations 幫助工廠車間人員執行設備維護任務、故障處理和能效調優。這一生成式 AI 助手可根據運營和技術文檔數據，對設備錯誤進行實時解析。

該 copilot 融合了 VSS 組件，如 VLM、LLM 和 NVIDIA NeMo 微服務。Industrial Copilot 實現了快速決策，減少了宕機時間。西門子報告中顯示其生產率提高了 30%，并有望達到 50%。

由不斷擴展的合作伙伴生態系統

提供支持，創建復雜的 AI 智能體

NVIDIA 的合作伙伴正在使用 VSS 藍圖為其工作流加速構建代理式 AI 視頻分析功能，將開發時間從數月縮短到數周。

智能視頻分析領域的領導者 Superb AI 在仁川機場部署了一個智能化機場運營方案，以實現在幾周內縮短乘客等候時間。在馬來西亞，解決方案提供商 ITMAX 正在借助 VSS 藍圖為吉隆坡構建先進的視覺 AI 智能體，以改善城市整體管理水平并縮短事件響應時間。

在廣告領域，PYLER 僅在幾周內就將 VSS 藍圖集成到其品牌安全 (AiD) 和廣告定向投放 (AiM) 解決方案中。三星電子通過 AiD 和 AiM 解決方案，實現了與品牌調性和產品定位精準匹配的高價值廣告投放，顯著提升了廣告效益。比亞迪通過定向投放情境關聯且內容積極的廣告，將廣告點擊率提高了 4 倍，而韓亞金融集團 (Hana Financial Group) 則超額達成了多個品牌活動目標。

Fingermark 是 Eyecue 的應用提供商，后者是快餐店使用的實時計算機視覺平臺。Fingermark 正在將 VSS 藍圖添加到 Eyecue 中，通過規模化視頻片段分析生成清晰且可操作的洞察，從而洞悉得來速 (Drive-Thru) 等待時間、服務瓶頸或員工相關事件。

訪問 NVIDIA 官網了解 VSS 藍圖：

https://www.nvidia.cn/ai/

閱讀技術博客，了解更多詳細信息：

https://developer.nvidia.com/blog/advance-video-analytics-ai-agents-using-the-nvidia-ai-blueprint-for-video-search-and-summarization/

觀看 NVIDIA 創始人兼首席執行官黃仁勛的 COMPUTEX 主題演講，了解更多 NVIDIA GTC 臺北會議詳情。