A370M 與 NVIDIA® T1000 的性能比較
提升高達
2.4x
利用 Resnet50 實現的 AI 推理性能提升,批次大小 32。1
提升高達
2.28x
解碼 2 個 H.264 1080p30 視頻流時的性能提升。1
為開發人員加速 AI 推理
利用 OpenVINO 工具套件的優化技術,例如模型量化、層融合和硬體級優化,您可以顯著提高神經網絡推理的效率。部署到獨立 GPU 上時,這些經優化的模型可以利用 GPU 的並行處理能力,從而加快推理。
OpenVINO 可幫助確保成本效益,同時實現優異的 GPU 性能。最新版本的 OpenVINO 2023.1 通過增加更廣泛的模型支持、減少內存占用以及為大型語言模型 (LLM) 引入其他壓縮技術,使生成式 AI 更適用於真實世界場景。此外,開發人員現在還可以更加靈活地利用他們選擇的框架。立即下載並開始創建 AI 解決方案。
評論