基於 Socionext Miranda 的 OMNIVIEW 之AVM 360º 立體環景監控系統方案

Socionext近幾年積極發展Automotive Graphics Solution。本方案即是採用Socionext新一代Miranda SoC (SC1810) 系列晶片,配備了專有的“視覺處理器單元(VPU)”,它符合由標準化組織Khronos Group開發的計算機視覺API OpenVX。SC1810 VPU包括符合OpenVX標準的硬件加速器,以及可編程數據並行加速器,可實現高速、低功耗的高級圖像識別功能,亦針對車載圖形顯示應用進行了優化,更可整合360環景影像、汽車儀表板、抬頭顯示器、車用資訊娛樂系統等各種螢幕,並加以控制與顯示的高度整合解決方案。

本方案搭配經長時間穩定測試,且專為車用方案所開發的專用RTOS操作環境,展示了4路高清720p 360°立體環景監視系統,並可從種角度觀看汽車周圍影像。對開發者而言,更可透過專有OMNIVIEW軟體工具,能夠輕易地設計出用戶想要觀看的立體環景視角、位置以及各種角度的俯瞰圖,大大降低用戶實現360環景影像的門檻。本方案也預留了6路影像輸入、MIPI影像輸入、3路HDMI影像輸出、FPD-LINK影像輸出、USB、CAN、LINE in/out、乙太網路、SD卡、JTAG等多種IO接口。




Miranda Evaluation Board Block Diagram





 

360°立體環景監控系統 (360º Wraparound View (OMNIVIEW))

OMNIVIEW是一種視線輔助圖像處理技術,可以從任何視點或視線顯示安裝攝像機的物體周圍環境的圖像。 它還可以在切換顯示的圖像時實現視線的平滑移動。我們提供OMNIVIEW軟體的套裝組合,能直接在OMNIVIEW上設計想查看的地方、視角、位置。OMNIVIEW軟體工具,擁有完善的影像拼接和影像校正方法,能夠調整每一路的影像觀看角度,並提供了簡單易懂的操作介面

本方案不僅可由上方俯視車身(鳥瞰圖),還能從「想查看的地方、想查看的位置、想查看的角度」,顯示車身周邊360度的影像,本系統更能無縫顯示車輛四周360°廣域範圍的影像。

透過OMNIVIEW軟體工具,本方案展示了一套簡單易入門的360°立體環景監控系統的方法,解決了以往需耗費多時才能完成的軟體拼接演算法,讓開發者能用更少的工時完成360°立體環景監控系統的設計,並且可針對不同客戶需求做客製化設計。本方案不只大大的降低了開發時程,更提供了更高的360°環景設計彈性。










專用的
視覺處理器單元VPU (Vision Processor)

本方案在展示輸入的4路Serdes HD-SDI 數位高清影像,透過Sereds轉板轉換成BT1120訊號輸入到Miranda的Video Capture接口,透過OMNIVIEW技術貼合360°立體環景影像,並且可以切換不同觀看視角,同時顯示在多個螢幕上。而應用上,Miranda更可以支援6路Camera,如360°立體環景加上左右電子照後鏡等應用。




軟體架構圖

本方案使用專為車用系統所開發的RTOS,有長期穩定的開發使用經驗,且已有客戶導入。此外也提供了OpenGL/OpenVX等專有繪圖API指令,透過Socionext專有的VPU可達到更快速的繪圖運算,節省CPU資源。

 







►場景應用圖

►展示板照片

►方案方塊圖

►展示 360°環景小車與Serdes轉板

►方案成果展示(1): 2D鳥勘圖、後視角圖

►方案成果展示(2): 3D立體環景圖

►方案成果展示(3): 2D鳥勘圖+3D立體環景圖

►核心技術優勢

• 獨家OMNIVIEW視線輔助圖像處理技術,支援魚眼校正、拼接貼合等功能,大大降低入門門檻,且演算法軟體維護容易 • 提供BSP、開發環境以及OMNIVIEW工具等課程訓練及支持。 • 最多可支援6路影像同時輸入,以及3路獨立影像顯示同時輸出 • 亦可同時將影像進行H.264編碼,並儲存影像資料 • AVM演算法使用OpenVX並透過SOCIONEXT專為車用開發的視覺硬體加速器,大大降低占用CPU資源 • 開發板預留了6路影像輸入、MIPI影像輸入、3路HDMI影像輸出、FPD-LINK影像輸出、USB、CAN、LINE in/out、乙太網路、SD卡、JTAG等豐富IO接口,可做多種開發測試應用

►方案規格

• Arm Cortex A9四核心CPU • 2D/3D 圖像引擎,支援OpenGL® ES 3.1 • 搭載SOCIONEXT 專有的視覺硬體加速處理器 • 支援解碼器 : H.264, M-JPEG, 最多可達6路全高清(1920x1080) [30幀] • 支援編碼器 : H.264, 最多可達4路全高清(1920x1080) [30幀] 或 2路全高清(1920x1080) [60幀] • 支援6路全高清影像輸入(1920x1080) [30fps], DRGB, YUV, MIPI-CSI2 • 支援3路全高清影像獨立顯示器(1920×1080p), DRGB, FPD-Link, YUV