高帶寬存儲器（HBM)在AI的應用中異軍突起

高帶寬存儲器（英文：High Bandwidth Memory，縮寫HBM）是超微半導體和SK Hynix發起的一種基於3D堆棧工藝的高性能DRAM，適用於高存儲器帶寬需求的應用場合，像是圖形處理器、網上交換及轉發設備（如路由器、交換器）等。HBM（高帶寬存儲器）是GDDR的一種，定位在處理器片上緩存和傳統DRAM之間，兼顧帶寬和容量，較其他存儲器有高帶寬、低功耗、面積小的三大特點。 高帶寬存儲器（英文：High Bandwidth Memory，縮寫HBM）是超微半導體和SK Hynix發起的一種基於3D堆棧工藝的高性能DRAM，適用於高存儲器帶寬需求的應用場合，像是圖形處理器、網上交換及轉發設備（如路由器、交換器）等。HBM（高帶寬存儲器）是GDDR的一種，定位在處理器片上緩存和傳統DRAM之間，兼顧帶寬和容量，較其他存儲器有高帶寬、低功耗、面積小的三大特點。

AI晶片要求高算力和大帶寬，算力越強、每秒處理數據的速度越快，而帶寬越大、每秒可訪問的數據越多，算力強弱主要由AI晶片決定，帶寬由存儲器決定，存力是限制AI晶片性能的瓶頸之一。目前在NVIDIATesla P100、AMD的Radeon RX Vega系列、Intel的Knight Landing均採用了HBM2。

下圖比較DDR、LPDDR、GDDR及HBM四類DRAM標準的區別和聯繫，探討 HPC系統內存設計的內在邏輯，以理解在AI大模型時代，DRAM從晶片到系統層面 的發展方向。 

HBM，突破性3D內存技術，採用先進封裝將多個DRAM晶片垂直堆疊，顯著提升內存帶寬，降低功耗。- 實現大容量、高帶寬存儲，滿足高性能計算、人工智慧等領域對內存的嚴苛要求。- 通過採用矽通孔(TSV)和微凸塊等先進封裝技術，HBM打破了傳統內存帶寬和功耗瓶頸。- 與GPU集成封裝，減少信號傳輸路徑，降低延遲，進一步提升性能。作為基於3D堆棧工藝的高性能DRAM，打破內存帶寬及功耗瓶頸。HBM(High Bandwidth Memory)即高帶寬存儲器，通過使用先進封裝(如TSV矽通孔、微凸塊)將多個DRAM晶片進行堆疊，並與GPU一同進行封裝，形成大容量、高帶寬的DDR組合陣列。

   

面向 GPU，HBM 高帶寬優 勢成為 AI 大模型訓練推理關鍵

（一）HBM 成為 AI HPC 首選存儲方案，GDDR 性價比具備優勢 GDDR是專為圖形處理應用設計的高速內存技術，搭配GPU用於圖形處理、數據中 心加速和AI等需要高帶寬數據處理的場景。HBM相比GDDR具有更高的傳輸帶寬、 更高的存儲密度、更低的功耗以及更小的尺寸。

（二）HBM 持續向更大帶寬、更大容量升級 HBM持續向更高帶寬、更大容量發展。從HBM2到HBM3E，HBM的容量和帶寬都有 了顯著的提升。容量的提升主要得益於單個die容量密度的提升和堆疊層數的提升。