本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自pc.watch

HBF模塊樣品預(yù)計(jì)于2026年下半年出貨。

超寬帶DRAM 模塊技術(shù)HBM（高帶寬內(nèi)存）的衍生產(chǎn)品最近成為科技媒體的熱門話題。它們分別是移動 HBM和閃存 HBM。這次，筆者想簡單介紹一下Flash HBM或高帶寬閃存（HBF）。Flash HBM或HBF的概念非常簡單。我們先從傳統(tǒng)的技術(shù)HBM（高帶寬存儲器）說起。

HBM 由一個(gè)存儲器部分（DRAM 芯片稱為核心芯片）和位于底部的基礎(chǔ)芯片（邏輯芯片）組成，其中符合 HBM 標(biāo)準(zhǔn)的專用 DRAM 芯片使用硅通孔 (TSV)技術(shù)以三維方式堆疊。

DRAM 芯片（核心芯片）的數(shù)量取決于 HBM 的代數(shù)。例如，第五代HBM3E堆疊了 12 或 16 個(gè)核心芯片。核心芯片的顯存容量為 16Gbit 或 24Gbit。假設(shè)核心芯片的顯存容量為 16Gbit（2GB），堆疊了 12 個(gè)芯片，則一個(gè) HBM 模塊的顯存容量為 24GB（192Gbit）。

八個(gè)HBM 模塊與 GPU 或 SoC 等尖端大規(guī)模邏輯芯片安裝在同一中介層上，總內(nèi)存容量達(dá) 192GB。從 GPU 的角度來看，HBM 相當(dāng)于內(nèi)存層次結(jié)構(gòu)中的主內(nèi)存。此外，DRAM 芯片的內(nèi)存容量將增加到 24Gbit（3GB），堆疊層數(shù)將增加到 16。假設(shè)安裝在中介層上的 HBM 模塊數(shù)量為 8 個(gè)，則 HBM 的總內(nèi)存容量將為 384GB（48GB 模塊 x 8 個(gè)）。

現(xiàn)在，讓我們將核心芯片從DRAM 換成 NAND 閃存。假設(shè) NAND 閃存芯片（核心芯片）的內(nèi)存容量為 256Gbit，堆疊 16 個(gè)核心芯片，則每個(gè)模塊（HBF 模塊）的內(nèi)存容量將達(dá)到 512GB。512/48 = 10.7，512/24 = 21.3，因此每個(gè)模塊的內(nèi)存容量是 DRAM 核心芯片的 10 到 20 倍。這就是HBF（高帶寬閃存）。如果將 8 個(gè) HBF 與 GPU 安裝在同一個(gè)中間板上，我們可以獲得 4,096GB 的大容量主內(nèi)存。

Flash HBM（又稱HBF）的特性（左）和基本結(jié)構(gòu)（右）。

HBF 由 NAND 閃存和閃存存儲供應(yīng)商 Sandisk 發(fā)明。其 I/O 帶寬與 HBM DRAM 核心芯片大致相同，并聲稱能夠以與 HBM 相近的成本將內(nèi)存容量提高 8 到 16 倍，同時(shí)顯著降低功耗。512GB 模塊的 I/O 數(shù)據(jù)速度高達(dá) 1.6TB/s，接近 HBM4 DRAM 核心芯片的速度。其外部尺寸（平面尺寸和高度）也與 HBM4 模塊大致相同。

堆疊DRAM 芯片的 HBM（左）和堆疊 NAND 閃存芯片的 HBF（右）與 GPU 組合后的總存儲容量。單個(gè) HBM 的存儲容量為 24GB（16 個(gè) 12Gbit 芯片或 12 個(gè) 16Gbit 芯片），單個(gè) HBF 的存儲容量為 512GB（16 個(gè) 256Gbit 芯片）。

HBM高成本限制了AI服務(wù)器性能的提升

Sandisk 聲稱，HBF 架構(gòu)是通過收集幾家大型人工智能 (AI) 公司的信息而設(shè)計(jì)的。大型機(jī)器學(xué)習(xí)模型，例如大型語言模型 (LLM)，具有極其龐大的參數(shù)數(shù)量。例如，該公司表示，存儲 1.8 萬億 (1.8T) 個(gè)具有 16 位權(quán)重的參數(shù)需要 3,600GB 的內(nèi)存。

大規(guī)模語言模型(LLM) 的存儲需求示例（左）和相應(yīng)的 HBF 示例（右）。

目前HBM模塊的最大容量為192GB至384GB，因此很難存儲3600GB的數(shù)據(jù)。雖然理論上是可行的，但這會將DRAM的成本推高到不切實(shí)際的水平。

近年來，DRAM 內(nèi)存容量的單位成本下降幅度不如以往。我們預(yù)計(jì)價(jià)格每年僅會下降約 5%。盡管如此，自 2020 年代以來，大規(guī)模機(jī)器學(xué)習(xí)模型所需的內(nèi)存容量一直在快速增長。雖然由于 HBM 容量的擴(kuò)展，GPU 模塊產(chǎn)品的主內(nèi)存容量正在增加，但與所需內(nèi)存容量之間的差距卻在不斷擴(kuò)大。

此外，2020年HBM成本占GPU模塊產(chǎn)品成本的近一半（48%），但預(yù)計(jì)到2025年將上升到三分之二以上（68%）。HBM是一種基于DRAM的高帶寬存儲器，這使得優(yōu)先考慮低成本的邊緣AI服務(wù)器難以提高性能，即擴(kuò)大主存儲器容量（HBM容量）。

左圖為DRAM每單位內(nèi)存容量的單位成本，中圖為大規(guī)模語言模型（LLM）的參數(shù)數(shù)量，以及機(jī)器學(xué)習(xí)用GPU/TPU主內(nèi)存容量的變化趨勢，右圖為HBM成本占GPU模塊（GPU、HBM、中間板等）總成本的比例變化趨勢。

NAND閃存高帶寬模塊的優(yōu)缺點(diǎn)

因此，通過使用單位存儲容量成本低于DRAM 的 NAND 閃存作為高帶寬存儲模塊 (HBF)，可以在抑制存儲成本上升的同時(shí)顯著擴(kuò)展主存儲容量。然而，NAND 閃存存在讀寫性能不對稱的問題。讀取速度與 DRAM 一樣快，原則上沒有使用壽命（可以無限次讀?。?。寫入速度比 DRAM 慢，并且可重寫的次數(shù)有限（最多 10,000 次）。

因此，NAND 閃存不適用于 AI 學(xué)習(xí)服務(wù)器，因?yàn)樵谀Ｐ驼{(diào)整過程中，參數(shù)重寫會頻繁發(fā)生。NAND 閃存適用于基于推理的服務(wù)器，因?yàn)檫@類服務(wù)器不經(jīng)常發(fā)生參數(shù)重寫。SanDisk 聲稱，它適用于邊緣推理服務(wù)器，這類服務(wù)器優(yōu)先考慮降低成本、功耗和安裝空間。

HBF的主要用于邊緣AI推理服務(wù)器。下方的紅色圖表似乎是HBF的核心芯片（NAND閃存）的布局（中央的粗豎條是TSV區(qū)域）。

標(biāo)準(zhǔn)3D NAND 閃存的內(nèi)部結(jié)構(gòu)（左）和用于高帶寬模塊 (HBF) 的 3D NAND 閃存的內(nèi)部結(jié)構(gòu)（右）。兩者均為示意圖。對于 HBF，存儲單元陣列被劃分為多個(gè)塊，從而顯著增加 I/O 數(shù)量至 1,024 個(gè)，并提高了 I/O 帶寬。

HBF的推理性能與無限大容量的HBM幾乎相同

如果將HBM DRAM核心芯片替換為HBF NAND閃存核心芯片，推理性能會下降多少？SanDisk以LLMLlama 3.1（4050億個(gè)參數(shù)）為例，比較了推理過程的幾個(gè)步驟，發(fā)現(xiàn)HBF相比HBM（假設(shè)內(nèi)存容量無限大）的性能下降幅度小于2.2%（GPU亦然）。

HBF 和 GPU 組合的推理性能與 HBM 相當(dāng)接近，但實(shí)際上 HBM 的顯存容量不可能無限大，因此性能差距有望進(jìn)一步縮小。

這是模擬比較Llama 3.1（4050 億個(gè)參數(shù)）與 HBM（假設(shè)內(nèi)存容量無限大）和 HBF 處理性能的結(jié)果。從左到右，這些過程分別為Attn QKV Projection、Attn Output Projection、FFN Up-Projection、FFN Down-Projection、Final Linear和LLM Decode Pass 的平均值?？v軸表示權(quán)重讀取速度。

SK海力士參與開發(fā)

SK海力士將與Sandisk合作開發(fā)HBF并制定其規(guī)范。SK海力士是主要的DRAM和NAND閃存制造商，也是最大的HBM供應(yīng)商。TSV技術(shù)對HBF至關(guān)重要。Sandisk目前尚無TSV技術(shù)量產(chǎn)的記錄，因此SK海力士是理想的合作伙伴。SK海力士擁有HBM（也采用TSV技術(shù)）的量產(chǎn)記錄，并且對NAND閃存非常了解。

HBF模塊樣品預(yù)計(jì)于2026年下半年出貨，搭載HBF模塊的AI推理服務(wù)器預(yù)計(jì)將于2027年初問世。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請聯(lián)系后臺。