原創(chuàng) 文摘菌 大數(shù)據(jù)文摘

Gemma 3 的“低門檻 AI”計(jì)劃露面了，谷歌這次直接把 Gemma 3 做成了“跑得動(dòng)的”AI。

—Gemma-3-27b-it-qat-q4_0-gguf 聽上去像個(gè) Wi-Fi 密碼，其實(shí)卻是谷歌迄今為止最精簡(jiǎn)的大模型

是的，不再只屬于高端服務(wù)器和土豪顯卡，普通玩家的游戲卡，甚至手機(jī)，都能一試身手。

這波操作的核心是三個(gè)字：量化訓(xùn)練（Quantization-Aware Training, QAT）。

為什么量化訓(xùn)練讓 AI 變“親民”？

以前的 Gemma 3需要“天花板配置”：NVIDIA H100，BFloat16 精度，普通人家根本用不起。

而這次，Google 把量化訓(xùn)練用到了極致。簡(jiǎn)單說，就是讓模型在訓(xùn)練階段就習(xí)慣低精度（比如 int4、int8），以后部署時(shí)直接“瘦身”，幾乎不掉智商。

顯存節(jié)省效果非常明顯。以 27B 參數(shù)的模型為例，原本需要 54 GB 的顯存，在 int4（4 位整型）格式下只需 14.1 GB；12B 版本從 24 GB 降到了 6.6 GB。即便是小尺寸模型也受益明顯：4B 版本僅需 2.6 GB，1B 版本甚至只要 0.5 GB 顯存。

量化訓(xùn)練的“魔法”到底在哪里？

普通的量化是什么？后處理。模型訓(xùn)完了，直接把參數(shù)壓縮成低精度，代價(jià)就是：掉分，掉智商。

Google 這次玩的是 QAT —— 訓(xùn)練過程直接讓模型在低精度環(huán)境下“吃苦頭”，提前適應(yīng)精度損失。Google 自己也說了：“因?yàn)?QAT，這些模型對(duì)量化魯棒，性能和原版近乎持平。”

當(dāng)然，benchmark 數(shù)據(jù)沒公開，多少有點(diǎn)賣關(guān)子，但社區(qū)已經(jīng)開始實(shí)測(cè)和玩梗。

不過，僅看顯存和推理速度的變化，這次量化訓(xùn)練確實(shí)把大模型帶進(jìn)了“民用領(lǐng)域”。

原標(biāo)題：《谷歌“Wi-Fi密碼”式的最瘦大模型》

閱讀原文