作者 /Google DeepMind 研究副總裁 Clement Farabet 和Google DeepMind 總監(jiān) Tris Warkentin

AI 有可能解決人類面臨的一些最緊迫的問題，但前提是每個(gè)人都擁有構(gòu)建 AI 的工具。這就是我們在今年早些時(shí)候推出 Gemma的原因，Gemma 是一系列輕量級開放模型系列，采用了與創(chuàng)建 Gemini 模型相同的研究和技術(shù)。我們還陸續(xù)推出了 CodeGemma、RecurrentGemma 和 PaliGemma，以此不斷發(fā)展我們的 Gemma 系列，上述每個(gè)模型都能為不同的 AI 任務(wù)提供獨(dú)特的功能，并且可以通過與 Hugging Face、NVIDIA 和 Ollama 等合作伙伴的集成輕松訪問。

現(xiàn)在，我們正式向全球研究人員和開發(fā)者發(fā)布 Gemma 2。Gemma 2 分為 90 億 (9B) 和 270 億 (27B) 兩種參數(shù)版本，與第一代相比，其性能更強(qiáng)、推理效率更高，并且在安全性方面也有顯著提升。事實(shí)上，作為一種有競爭力的替代方案，Gemma 2 27B 的性能可以與規(guī)模是其兩倍的模型相媲美，截至去年 12 月，只有專有模型才能達(dá)到此性能水準(zhǔn)。如今，這可以在單個(gè) NVIDIA H100 Tensor Core GPU 或 TPU 的主機(jī)上實(shí)現(xiàn)，從而顯著降低了部署成本。

效率與性能躍階的

全新開放模型標(biāo)準(zhǔn)

我們在重新設(shè)計(jì)的架構(gòu)上構(gòu)建了 Gemma 2，旨在提供卓越的性能和推理效率。以下是它脫穎而出的原因:

非凡性能:Gemma 2 27B 在同類規(guī)模的模型中性能最優(yōu)，甚至比其規(guī)模大兩倍以上的模型更具競爭力。而 Gemma 2 9B 模型也具有一流的性能，優(yōu)于 Llama 3 8B 以及其他相同規(guī)模類別的開放模型。如需了解詳細(xì)性能分析，請查閱技術(shù)報(bào)告。

立竿見影的降本增效:Gemma 2 27B 模型旨在助您使用單個(gè) Google Cloud TPU 主機(jī)、NVIDIA A100 80GB Tensor Core GPU 或 NVIDIA H100 Tensor Core GPU 以全精度高效運(yùn)行推理，從而顯著降低成本，同時(shí)保持高效性能。這使得 AI 部署更加易于訪問且經(jīng)濟(jì)實(shí)惠。

跨硬件的極速推理:Gemma 2 經(jīng)過優(yōu)化，可以在一系列硬件上以不可思議的速度運(yùn)行，包括強(qiáng)大的游戲本電腦、高端臺(tái)式機(jī)和云端配置等。您可以在 Google AI Studio 中以全精度體驗(yàn) Gemma 2，在 CPU 上使用 Gemma.cpp 量化版本解鎖本地性能，或者通過 Hugging Face Transformer 在配備 NVIDIA RTX 或 GeForce RTX 的家用電腦上試用。

專為開發(fā)者和研究人員打造

Gemma 2 不僅功能更強(qiáng)大，并且還能夠更輕松地集成到您的工作流程中:

開放且易于訪問:就像最初的 Gemma 模型一樣，Gemma 2 可在我們商業(yè)友好型的 Gemma 許可下使用，支持開發(fā)者和研究人員分享和商業(yè)化他們的創(chuàng)新成果。

廣泛的框架兼容性:由于 Gemma 2 與 Hugging Face Transformer 等主要 AI 框架兼容，并且通過原生 Keras 3.0、vLLM、Gemma.cpp、Llama.cpp 和 Ollama 兼容 JAX、PyTorch 和 TensorFlow，因此您可以輕松地將其與您偏好的工具和工作流一起使用。此外，我們還通過 NVIDIA TensorRT-LLM 優(yōu)化了 Gemma，支持該模型在 NVIDIA 加速基礎(chǔ)架構(gòu)上運(yùn)行，或作為 NVIDIA NIM 推理微服務(wù)運(yùn)行，并將很快優(yōu)化支持 NVIDIA NeMo。您現(xiàn)在便可以使用 Keras 和 Hugging Face 進(jìn)行微調(diào)。我們正在積極努力，以提供更多參數(shù)高效的微調(diào)選項(xiàng)。

輕松部署:從七月開始，Google Cloud 客戶將能夠在 Vertex AI 上輕松部署和管理 Gemma 2。

探索新的 Gemma 手冊，其中包含一系列實(shí)用示例和指南，幫助您構(gòu)建自己的應(yīng)用并針對特定任務(wù)微調(diào) Gemma 2 模型。還可了解如何輕松使用您的工具與 Gemma 集成，包括用于如檢索增強(qiáng)生成等常見任務(wù)。

負(fù)責(zé)任的 AI 開發(fā)

我們致力于為開發(fā)者和研究人員提供負(fù)責(zé)任地構(gòu)建和部署 AI 所需的資源，包括使用我們負(fù)責(zé)任的生成式 AI 工具包 (Responsible Generative AI Toolkit)。最近開源的 LLM Comparator 可幫助開發(fā)者和研究人員深入評估語言模型?，F(xiàn)在，您可以使用配套的 Python 庫對您的模型和數(shù)據(jù)進(jìn)行比較評估，并在應(yīng)用中可視化結(jié)果。此外，我們正在積極致力于為 Gemma 模型開源文本水印技術(shù) SynthID。

在訓(xùn)練 Gemma 2 時(shí)，我們遵循穩(wěn)健的內(nèi)部安全流程和過濾預(yù)訓(xùn)練數(shù)據(jù)，并根據(jù)一套全面的指標(biāo)開展嚴(yán)格的測試和評估，以識別和減輕潛在的偏見和風(fēng)險(xiǎn)。我們在大量的與安全和代表性危害相關(guān)的公共基準(zhǔn)上發(fā)布我們的結(jié)果。

使用 Gemma 構(gòu)建的項(xiàng)目

我們首次推出 Gemma 時(shí)獲得了超過 1,000 萬次的下載量，并促成了無數(shù)鼓舞人心的項(xiàng)目。例如，Navarasa 利用 Gemma 創(chuàng)建了一個(gè)基于印度語言多樣性的模型。

如今，Gemma 2 將幫助開發(fā)者落地更具雄心的項(xiàng)目，在他們的 AI 創(chuàng)作中釋放全新的性能和潛力。我們將不懈地探索新的架構(gòu)，并開發(fā)專門的 Gemma 變體，以應(yīng)對更廣泛的 AI 任務(wù)和挑戰(zhàn)。這包括即將推出的Gemma 2 2.6B 模型，旨在進(jìn)一步彌合輕量級可訪問性與強(qiáng)大性能之間的差距。您可以參閱技術(shù)報(bào)告以詳細(xì)了解。

開始構(gòu)建

Gemma 2 現(xiàn)已在 Google AI Studio 中推出，因此您可以在無需硬件要求的情況下測試 Gemma 2 27B 的全部性能。您還可以從 Kaggle 和 Hugging Face 模型下載 Gemma 2 的模型權(quán)重，Vertex AI Model Garden 中也即將推出。

為了方便研究和開發(fā)，您還可通過 Kaggle 或 Colab notebook 免費(fèi)使用 Gemma 2。首次使用 Google Cloud 的用戶可能有資格獲得 300 美元積分。學(xué)術(shù)研究人員可以通過申請 Gemma 2 學(xué)術(shù)研究計(jì)劃 (Gemma 2 Academic Research Program)獲取 Google Cloud 積分，從而加速 Gemma 2 的研究。申請現(xiàn)已開放，截止日期為 8 月 9 日。