17611538698
webmaster@21cto.com

Google发布开源大模型Gemma,支持多种框架,笔记本也能跑!

人工智能 0 554 2024-02-23 08:00:09

图片

21CTO导读:Google开源大模型Gemma来了,笔记本上能调试,看看究竟。

Google继公布大型语言模型(large language model,LLM)Gemini 1.5版后,本周再度公布开源AI模型Gemma 2个版本,此举可让开发及研究人员在云端、数据中心甚至笔记本、PC上自建与执行AI模型。

Gemma是一轻量开源模型家族,由Google DeepMind及其他团队联合开发,它是以开发Gemini模型相同的内核和技术为基础打造而成。

Gemma名称源自拉丁语“gemma”,意思是“宝石”。昨天它已在全球上线(ai.google.dev/gemma)。

图片

目前开源的Gemma有两个版本,名为Gemma 2B及7B,Google还同时发布了协助开发者、协同及相关管理和使用的工具。

除了Gemma开源模型,Google最新AI模型Gemini也在今天更新,并且已经全面上线。

Google一再向我们强调说,Gemma和Gemini采用相同技术与基础架构组件,这使得Gemma 2B及7B效能超越其它同样规模的开源模型。

Gemma在数项标竿测试上,也超越更大的模型。

根据Google提供的数据,不论在推理、数学、代码编写上,Gemma 7B都超越了Llama 2 7B,而在多项数据上,也超越了另一个开源模型Mistral 7B。

图片

来源:Google

Gemma预训练模型及按提示语微调(instruction-tuned)后的模型,可直接执行于开发人员的笔记本或工作站、桌面电脑或者Google Cloud的Vertex AI和Google Kubernetes Engine(GKE)上。

VertexAI上有着广泛MLOps工具,内建多种微调选项及一键部署。Google表示,不论是代管的Vertex AI工具或自行管理的GKE,都支持定制化,包括能部署到各种GPU、TPU、和CPU等基础架构平台上。

Gemma支持多种工具和系统,允许开发者和企业以自有数据微调Gemma。Google提供的推理和监督式微调参考实作工具也支持多种主要框架,包括Kera 3.0、原生PyTorch、JAX和Hugging Face Transformers。

在硬件方面,Gemma已针对多种AI硬体平台进行优化,除了Google Cloud TPU外,Google也和Nvidia合作,以便确保Nvidia GPU为基础的云端、本地部署数据中心、到RTX AI PC上具备高速执行效率。

Google强调Gemma是根据其安全与负责任的AI原则设计。

为了确保Gemma预训练模型的安全与稳定,研发团队使用自动化方法筛选掉数据集中的个性化及其它敏感信息,也使用微调及基于人类反馈的强化式学习(reinforcement learning from human feedback,RLHF)确保模型符合负责任的安全行为。

同时为了解及降低Gemma模型的风险,Google也实行严谨的评估,包括红队演练、自动化威胁测试及模型的危险活动能力评估。为让外部用户进行负责任AI的评估,Google也公布新的负责任生成式AI工具包,包括可以简单范例建立安全分类器的工具、模型侦错及Google分享的负责任模型开发与部署指南。

图片

为方便开发者开始使用Gemma,Gemma可整合Kaggle、Colab notebook常见工具如Hugging Face、MaxText、Nvidia MeMo及TensorRT-LLM。

为了吸引开发人员使用Gemma,Google提供Kaggle notebook、Colab免费方案,以及300美元Google Cloud积分。

Google甚至还额外提供高达50万美元等值的Google Cloud积分,供研发人员申请更个性化的项目执行。

作者:校长

评论