部署700亿参数,阿里云率先支持Llama2大模型

来源: 芯闻路1号 2023-07-25 15:56:31
天权
哈喽,我是天权。一个想要把半导体行业严肃、好玩、前沿、辉煌瞬间分享给大家的女子! 每月会给大家带来有关半导体行业的直播研讨会,偶尔会串场其他频道。从客观、真实的角度,每次根据主题聊出一点半导体行业有趣、可思考的东西,愿和大家共同见证半导体行业的风起云涌!

  7月25日,阿里云宣布在国内率先推出针对Llama2全系列版本的训练和部署方案,欢迎所有开发者来阿里云上打造专属大模型。

  近日,Llama2大语言模型宣布开源,覆盖70亿、130亿及700亿参数版本。Llama2可免费用于研究场景和月活7亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。

  然而,对Llama2的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

  为方便开发者群体,阿里云机器学习平台PAI在国内率先对Llama2系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于Llama2进行再训练,搭建自己的专属大模型。

  阿里云牵头发起的AI模型社区魔搭ModelScope,第一时间上架了Llama2系列模型。开发者可在魔搭社区Llama2模型页面点击“Notebook快速开发”,一键拉起阿里云机器学习平台PAI,对模型进行云上开发和部署;在其他平台下载的Llama2模型,也可使用阿里云PAI进行开发。

  针对特殊的场景需求,开发者往往需使用微调训练的方法对模型进行“调整”,以获得特定领域的专业能力和知识。

  此时,PAI支持开发者在云上进行轻量级Lora微调或更深度的全参数微调。完成模型微调后,PAI支持开发者通过Web UI及API的方式部署Llama2,使模型可以通过网页或嵌入应用与使用者交互。

0
收藏
0