当前位置:首页>文章>AI资讯>王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用

王小川旗下百川智能发布Baichuan-13B大模型 130亿参数开源可商用

继Baichuan-7B之后,近日,王小川旗下百川智能再次发布Baichuan-13B大模型。

据介绍,Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含130亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。

Baichuan-13B 有如下几个特点:

  1. 更大尺寸、更多数据:Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿,并且在高质量的语料上训练了1.4万亿 tokens,超过 LLaMA-13B40%,是当前开源13B 尺寸下训练数据量最多的模型。支持中英双语,使用 ALiBi 位置编码,上下文窗口长度为4096。
  2. 同时开源预训练和对齐模型:预训练模型是适用开发者的『 基座 』,而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型(Baichuan-13B-Chat),具有很强的对话能力,开箱即用,几行代码即可简单的部署。
  3. 更高效的推理:为了支持更广大用户的使用,我们本次同时开源了 int8和 int4的量化版本,相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛,可以部署在如 Nvidia3090这样的消费级显卡上。
  4. 开源免费可商用:Baichuan-13B 不仅对学术研究完全开放,开发者也仅需邮件申请并获得官方商用许可后,即可以免费商用。

【HuggingFace】

预训练模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Base

对话模型:https://huggingface.co/baichuan-inc/Baichuan-13B-Chat

【GitHub】

https://githuB.com/Baichuan-inc/Baichuan-13B

【Model Scope】

预训练模型:https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Base/

对话模型:https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Chat/

声明:学AI网所有文章,如无特殊说明或标注,均为本站作者原创发布。任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若此作者内容侵犯了原著者的合法权益,可联系客服或提交工单进行处理。学AI网内用户所发表的所有内容及言论仅代表其本人,并不反映任何学AI网之意见及观点。

给TA充电
共{{data.count}}人
人已充电
AI资讯

GPT-4内幕大泄露!1.8万亿巨量参数,13万亿token训练,斥资6300万美元

2023-7-11 17:40:08

AI资讯

官宣!马斯克成立人工智能公司xAI,目标是了解“宇宙的真实本质”

2023-7-13 11:18:45

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索