当前位置:当前位置:首页 >焦点 >天数智芯支持百亿级参数大模型训练 正文

天数智芯支持百亿级参数大模型训练

[焦点] 时间:2024-05-05 18:35:58 来源:蓝影头条 作者:百科 点击:25次
6月10日,天数在第五届智源大会AI系统分论坛上,智芯支持上海天数智芯半导体有限公司(以下简称“天数智芯”)对外宣布,百亿在天垓100加速卡的模型算力集群,基于北京智源人工智能研究院(以下简称“智源研究院”)70亿参数的训练Aquila语言基础模型,使用代码数据进行继续训练,天数稳定运行19天,智芯支持模型收敛效果符合预期,百亿证明天数智芯有支持百亿级参数大模型训练的模型能力。

  在北京市海淀区的训练大力支持下,智源研究院、天数天数智芯与爱特云翔共同合作,智芯支持联手开展基于自主通用GPU的百亿大模型CodeGen(高效编码)项目,通过中文描述来生成可用的模型代码以实现高效编码。智源研究院负责算法设计、训练训练框架开发、大模型的训练与调优,天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持,爱特云翔负责提供算存网基础硬件及智能化运维服务。

  天垓100率先完成百亿级参数大模型训练,迈出了自主通用GPU大模型应用的重要的一步。这一成果充分证明了天垓产品可以支持大模型训练,打通了国内大模型创新发展的关键“堵点”,对于我国大模型自主生态建设、产业链安全保障具有十分重大的意义。

  天数智芯将与合作伙伴们继续深入合作,建设更大规模的天垓100算力集群,完成更大参数规模的大模型训练,以自主通用GPU产品更好支持国内大模型创新应用,进一步夯实我国算力基础,助力人工智能产业自主生态建设。(经济日报记者 李治国)

(责任编辑:探索)

國邁趁旺屠「牛」設宴共和报:那不勒斯与皮奥利达成口头协议 签约2+1年
相关内容
精彩推荐
热门点击
友情链接