苏州大学推出开源大模型OpenBA,具备150亿参数

[热点] 时间:2024-04-28 05:07:41 来源:蓝影头条 作者:时尚 点击:167次
据 Arxiv 页面显示,苏州来自苏州大学的大学大模一个研发团队近日推出一款名为 OpenBA 的开源 seq2seq 模型。

据悉,推出 OpenBA 是开源一款具有150亿参数的双语非对称seq2seq模型,也是备亿首个加入中国开源模型社区的大语言模型变体。论文显示,参数研究者采用高效的苏州技术以及采用三阶段的训练策略,从头开始训练了OpenBA模型。大学大模

实验显示,推出OpenBA 在 BELEBELE 基准测试中的开源性能优于 LLaMA-70B,在 MMLU 基准测试中的备亿性能优于 BLOOM-176B,在 C-Eval(hard)基准测试中的参数性能优于 GLM-130B。

苏州

苏州

(责任编辑:休闲)

    相关内容
    精彩推荐
    热门点击
    友情链接