Meta内讧!大模型团队人员流失大半 算力紧缺竟成导火索

[百科] 时间:2024-03-29 18:03:11 来源:蓝影头条 作者:探索 点击:40次

    《科创板日报》9月6日讯(编辑 邱思雨) 据The内讧 Information报道,消息人士表示,大模队人Meta参与LLaMA项目的型团人员大半都已辞职,原因是员流Meta另一研究团队(OPT团队)与LLaMA团队就算力资源展开了一场内部斗争。,半算LLaMA是Meta在今年2月发布的一款开源的人工智能大型语言模型。在今年7月,力紧Meta发布了其最新版本LLaMA 2。缺竟相较上一代,成导LLaMA 2训练所用的火索token翻了一倍至2万亿。,内讧而在2月发布的初代LLaMA模型的14位核心原作者中,已有超过一半的大模队人人全部离职,包括Timothée Lacroix、型团Guillaume Lample、员流Marie-Anne Lachaux、半算Gautier Izacard等。力紧,,另一OPT团队则在2022年5月发布了开源大模型OPT-175B,并在几个月后着手开发与谷歌PaLM竞争的竞品,准备开发出第二个更大的模型。,而LLaMA团队开发的模型则比OPT要小。知情人士透露,LLaMA研究团队认为较小的模型在推理时会高效。但由于LLaMA模型小,因此获取的算力资源比OPT团队要少,这或许让LLaMA团队的研究人员感受到不被重视。,Meta AI相关负责人Joelle Pineau也在采访中承认,LLaMA和OPT团队之间在算力分配上有些紧张。,另外,算力资源内斗不仅导致了LLaMA团队半数研究人员的出走,OPT团队同样也面临人员流失的问题。OPT模型的19位原作者中,也有半数已离职Meta。,,原因主要系OPT团队正在开发的与谷歌PaLM竞争的竞品,已被Meta放弃。Pineau无奈地表示:“所有研究团队都想升级自己的模型,这时要么选择其中一个,要么让他们合作。”Meta AI的一些高管也表达过质疑称,OPT和LLaMA两个团队项目的相似度过高,却要竞争有限的算力资源。,最终,Meta AI的领导人决定进行团队重组,将LLaMA和OPT团队的部分研究成员聚集起来,成立了生成式AI团队。,在AI算力竞赛中,科技巨头往往拥有比大多数公司更加充裕的算力资源。而Meta大模型研究人员因算力斗争而相继离职愈发印证了,目前业内算力紧缺程度比想象中还要严重,科技巨头或许也不例外。,(科创板日报 邱思雨)

(责任编辑:热点)

    相关内容
    精彩推荐
    热门点击
    友情链接