当前位置:当前位置:首页 >百科 >Meta传统艺能内斗,在大模型上演了 正文

Meta传统艺能内斗,在大模型上演了

[百科] 时间:2024-04-27 18:44:53 来源:蓝影头条 作者:热点 点击:161次
两个月前,传统开源大模型Llama 2惊艳四座,艺能演如今其发布者Meta在AI领域的内斗发展却遭遇着危机。

据The大模 Information,Meta有几个不同的型上团队同时研究AI,在公司策略变化、传统算力又有限的艺能演情况下,内部斗争严重,内斗目前已经造成了比较严重的大模人员流失。

知情人士透露,型上内部不同团队开发互为竞品的传统模型,其中有的艺能演项目已经被Meta放弃,目前已经有很多人辞职。内斗

今年2月发表的大模原始Llama论文的14位作者中,有一半以上已经离开了Meta,型上其中一些人进入了其他大公司或初创企业。例如FAIR(Meta的AI部门)研究主管阿曼德·朱林(Armand Joulin)于5月离开,加入了苹果;其他有几位工程师加入了法国初创企业Mistral AI,该公司今年6月才成立。

Meta的AI研究实验室主管乔埃尔·皮诺(Joelle Pineau)在接受采访时表示:“留住和吸引优秀人才可能是我花费大部分时间的地方,因为没有优秀的研究人员,我什么都做不了。”

皮诺的话印证着Meta面临AI人才流失的挑战,“巧妇难为无米之炊”,管理者的大部分时间耗费在人员问题上,这对Meta来说是红色的信号灯。

去年底,VR大神约翰·卡马克(John Carmack)辞去Meta的CTO一职,在内部信中大篇幅倾倒对这家科技巨头的不满:效率低下,只有“5%的GPU利用率”;内斗严重,即便他“在这里拥有最高等级的声音,”,依旧力不从心。

这是打在全力发展元宇宙的Meta脸上的一记耳光。

图片

马克·扎克伯格(Mark Zuckerberg)

彼时,该公司完成从Facebook到Meta的品牌重塑已经过去一年时间,马克·扎克伯格(Mark Zuckerberg)贯彻着“以元宇宙为先”的原则,但烧钱不止,收获不足,外部质疑不断,员工已经颇有微辞。一年的时间,Meta元宇宙部门亏损百亿美元,其社交虚拟平台Hrizon Worlds的“小人儿”却连长个腿都困难。

如今,尽管扎克伯格仍然表示未来会两手抓,但Meta已经很少提及“元宇宙”,这家科技巨头似乎已经将重心转向AI。

不管是在元宇宙还是AI领域,Meta都是想要后来而居上,都经历了迅速的策略转变,而AI人才的大幅流失,向Meta的AI野心提出了一个尖锐的问题:Meta赶潮AI,会重蹈元宇宙的覆辙吗?

让我们先来看看Meta内部究竟发生了什么。

Meta的AI研究工作主要由FAIR部门承担。FAIR,也就是Facebook AI Reasearch,从名字里就能看出其“历史久远”,如今母公司早改名Meta。2013年,法国人工智能科学家杨立昆(Yann LeCunn)接受了Facebook的聘请,成为新成立的FAIR的第一任主管。

图片

一开始,FAIR实验室设置在纽约,但如今,它已经在美国纽约和西雅图、法国巴黎、加拿大蒙特利尔、英国伦敦拥有多个实验室。

FAIR成立之初,杨立昆就与扎克伯格达成了研究和产品分开的原则,FAIR致力于研究项目,将AI应用于翻译语言和推进MRI扫描等场景。

在如今这波热潮开始之前,FAIR已经有致力于大型语言模型的开发。2022年5月,FAIR的一个美国团队发布了OPT-175B,对标OpenAI的GPT-3。Meta称在两个模型训练期间学习的内容数量等级相当,但OPT-175B的能耗更低。又过了几个月,同一个团队开始研发新的更大的模型,对标谷歌的PalM。

与此同时,FAIR位于巴厘的另一个团队已经开始研发Llama模型。Llama比OPT模型小,团队认为更小的模型可以更有效地进行推理。

Meta作为科技巨头,在算力上相比大多数公司都是有优势的,其之后招募AI人才时,也强调了这一点。

但多不代表取之不尽,不同的团队分别研发相互竞争的产品,而这些产品又都需要算力支持,谁多谁少,加剧着团队之间的紧张关系。

有知情人士透露,研发Llama的团队一度感觉到被忽视了,他们得到的算力比北美研发OPT的团队少。

作为AI研究实验室的主管,皮诺也承认了这一紧张关系的存在,并表示Meta的计算能力如何分配,由不同业务部门的一组领导人每月对齐决定。决策取决于组织的优先级,以及项目距离发布有多远。当FAIR有团队对算力分配有异议时,会上报至皮诺这里。

竞争的展开,令一些人感到不适。知情人士称,FAIR的一些领导人员对不同团队同时展开资源有限的类似项目表示质疑。

图片

去年底,OpenAI发布ChatGPT,事情发生了变化。Meta领导层的压力加大,要求将AI纳入更多产品中。竞争加剧。

这种紧张的局势在今年2月达到了一个顶点,也就是巴黎团队正式发布Llama模型的时候。该实验室的负责人在此时离开了Meta,而他的离开导致团队与远在美国的Meta领导层隔离开来,为该实验室增加了一些不确定性。

与此同时,OPT团队也在那数月来经受大大小小的人员流失。

在这种情况下,Meta做出了一些改变。

今年2月,Meta成立了一个新团队,专注于为其应用程序开发AIGC(生成式人工智能)技术。新团队由苹果公司前高管艾哈迈德·达勒(Ahmad Al-Dahle)领导,吸纳了很多FAIR的成员,其中就包括一个专注于Llama 2研发的团队。据知情人士,Llama 2的研发团队召集了有竞争关系的FAIR实验室成员。

Llama发布之后,获得了不少好评。几个月内,有AI人员利用Llama研发出了其他开源大模型,如Vina,其功能几乎与其他公司自主研发的大模型能力相当。

扎克伯格也表示,随着开发者不断改进模型,Meta可以将这些改进融入其广告和消费产品中。看起来,扎克伯格从Llama看到了以开源在AI竞争中打开局面的可能性。

图片

Llama 2官网

到了7月,Meta就发布了Llama 2,8月又发布了代码生成版本的Llama版本。

Llama 2的发布,成为Meta的高光时刻。覆盖70亿、130亿、700亿参数版本,开源,可免费用于研究场景和月活7亿用户以下的商业场景。这与以OpenAI为代表的公司采取的闭源策略形成鲜明对比,AI赛道的竞争升级。在发布后的一周,Llama 2就收到了15万次下载请求。

Llama 2也几乎成为Meta的转折点。7月底,Meta发布2023年第二季度财报,在亏损了两年之后,Meta终于盈利,也是自2021年第四季度以来,Meta的营收增长幅度首次达到两位数。

其中最出彩的是广告收入,Meta第二季度的广告收入高于市场预期,同比增长了12%至13%。而广告收入的增长离不开AI的贡献。扎克伯格在电话会议中表示,现在AI推荐内容是Facebook订阅中增长最快的内容项:“AI正在通过我们的自动化广告产品(Meta Advantage)推动广告发布。几乎所有的Meta广告商都在使用至少一款AI驱动的产品。”

他同时表示,已经与微软就Llama 2开发达成合作协议,Meta也将使用Llama自行开发一些新产品。

水面之下,Meta的AI人员持续流失。

在对Llama重视的同时,开发了OPT模型的团队失利,他们原计划开发更大的新模型,但这个项目最终被放弃。皮诺表示,2022年5月发表的一篇关于OPT的论文中列出了19位作者,但根据求职网站LinkedIn展示的信息,其中大约有一半的人已经不在Meta工作了。

整个FAIR也并不好受:随着新团队的成立,FAIR的团队力量被削弱;此外,过去FAIR形成了由研究人员主导的自下而上的文化,其使命是推进在AI领域的突破。随着扎克伯格越来越有意将AI融入产品,FAIR的关注点在缩小。FAIR已经取消了一些不以产品为导向的研究,如蛋白质折叠;同时,新成立的AIGC团队和FAIR之间的项目如何分配也成了问题。

Meta的资源再多,终究是有限的,同理,AI的人才再多,也终究是有限的。尤其在AI狂潮之下,赶潮的Meta必须平衡内部资源,止住人员流失。

元宇宙和AI,Meta都并非开创者,但入局很早。

10年前,Meta还叫Facebook,苹果公司的iPhone开启一个新的时代,Facebook面临着移动互联网的冲击。扎克伯格在PC互联网的快车道上建立起社交帝国,但他知道必须拥抱变化。

扎克伯格瞄准了两个领域:一是AI,二是VR。

对于AI领域的重视,以2013年聘请杨立昆、成立FAIR为标志,在那之前扎克伯格曾试图收购DeepMind,但败给了谷歌。进军VR领域,则以2014年以20亿美元高价收购Oculus为标志,彼时Oculus连众筹订单都还没交付完。

2018年开始,Facebook就陷入了一系列丑闻之中,尤其是剑桥分析数据泄露丑闻,让扎克伯格坐上了美国国会证人席上,鏖战10个小时,回答了关于数据隐私、虚假信息、监管等共计600个问题。那一年Facebook股价跌去19%,扎克伯格个人财富缩水上千亿元。

麻烦一直在持续,2020年8月,其旗下Instagram在美国加州法院吃官司,被指控通过采集和存储超过一亿用户的生物数据并从中牟利。

此外,全球有48亿互联网用户,Facebook有30亿用户。Facebook的用户增长也已经见顶。

Facebook和扎克伯格需要新的出路。而在2020年9月,在收购Oculus并进行了多年“改造”之后,Facebook终于交出了Oculus Quest2头显,以299美元的价格公开发售,备受欢迎。

次年3月,Roblox纽交所上市,打出了元宇宙的概念,市值一度超过480亿美元。

元宇宙的风来了,扎克伯格没有放过它,手握多年前就已经开始布局的业务,Facebook正式更名Meta(取自Metaverse,也就是“元宇宙”一词),All in元宇宙。Meta很快开放了元宇宙平台Horizon World,并将Oculus Quest VR头显改名为Meta Quest。

图片

Oculus Quest 2

元宇宙如“救命稻草”般被扎克伯格死死抓住,但它却未能“救命”。相反,Meta在元宇宙上烧钱不断,收获不足。到了2022年底OpenAI发布ChatGPT的时候,Meta股价已经在此前一年的时间里下跌74%,负责元宇宙项目的Reality Labs部门前9个月亏损94亿美元,预计2023年资本支出高达390亿美元,是2021年的两倍。Meta的一些大股东已经开始愤怒,对于元宇宙策略的质疑越来越盛。

正是在这个节点,卡马克离开了Meta,并指责Meta效率低下、内部斗争严重。离开Meta之后,卡马克投入谷歌的怀抱。

卡马克是游戏行业的传奇程序员,被誉为“当代第一人称射击游戏之父”,在2013年就加入了Oculus,同年Oculus被Meta收购。

从收购Oculus,到2020年推出Oculus Quest 2,数年间Meta都在对Oculus进行“清洗”。三年间,Oculus创始人帕尔默·拉奇(Palmer Luckey)、高管布伦丹·艾里布(Brendan Iribe)、内特·米切尔(Nate Michell)悉数出局。而其中创始人拉奇和卡马克过从甚密。

这一切,卡马克都亲眼见证。离职时所言,也并非卡马克第一次批评Meta,此前他还表示过Meta在元宇宙豪掷100亿美元让他“感到恶心”。

元宇宙未能大获全胜,AI浪潮又席卷全球,甚至比前者影响更加深远。Meta迅速动作,基于多年在AI领域的发展再接再厉,迅速加入了科技巨头的AI大战之中,这情形何其相似。

但危机也何其相似,正如Meta在发展元宇宙时有Oculus的历史遗留问题,如今AI领域的人员流失,也来自FAIR多个实验室在AI浪潮之前就开始的内部拉扯。

只是这一次,Meta必须得行,毕竟机会不会一而再再而三的出现,元宇宙的苦涩果实吃一次伤身,吃两次也许足以致命。

(责任编辑:焦点)

    相关内容
    精彩推荐
    热门点击
    友情链接