谷歌Transformer模型论文合著作者离职创业 准备给AI产业探一条新路

[热点] 时间:2024-01-23 14:22:49 来源:蓝影头条 作者:百科 点击:159次
财联社

  作为本轮AI热潮的谷歌起点,谷歌在2017年发表了题为《Attention is 型论新路all you need》的经典论文,对Transformer模型做出了具有历史意义的文合重大改进。而根据最新的著作者离职创消息,这篇论文的业准合著作者Welshman Llion Jones已经离开谷歌,标志着当年写这篇论文的产业团队已经全部离开美国科技巨头。

  谷歌的探条论文也为五年后席卷全球的科技热潮奠定了基础,包括ChatGPT、谷歌文心一言、型论新路Bard、文合讯飞星火、著作者离职创Stability AI、业准Midjourney、产业Dall-E等几乎所有市面上的探条知名产品背后都是Transformer架构。

  选在这个时候在AI领域自立门户,谷歌与挥金如土的各大巨头展开竞争,是因为Jones对AI领域产生了一些不同的想法。

  Jones与前谷歌AI日本地区的负责人、曾领导Stability AI开发的David Ha一拍即合,周四宣布在日本东京创办了一个名为Sakana AI的新公司,追求将“大自然系统的集体智慧”引入AI领域。Sakana在日语中是“鱼”的意思,代表着“一群鱼聚在一起,根据简单的规则行程连贯实体”的愿景。

  在Transformer架构的创新问世后,业界的发展重心一度聚焦在将各种“GPT”越做越大,而Sakana AI将聚焦在创造一个新的架构。

  他们认为,当前人工智能模型的局限性在于它们被设计为脆弱的、难以改变的结构,就像桥梁或建筑物那样。相比之下,在集体智慧的作用下,自然系统对周遭发生的变化非常敏感。自然系统会适应并成为周遭环境的一部分。Sakana AI希望使用这些进化计算的原理构建人工智能,来解决AI系统成本和安全性等问题。

  David Ha对此概括称,相较于建造一个吸收所有数据的庞大模型,Sakana AI的做法可能是使用数量巨大的小模型,每一个模型所包含的数据集都不大但有独特的专长,然后让这些模型进行协作来解决问题。

  至于为什么要跑到东京去创业,两位创始人表示,除了在东京呆过很多年外,他们也认为训练在非西方社会和文化中也能表现良好的模型,能够成为下一次技术突破的催化剂。

(责任编辑:焦点)

    相关内容
    精彩推荐
    热门点击
    友情链接