中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

[热点] 时间:2024-04-29 05:00:25 来源:蓝影头条 作者:百科 点击:179次
只靠一句话,中国AI就能做一支科幻电影预告片。首个视频

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

脚本、大模每帧画面、布句背景音乐,话生幻AI都能生成。片预

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

这就是中国国内首款视频垂直大模型新壹视频大模型带来的现场首秀。

由该模型作为底座的首个视频AIGC视频平台一帧秒创,同步推出,垂直成科现在可直接体验。大模

不仅是布句用AI生成画面,这个平台还能实现图文转视频、话生幻AI帮写、片预插入数字人等。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

在过去半年试运营中,该平台每天产出超出10万分钟视频,积累了200多万用户。

同时还推出了数字人创作平台,24小时内就可以训练好一个数字人。

在发布现场,还有投资人任泉还来帮忙站台,强调正在视频领域发生的新技术革新。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

所以,这个视频大模型什么来头?

首个垂直视频大模型?

发布会介绍,新壹大模型是一个以视频为核心的多模态AIGC模型。

通过对海量视频样本的学习,具有几大关键能力:

多模态感知

实时学习

自迭代

多场景交叉推理

由此它能理解文字的含义、识别图像内容、感知音乐情绪,然后生成视频。

在发布会现场的演示中,最开始给新壹大模型的仅仅是一句主题:

人类驾驶地球、离开太阳系、并遇到危险。

然后就看到大模型很快理解了意思,输出了10个镜头的脚本,都非常契合主题。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

下一步,再基于生成文字内容,大模型又给出了10个分镜头。

从现场效果里可以看出,每一个镜头给出的画面,和文字的对应也很紧密。

比如镜头八的脚本是“一位科学家站起来,他的眼神坚定”。

画面上就给出了一位穿太空服的男性,皱紧眉头,眼神坚定。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

再要求AI配一段“大气磅礴、有重低音和交响乐团的元素,给我一种踏上新征程的感觉”。

最后把生成的所有素材一结合,就有了一个完整的科幻预告片。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

据介绍,新壹视频大模型采用了自监督学习方案,会观察和学习大量的视频数据,通过分析视频的结构、内容、风格等多个维度,自我理解和把握视频制作的规则和逻辑。

而且能跨场景进行知识迁移与关联,选择合适素材,调整视频风格;还可面向行业级的垂直场景对新壹视频大模型做定向训练

在现场,新壹方面也强调,大模型中关于视频理解、匹配输出的部分,均是由自研技术支撑

而以该模型为底座的座的AI内容生成平台一帧秒创,也正式发布。

它能提供图片生成、视频生成、声音生成、数字人生成等任务。

并提供了一个千万级的结构化视频库,可以精准匹配素材。

比如在现场演示中,通过平台制作一个“夏日防暑小妙招”的视频,同样是AI自己生成文案、匹配素材。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

除了视频制作方面,同步亮相的还有一个数字人平台

据介绍,通过多模态合成AI技术,该平台可以将真人录制的视频和音频素材,快速生成2D写实数字人。

基于新壹视频大模型, 24内小时即可完成一个数字人的训练。通过融合通用语言模型、音视频生成技术,能够快速、低成本的生成真人播报视频和直播。

结合该技术,还有一个名为“秒祝”的明星数字人祝福视频制作产品发布。它可以还原明星的声音和形象,制作出对应数字人,并生成个性化定制祝福视频。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

那么问题来了:

带来这一系列AIGC领域新动向的玩家,到底是谁?

视频行业20年老玩家出手

如上一系列新技术、新产品的幕后玩家,名叫新壹科技

公开信息显示,新壹科技注册于2022年1月,是一家非常年轻的创业公司。

但是他们的团队,其实是在视频行业中摸爬滚打20多年的老玩家,曾多次站在视频风口浪尖:如此前大火的秒拍、小咖秀,都是该团队推出的产品。更早之前,则是中国首个上市的视频公司酷六网

新壹科技创始人、董事长为韩坤,CEO为雷涛。

△ 新壹科技创始人、董事长韩坤

新壹科技创始人、董事长韩坤

这一次召开发布会,用新壹自己的话来解释,就是要在AIGC的时代下,重新出发。

那么,为什么要做大模型?

有直接需求、行业影响和新壹自身三方面要素。

首先是用户需求方面。

作为视频行业的资深玩家,新壹注意到在社交平台极度发达的今天,很多人都有输出自己观点的需要。以及目前人们上网浏览的大部分信息都是视频模式,但是互联网信息中转换为视频的部分,占比却并不多。

所以,一个低门槛的视频创作平台,是有巨大市场需求的。

新壹科技CEO雷涛举例说,比如很多人对于一些事情都想发表观点,但是他可能不愿意或者没有时间自己出镜,这时如果他有一个数字人可以帮他出镜,再有工具能快速剪辑视频,就能很好满足这部分人需求。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

这也是新壹反复强调的一个点:AIGC时代下有技术是不够的,还要能提供直接使用的场景,这样技术才能被更高频率、更大范围地应用起来,而在这方面,垂直领域玩家具有先天的自身优势——本身就更懂市场需求。

其次是行业方面。

作为经历了互联网视频产业崛起的玩家,雷涛认为目前产业内的各方面要素已发展相对成熟,如手机硬件、软件、网络等,都能很好支撑互联网视频产业。

在这样的前提下,AIGC相关的项目是很容易做成的,“只要人工智能可以起来就够了”。

作为一直都有技术积累的视频玩家来说,在这方面就会具备一定优势。

这也是新壹为什么做大模型的第三点原因——自身积累。

基于过去在行业内的20年积累,新壹在视频方面积累了深厚的技术和经验。新壹董事长韩坤发布会上也非常自豪地表示,“我们培养出了一支代码技术过硬的工程师团队,形成了良好的产品服务意识。”

同时雷涛表示,新壹做大模型,并不是重复造轮子。他们的技术底座中,视频方面主要依靠自研,但是在图像、TTS等领域,也会集成业内的优秀成果。

我们是用另一种方式提供工程化的创新。就好比造车一样。

△ 新壹科技CEO雷涛

新壹科技CEO雷涛

但现在就已经是AIGC产品应用开发的最佳时机了吗?新壹为何在这样一个时间点正式对外推出?

雷涛也从技术和行业两个方面给出了解释。

技术上,他认为AI领域的各种创新,不会存在一个所谓的成熟期,技术一直在不断迭代优化。新壹从现在出发,之后也会不断在技术上进行迭代。

再结合行业现状,AIGC热潮如今略有降温,但雷涛认为这并不是一件坏事。因为只是看热闹的人已经走了,剩下的则是对AIGC有真正需求的人,而这部分人现在对AI的胃口已经被吊起来了。

所以在这个时间节点下,他们对外发布新壹视频大模型,并带来一帧秒创制作平台。

值得一提的是,在发布大模型相关产品的同时,他们还推出了一个数字人平台。

要知道,数字人技术热潮比AIGC更早,赛道内的玩家数量众多,新玩家新壹并不具有先发优势。

雷涛解释说,基于新壹自身在视频、娱乐产业方面的积累,他们看到在这方面其实有非常明确的商业模式,比如给明星制作数字人让它帮忙带货。

在发布会现场,不仅是任泉本人来给新壹站台,还有多位明星送来了祝福视频。

中国首个视频垂直大模型发布!一句话生成科幻大片预告 人人可玩

并且新壹使用了更加先进的技术,价格也不高(售价可低至千元价位),所以现在加入数字人赛道,新壹同样有自身独特优势。作为这种技术成本和应用的能力,新壹还宣布了与新浪微博的合作,将为金V用户提供专门数字人。

实际上,在秒拍和一直播风靡的周期里,与新浪微博也始终密切相关。

但关于新壹科技的投融资,还尚未到对外官宣的时候,不过CEO雷涛透露,进度各方面都比较顺利,不少投资人也看到了AIGC正在对视频领域展开的技术革新,而新壹这支团队穿越多个周期、潮起潮落、久经考验。

有意思的是,这其实也是韩坤雷涛这支视频老兵团队时隔多年的再度公开亮相,但地点都是北京东三环的康德莱酒店。

上一次,2017年在这里,秒拍一直播母公司一下科技宣布了新一轮巨额融资,震动江湖。

这一次,韩坤站在台上,表达着一直站在创业路上的原因——对视频内容的热爱,而新壹则是这种热爱的延续和新的开始。

(责任编辑:热点)

    相关内容
    精彩推荐
    热门点击
    友情链接