对话阶跃星辰姜大昕:Sora技术有局限,多模态理解生成一体化才是未来|界面新闻 · 科技

对话阶跃星辰姜大昕:Sora技术有局限,多模态理解生成一体化才是未来|界面新闻 · 科技

huangqianqian 2025-05-19 前线总结 88 次浏览 0个评论

界面新闻记者 | 伍洋宇

界面新闻编辑 | 文姝琪

不同于两年前的百模大战时期谁都可以喊一句“冲击AGI”,如今创业公司再坚称自己以此为目标已经不是一种主流行为——但这仍是阶跃星辰要在2025年延续的叙事。

5月8日,阶跃星辰创始人兼CEO姜大昕进行了一场技术沟通会,强调公司的技术追求并对未来技术趋势作出判断。对于公司从Day 1起便明确的“单模态—多模态—多模理解和生成的统一—世界模型—AGI(通用人工智能)”路线图,他也予以明确了当下时刻的定位。

几乎以低调贯穿整个成立初期的阶跃星辰,从去年下半年起主动对外释放更多声量,开始打一场水面之上的仗。

这些声量大都围绕模型进展。成立两年,公司累计发布22款基座模型,覆盖文字、语音、图像、视频、音乐、推理等系列。其中有16款是多模态模型,又分属图像理解、视频理解、图像生成、视频生成、图像编辑、音乐生成、多模态推理等方向。

区别于行业更常见的图像模型、音频模型、视频模型等不加区分的定义和命名方式,阶跃星辰格外强调多模态模型“理解”与“生成”的单一属性。这与这家公司选择的AGI路线以及即将要突破的关键节点息息相关。

对话阶跃星辰姜大昕:Sora技术有局限,多模态理解生成一体化才是未来|界面新闻 · 科技

“从模仿学习走向强化学习,以及从多模态融合走向多模态理解与生成一体化,是当下大模型发展主要呈现的两个趋势。”姜大昕开场点明了这一主题。

第一条趋势行业并不陌生,这是OpenAI去年9月通过o1-preview掀起的模型训练范式革命,并且主导了接下来数月几乎所有大模型公司的迭代方向。随着推理模型与后训练成为业界共识,文本模型的技术路线相对收敛,这里的格局变换已不如从前那样日新月异。

另一条趋势属于多模态模型,这是一个最优技术路径尚不明朗的领域,阶跃星辰在此押下重注。

“有一句话我在很多场合不停重复——我们认为多模态是实现AGI的必经之路。”姜大昕指出,无论是从人类智能的多元化角度(符号智能、视觉智能、空间智能等),还是从垂直领域AI应用需求来说,大模型的多模态能力都必不可少。

这家公司进一步判断,在多模态模型领域,理解与生成统一是其核心问题。

文本大模型的理解与生成已经由GPT类模型实现统一,但在视觉领域,内容的理解与生成仍普遍采用不同模型,例如用GPT-4o来理解图片,但用Flux、Stable Diffusion等来生成图片。

为什么一定要做多模理解与生成的统一?姜大昕解释称,一方面生成的内容需要理解来控制,确保内容具备意义和价值;另一方面,内容的理解需要生成来监督,也即“只有能够生成的时候才意味着真正的理解了”。

从统计学角度看来,相比文本模态的低维度离散分布,视觉模态的高维度连续分布造就了模型学习更高的复杂性。

这使得文本模型的NTP(Next-Token-Prediction)还无法顺畅平移为视觉模型的NFP(Next-Frame-Prediction),也意味着属于视觉模型的可规模化理解生成一体化架构尚未出现——这正是Transfomer架构之于GPT等文本模型的重大意义。

姜大昕坦言,视觉领域的确处在一个等待“Transformer架构”出现的阶段,而行业也在探索多个不同方向,公司当前的目标是要自己把“Transformer”做出来。

在他看来,拥有了这一架构的视觉模型,可以效仿文本模型的路径,顺利迈入海量图片和视频预训练及指令跟随的GPT-3阶段,并可能加速进入融合了强化学习的视觉时空推理阶段,直至诞生世界模型。

这也是为什么他会说,“一旦视觉模型理解与生成一体化的问题被解决,之后的路线会非常顺畅”。

作为该技术目标的最新进展,阶跃星辰近期发布了图像编辑模型Step1X-Edit,多模态推理模型Step-R1-V-Mini,以及图生视频模型Step-Video-TI2V。姜大昕指出,Step1X-Edit实现了初步的理解与生成统一,但还可以在架构和数据上做进一步优化和打磨。

技术路线之外,阶跃星辰梳理出了一条更明确的商业化路径。

除了此前已有的ToC(用户)产品尝试和ToB(企业)合作模式,阶跃星辰将在应用层重点发力的方向是AI Agent。不过相较于自己做一款Manus类的产品,公司选择聚焦智能终端Agent领域,也就是与手机、汽车、机器人等终端厂商合作,以端云结合平台的角色构建智能终端的Agent生态。

作为一家已融资数亿美元的B轮创业公司,这场沟通会没有大谈用户规模、商业模式、盈利能力,更多话题还是围绕如果要实现AGI,公司要如何翻越既定路线上的某一座山头。这种氛围在当前行业热议AI应用公司如何火热、挣钱的喧嚣衬托下,颇有一种反差。

此外,姜大昕还接受了界面新闻等媒体采访,更细致回答了有关多模理解与生成统一技术路径的相关问题,以及对模型训练与商业化的基本判断。

以下为姜大昕采访实录,略作编辑:

媒体:跃问最近改名阶跃AI了,原因是什么?公司过去一年发布过一些C端产品,目前对这个方向有什么经验总结?

姜大昕:去年大模型还没有出现这么强大的多模态和推理模型,我们看到的产品就几类,Chatbot,AI陪伴,还有Runway、Pika这样一些AIGC应用。那时候大家其实没有特别明确的方向,只是因为有这样的模型能力,所以产生了这样的应用。这是产品探索的早期阶段。

今年因为多模态能力和推理能力的进一步成熟产生了Agent,我们看到非常多像Deep Research或者Manus这样的新应用。

我们的变化是想聚焦到Agent领域。而之所以改名阶跃AI,是因为它要从Chatbot类产品向加入更多Agent能力的产品做转变。

媒体:阶跃的策略是超级模型+超级应用,这也是包括字节在内很多大厂在做的事情,这种情况下,很多初创公司已经放弃通用大模型了,阶跃为什么还会坚持?

姜大昕:这里面分几个层次去讲,第一,现在这个行业趋势还处于一个技术非常陡峭的区间。

我会很感慨,AI行业里面的发展变化确实是太快了。如果大家回到去年想一想,就觉得GPT-4是多么牛的东西,今天它都要快下架了;去年Sora刚出来的时候给大家多大的震撼,今天回过头看,都觉得Sora有什么神奇的。而今年无论做出什么很牛的技术,可能明年回头看会觉得微不足道。

在技术发展如此快的行业背景下,阶跃肯定不愿意在这个过程中脱离主流,或者说放弃这样的前进趋势,还是会坚持做基础模型的研发。

第二,从应用的角度来看,我们一直觉得应用和模型是相辅相成,模型可以决定应用的上限,应用给模型提供具体的场景和数据也非常重要。所以我们的产品形态随着模型的演变动态发展,这样的逻辑关系会一直保持下去。

媒体:在Agent这件事情上,为什么会选择一个类似供应商的身份,而不是自己下场做一款直接ToC或者ToB的Agent产品?

姜大昕:这个东西很新,我们更好的选择就是找到头部企业合作。它们已经有了大量的用户和场景,我们才能尝试这个模型究竟怎么做。

如果我们上就来做ToC,第一件事情就得是user grow(用户增长)。所以我们先和这些企业一起合作,如果这件事情探索清楚了,至于说将来我们是不是自己做,我觉得都是有可能的。

这里还有一个很诱人的场景,就是现在所有的设备都是孤立的,对于一个用户来说,他当然希望AI Agent能够跨设备。那么这件事情应该谁来做,肯定有很多人在思考。

媒体:公司最近在算法层面更加重视理解生成一体化整合,这个想法是基于什么样的逻辑判断?

姜大昕:我们觉得以Sora为代表的这一代视频生成技术,它的上限就在那里了,很难去突破。下一代突破我们认为应该是基于理解生成一体化的。

媒体:多模态理解与生成一体化架构很重要,那影响它出现最关键的因素是算法,更高质量的数据,还是什么?

姜大昕:两个都很重要,首先就是架构的突破,因为确实不容易。

多模态的高维连续空间,我们很难用一个自回归架构去模拟,所以大家不得不采用Diffusion。直白的说,Diffusion就是一步弄不成,就多走几步,因为它太复杂了。

但自回归架构不让你走多步,那么这两个东西怎么能连在一起,需要一个架构性的东西,这是算法层面需要解决的问题。甚至有可能把自回归和Diffusion结合在一起这个方向也是错的,这里面有非常多的不确定性。

有了技术以后,第二步就是数据。所有的人工智能里面数据都非常重要,有了架构但没有合适的数据训练它,就如同一辆车没有石油,你还是不能跑。

媒体:你刚刚好像有提到,OpenAI最新的GPT-4o已经实现了理解与生成一体化?

姜大昕:我们只是猜测,因为它从不公布技术细节。它的做法应该是把理解和生成放在了一个模型里面,但这个东西是不是scalable(可规模化),我们不知道。

媒体:怎么判断它是不是scalable?

姜大昕:它肯定要做到predict next frame,或者说如果OpenAI有一天推出了一个不叫Sora的视频模型,很可能就是做通了。

事实上去年Sora出来的时候大家都很兴奋,但我们是非常失望的,因为我们觉得它的主线应该是做理解生成一体化。

回过去想也是有道理的。从多模融合一步走到理解生成一体化太难了,所以干脆两个独立往前走,互相促进,有点像左脚踩右脚。因为它在Sora里面也说了,它拿着GPT-4o给数据打标注。

有了生成以后是不是能够帮助理解,可能就是需要迭代几轮以后再到理解生成一体化,但总的方向肯定是能够predict next frame。这个问题不解决,后面有很多问题都到不了那个程度。

媒体:多模态理解与生成一体化这个技术方向目前还没有收敛,对标语言模型的话,它大概处在哪个发展阶段?

姜大昕:应该是在Transformer的阶段,Transformer是2017年出来的,GPT-1是2018年,这个架构应该早于“GPT”。

媒体:阶跃目前研发的模型很多,如果下一步理解生成一体化尤为重要的话,为什么我们不把所有的力量都集中去做它

姜大昕:我们也想这样做,但不行,因为理解与生成一体化是非常要求综合素质的一个考验。首先你要理解,如果语言模型不强就谈不上理解。其次你要做推理,视觉推理是视觉理解的升级。再者还有生成端,这也必须得做。

所以不是我们不够focus(专注),要做这件事,就必须要做到所有条线能力都非常强,组合起来去探索它的路径。

媒体:解决理解与生成一体化这个问题之后,你认为视觉模型应该达到一个什么样的状态?

姜大昕:你给它一个电影的开头,它能够一直往下编,并且大家认为还挺有道理的,连续、符合逻辑、符合物理规律。如果它能持续这样做下去,这至少可以说明它的预训练做成了。

转载请注明来自山东水清源环保科技有限公司,本文标题:《对话阶跃星辰姜大昕:Sora技术有局限,多模态理解生成一体化才是未来|界面新闻 · 科技》

百度分享代码,如果开启HTTPS请参考李洋个人博客
每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

验证码

评论列表 (暂无评论,88人围观)参与讨论

还没有评论,来说两句吧...

Top
 桂平最新房出售信息大全  保定顺平最新招工信息  柳州银山最新招聘信息  南安汉堡店招聘信息最新  屯溪招聘主播信息最新  大连石河口房价最新信息  上海嘉定疫情信息最新  定州粉刷最新招聘信息  一加迈凯伦最新信息报价  海南教练最新招聘信息  胜利的曙光最新信息图片  日照驻厂员招聘信息最新  太安快递招工信息最新  基建区块链最新信息价格  南宁黄氏招聘信息最新  良井大棚出售最新信息  南门保障房出租最新信息  咸宁电工最新招聘信息  珠海台风天鸽最新信息  蓝光大选结果最新信息  河北顺丰最新状况信息  山西洪洞最新招聘信息  开阳县道路最新信息  李宁商丘招聘信息最新  厦门集美最新地块信息  宜昌招洗碗工最新信息  武汉金溪最新房价信息  阳信润元招聘信息最新  迁西最新招聘信息迁  华晨宝马最新发布信息 
Baidu
map