1、世界模型基础概念与品类差异
世界模型核心定义:世界模型的核心内涵是可对环境规律进行可计算表达、支持主体与环境状态产生交互式行为的模型。其核心能力为预演动作后果、判断策略可行性,在当前观测状态下,智能体可预演采取某一行动后可能发生的情况,基于该后果判断对应策略的可行性,最终决定下一步动作方向。与传统模型核心逻辑差异明显:传统模型仅从数据分布中学习映射关系,而世界模型需结合历史观测与当前观测,针对不同候选动作可能对未来状态造成的影响推演后再做决策,本质是可与环境持续交互的模型。
与其他生成模型的差异:世界模型与大语言模型、视频生成模型的核心差异主要体现在架构与功能侧重两方面:a. 与大语言模型的差异:大语言模型是基于因果Transformer架构的文本概率预测模型,核心逻辑为给定长上下文后直接预测下一个token,属于静态生成类模型;而语言模型扩展到世界模型维度后为Agent模式,可在开放式环境下调用现有工具,结合对当前环境的判断与过往经验持续执行任务,直至完成给定目标。b. 与视频生成模型的差异:视频生成模型采用流匹配(flow matching)方法,核心逻辑为给定条件上下文后生成符合文本目标的视频内容,侧重生成画面的合理性,此前行业主要追求画质一致性、人物一致性等视觉效果合理性;而世界模型进化到视频领域后形成交互式世界视频生成模型,不仅要求生成一致性强的视觉观测,还要求及时响应用户输入,对环境变化、用户输入响应的一致性要求远高于传统视频生成模型。
2、世界模型热点产品与技术进展
行业爆火核心动因:世界模型近期热度提升的核心动因来自机器人赛道的需求拉动,机器人场景是最适配世界模型概念的应用场景。机器人本质是物理智能体,涵盖机械臂、人形机器人等品类,需在开放式物理环境中运行,比如家庭机器人所面对的家庭环境就具备开放式特征。用户给出指令后,机器人需要基于自身行为知识和对当前环境的观测,自主拆解任务并推进执行,执行过程中若出现偏离预期的误差,比如物理环境变量对行动造成干扰,需要具备回退纠错、重规划的能力,直至完成全部子任务,这也是物理智能体与交互式视频世界模型、可交互式3D世界模型的核心差异:后者仅将静态生成模型升级为可交互的动态生成模型,可响应用户交互输入,但不具备纠错和重规划能力,对AI规划能力的要求远低于机器人场景的世界模型。
3、世界模型商业化与竞争格局
技术流派与落地痛点:当前世界模型主要分为两大技术流派:一是交互式视频世界模型,由传统生成模型扩展维度,升级为可交互式的视频类世界模型;二是物理AI模型,核心是开发物理智能体,可应用于机器人领域支撑其完成各类任务。两类流派均面临不同的落地痛点:交互式视频世界模型目前难以找到符合商业价值的落地场景,交互式视频生成落地难度较大,暂无明确商业化路径。物理AI模型的落地场景相对明确,但当前处于发展早期阶段,模型参数量、数据量均达不到通用智能体的要求,模型能力不足,物理AI模型当前仅能完成简单任务demo,距离通用家庭机器人落地非常遥远,整体落地进展受技术能力限制较大。交互式视频模型暂无明确商业化场景。
核心玩家与应用场景:当前世界模型各落地场景的核心玩家分布清晰:a.游戏领域:核心玩家包括谷歌、昆仑万维、字节,主要布局交互式游戏类应用;b.自动驾驶领域:核心玩家包括小鹏、Momenta,普遍运用视频世界模型的概念开发自动驾驶技术,自动驾驶领域的世界模型与机器人世界模型概念高度接近,要求车辆具备真正的判断能力,可根据动态环境自主调整决策,而非完全依赖多模态数据决策或大规模数据的分布式概率决策;c.影视领域:属于交互式视频世界模型的扩展应用,典型场景为交互式短剧。从落地价值来看,游戏、影视场景的落地难度较大,暂无明确落地路径,当前真正能产生明确产业价值的落地场景为自动驾驶与机器人,但这两类场景对模型在物理世界的复杂环境适配、任务执行、动态纠错能力要求极高,距离成熟落地仍有非常遥远的距离。
4、世界模型技术细节答疑
模型造训练数据可行性:当前世界模型生成训练数据的路线在行业内已逐步销声匿迹,世界模型生成训练数据的路线已逐步被行业放弃。此前曾尝试通过视频模型构造轨迹数据,但生成质量不佳,仅能构造简单动作数据,无法满足长任务序列、包含纠错过程、具备细粒度轨迹标注的轨迹数据需求,该技术路线已无后续跟进。目前行业重点验证的是仿真造数据路线,仿真造数据路线当前处于验证阶段,具体是通过智能体AI调用Blender等仿真工具及虚拟资产构造环境,进而采集行为轨迹;尤其是TP流出后,可通过仿真或渲染手段生成逼真的视频视角数据,目前正大规模开展数据构造和采集工作,该路线效果尚未在现有模型能力上完成验证。
视频模型一致性问题:视频世界模型的一致性核心是要求交互式环境在同一任务场景下保持不变,本质属于记忆网络技术路线,依赖MIR能力记忆过往场景、通过视角查询完成场景还原。当前视频世界模型仅能维持数分钟的一致性,进一步拉长一致性时长难度较高,本质需要更大的计算量支撑,上下文越大、可存储及摘要记录的内容越多,一致性表现越好。受多重因素限制,长期一致性落地前景并不乐观:一是像素级多模态场景的记忆及还原难度远高于文本摘要,文本可通过语义压缩实现简写,像素级内容还原难度大幅提升,短期难以得到有效解决;二是相关应用场景、产品形态及商业化路径均不明朗,行业内可长期投入的厂商数量存疑,技术成熟度也有待提升。另外视频世界模型一致性与机器人大脑的记忆需求存在本质差异,机器人大脑仅需语义级记忆压缩,无需像素级还原:机器人大脑不需要回放过往执行的精细画面,仅需将完成的子任务压缩为语义Token或视觉Token存储,明确过往操作内容及进度即可,该语义压缩记忆能力的技术难度远低于视频世界模型一致性要求,目前可通过记忆网络查询回访实现,也可采用文本压缩操作轨迹的方式获得不错效果,具备阶段性产出的可能性。
5、硬件需求与落地优先级答疑
机器人算力部署架构:机器人算力采用云端(任务规划大模型)+端侧(执行层小模型)的两层部署架构:任务理解类大模型参数规模大,部署在云端运行;执行层面的小模型可经过量化压缩后部署在本地端侧负责推理,因此机器人本体搭载的GPU算力需求不会特别高。当前行业也有采取云端执行的部署路线,可降低对端侧硬件的算力要求。
规模化落地场景优先级:各场景规模化落地难度差异较大,优先级排序明确:a. 游戏内容、影视广告场景落地难度最高,既需要满足用户对产品的接受度要求,又需要达到高精度视觉呈现标准,两大约束目前均难以突破,暂时无法规模化落地;b. 自动驾驶场景落地阻碍较多,当前自动驾驶世界模型整体进展有限,仅华为的融合方案表现较优,高阶自动驾驶如家用车自动接人等功能涉及安全、法规多重约束,落地节奏不及预期;c. 垂类机器人是最优先落地的场景,不同垂类场景可匹配差异化的硬件形态,包括机械狗、扫地机器人、割草机器人、桌面机器人、轮式家庭机器人、移动摄像设备等,当前模型能力已能覆盖部分垂类场景的功能需求,大量传统硬件均可升级为搭载世界模型的可交互智能硬件,落地场景丰富多元,更容易快速实现商业价值变现。
机器人芯片需求与格局:端侧芯片是机器人产业发展的核心刚需,芯片算力直接决定模型推理速度,最终影响机器人操作的流畅度,行业核心需求为支撑模型实时丝滑推理,目前地瓜机器人已在开展端侧芯片相关研发。当前行业芯片格局呈现差异化特征:英伟达在人形机器人芯片领域处于领先地位,其机器人操作系统生态成熟,是人形机器人研发的主流硬件选择;但不同形态机器人对芯片算力的要求差异较大,垂类场景如机械狗、家庭服务机器人等均有针对性的芯片需求,英伟达无法覆盖全部机器人本体产品的芯片市场,不同垂类场景仍有充足的市场空间可供其他厂商切入。
6、通用大模型与数据市场答疑
通用大模型的影响与路径:通用大模型(包括OpenAI Astrum、Gemini4.0)对世界模型具备较强辅助作用:OpenAI的模型在通用任务理解、现实物理常识理解层面能力突出,可支撑任务规划相关需求;Gemini可接收指令驱动视频观测实时演变,可用于世界行动模型搭建,通过产出的当下观测演变结果反解码得到对应的AI行动。
针对未来技术路径与行业格局:一是李飞飞团队的通用3D可预览模型本质是娱乐属性概念,目前已被收购,与机器人领域不存在关联,不会对机器人生态产生影响。二是通用大模型向具身模型拓展具备显著优势,未来会挤压现有具身领域的生存空间,通用大模型厂商更多作为to B服务提供方存在,主要为机器人企业提供模型服务,通过与硬件能力突出的企业合作实现商业化落地与产品闭环。三是具身企业的核心护城河为软硬一体的生态,可通过模型与硬件的交互、生态匹配形成产品闭环,类似苹果公司软硬一体迭代的逻辑,在垂类应用场景具备差异化优势,未来行业将呈现群雄割据的格局。
具身数据市场需求:当前具身智能领域的核心数据需求为带精细标注的第一视角行为轨迹数据,这类数据是智能体训练的核心支撑,对具身企业的模型训练价值极高,数据采集需满足两项核心要求:a. 硬件采集设备足够轻便、低价,可控制采集成本;b. 数据标注能力达标,需先对采集到的视频做清洗,过滤移动模糊、遮挡严重等质量瑕疵的内容,再进行细粒度文本标注,分段标注每段视频对应的任务内容、任务进展、纠错过程等信息。
从各类数据的价值来看:真机数据价值有限,多数具身企业自有硬件本体,可自行完成相关数据采集,市场需求较小;仿真行为轨迹数据是具身数据领域的蓝海方向,可通过开放世界游戏环境采集玩家扮演智能体产生的行为轨迹,自带细粒度语义标注,获取难度低,目前已有初创企业在该领域探索;易购数据赛道已有相关厂商布局(如光轮智能),但规模化扩张难度较大,需通过扩大人力、提升采购预算的方式完成批量采集、清洗及多样性任务设计,蓝海空间相对有限。
7、世界模型行业总结与展望
行业核心脉络总结:当前世界模型发展主要分为两大路径,其中一类是基于传统多模态生成模型的视频、3D模型升级,换维度套用世界模型概念,扩展为可交互式3D视频或3D模型,这类产品本质偏娱乐属性,落地前景不乐观。最纯正的世界模型应用场景集中在物理AI即机器人领域,世界模型核心本质为物理空间的自主AI,核心目标是让机器人具备在现实生活中自主决策、完成指定任务的能力,是当前世界模型行业发展的核心脉络方向。
未来发展展望:当前世界模型落地机器人领域的核心瓶颈为人类行为轨迹数据量匮乏,仅靠现有数据不足以支撑技术大规模落地。未来行业核心突破方向分为两点:a. 采用仿真+AI的技术路径批量补充行为轨迹数据,解决核心数据缺口问题;b. 推动物理本体传感器技术升级,融入更多模态的物理知识,实现规划模型与操作模型的深度融合,最终构建完善的物理世界模型,释放多元应用价值,该赛道属于蓝海领域。落地节奏方面,未来1-2年将率先落地垂类小娱乐产品,后续逐步扩展到更通用的家庭机器人场景。
Q&A
Q:世界模型的概念及其与大语言模型、视频生成模型的区别是什么?
A:世界模型能够对当前环境规律进行可计算表达,使主体与环境状态产生交互行为,在观测状态下预演行动后果以判断策略可行性,本质是不断与环境交互的模型。大语言模型是因果Transformer架构的概率预测模型,给定长上下文预测下一个token;视频生成模型使用flow matching等方法,给定条件生成符合目标的视频内容,追求画质和人物一致性。世界模型进化到视频模型中,要求不仅生成一致性强的视觉观测,还要及时响应用户输入,对环境变化和用户输入响应的一致性要求很高。
Q:世界模型在机器人、视频、3D等领域的应用有何差异?物理AI的核心难点是什么?
A:机器人场景最贴合世界模型概念,物理智能体面临开放式物理环境,需根据指令拆解并执行子任务,中间产生误差时需回退纠错直至任务完成。视频和3D世界模型只是希望响应用户交互,将静态生成模型做成可交互的动态生成模型,没有纠错能力。物理智能体的难点在于物理环境存在干扰变量,偏离预期时必须具备重规划和纠错能力,这对AI规划能力考验较强。
Q:如何评价近期发布的Genie 4、混元、智元以及英伟达Cosmos等热点模型?
A:Genie 4是典型的交互式视频世界模型,能高精度及时响应用户交互,重点在于自然语言持续干预、视听交互及实时保持一致性和生成高效性,但跳票很久且应用场景难找,个人不太乐观。混元Mo1模型也是及时响应用户指令。智元GE2.0分为仿真性质版本和基于action的模型。英伟达Cosmos更像物理AI开发体系,将多模态知识融合到MoE或Transformer架构,既可做模拟世界模型也可做行为世界模型,但具身角度效果不理想,仅为参考性工作。
Q:世界模型的商业化落地场景及当前行业格局是怎样的?
A:视频世界模型较难找到符合商业价值的落地场景,游戏和影视阶段甚至有点做不下去,消耗资源且找不到合适场景,需要极具产品力的IDC跑通。物理AI场景明确,但模型参数量和数据量达不到通用智能体要求,处于早期群雄割据阶段,各家探索技术路线,只能做简单任务demo,距离通用家庭机器人遥远。自动驾驶世界模型要求车子有真正判断能力,根据动态环境调整决策;机器人要求在开放式场景自主完成任务并具备纠错能力。
Q:未来1到2年物理AI领域值得追踪的信号及数据获取的卡点是什么?
A:值得追踪的信号是谁能解决物理智能体的任务规划层面。物理智能体分为上层任务规划和下层小脑执行。当前卡点在于空间轨迹数据量级不够,人类行为数据难以像互联网文本那样收集。有潜力的扩展方式是用游戏环境构造包含丰富纠错能力的行为轨迹数据。谁能通过仿真环境或通用方法搭建起数据规模,谁就能在下一阶段物理AI竞争中取得优势。
Q:目前主流通过工人佩戴设备记录操作流程获取数据,世界模型提供数据的准确性情况如何?能否靠世界模型让数据飞快增长?
A:世界模型构造数据路线在行业内已有点销声匿迹。用交互式视频模型构造轨迹数据质量不好,只能构造简单动作,模拟不了复杂动作,无法满足长程任务序列、纠错过程及细粒度轨迹标注的需求。目前更靠谱的路径是仿真层面,用智能体调用Blender等仿真工具和虚拟资产构造环境采集行为轨迹。特别是TP流出后能渲染逼真视频视角数据,目前正在大规模构造和采集,但还未验证到现有模型能力上。
Q:世界模型的一致性问题目前能保证几分钟,何时能做到较长时间并合适应用在机器人大脑里?
A:视频世界模型的一致性与机器人大脑不强相关。视频世界模型一致性依赖记忆网络,增加上下文和计算量,但像素级记忆和回放难度大,短时间内解决不好,且应用场景不明确。机器人大脑不需要像素级回放,而是需要将之前做的事情压缩成视觉或语义Token进行摘要,由VLM负责执行完子任务后压缩存储,难度比视频世界模型小,能有阶段性产出。目前机器人大脑通过记忆网络查询回访,进展不是特别好,但可通过压缩操作轨迹和文字来达到不错效果。
Q:机器人算力需求更大,对GPU、CPU推理芯片或边缘端芯片的需求结构是怎样的?
A:机器人算力需求分为大脑和小脑结构。任务理解类型的大模型放在云端;执行层面的小脑模型放在本地端侧推理。硬件端本体里的GPU不会特别大,可能经过量化压缩负责小脑执行层面。目前一般走云端执行路线进行部署。
Q:游戏内容、自动驾驶仿真、机器人训练、影视广告这几个场景里,哪个最可能最先产生规模化的收入?
A:游戏内容和影视较难规模化落地,考验用户产品接受度和高精度视觉需求。比较能产生规模化价值的是垂类机器人,垂类场景多样化,能结合当下模型能力快速跑出产品。自动驾驶世界模型进展不多,华为融合方案已不错,进一步让家用车自动接人涉及安全法规约束,落地有阻碍。
Q:机器人要在本体上实时跑世界模型做规划,对芯片有什么要求?会不会成为人形机器人成本新大头?英伟达芯片和国产芯片差距大不大?
A:芯片能力是未来刚需,要求能实时推理、操作丝滑,较大程度影响模型推理计算速度。算力需求没有直观数据,一般使用英伟达Thor等架构。开放式机器人操作系统环境英伟达领先,但机器人形态多样,不同形态有不同算力需求,英伟达不可能通吃所有本体产品。国产芯片如地平线在端侧芯片有研发。
Q:OpenAI和Gemini等通用模型对世界模型有没有替代作用?李飞飞的模型如何?这两种模型未来是走向融合统一还是哪种更贴切具身需要?
A:OpenAI模型重在任务规划和物理常识理解;Gemini能辅助世界行动模型,通过观测演变反解码出AI行动。通用模型扩展成具身模型有优势,会挤压具身领域生存空间。李飞飞的通用3D可预览模型偏娱乐,与机器人关系不大。具身领域的护城河在于硬件本体,软硬一体迭代有生态优势。未来是群雄割据时代,OpenAI和谷歌更多作为to B提供模型服务,与机器人公司合作达到商业化目的。
Q:如何评估世界模型和具身智能带来的机器人具身数据需求市场情况?
A:通用需求聚焦在第一视角视频记录的行为轨迹数据,对具身公司模型训练非常有帮助。数据采集要求硬件轻便便宜、数据清洗和细粒度文本标注。真机数据未来不是特别值钱,因为各家都有自己的硬件本体。仿真数据是蓝海领域,比较值钱。异构数据也值钱,但缺乏scaling办法,只能靠扩大人力和预算批量采集。
Q:世界模型和机器人未来的发展情况及落地节奏展望是什么?
A:世界模型本质是物理空间的AI,最纯正应用场景是物理AI,让机器人在现实生活中自主决策完成任务。视频和3D模型偏娱乐,落地不乐观。目前受限于人类行为轨迹数据少,未来寄希望于仿真加AI构造数据,结合物理本体传感器提升融入更多模态物理知识,得到完善的物理世界模型。未来1到2年最先跑出来的是一些小垂类娱乐产品,之后才能扩展到更通用的家庭机器人场景。
温馨提示:内容源于第三方以及公开平台,仅供用户参考,恕本平台对内容合法性、真实性、准确性不承担责任。如有异议/反馈可与平台客服联系处理(微信:_LYSD_)