World Labs正式推出了多模态世界模型Atlas,这个模型可不是普通的视频生成工具,它是从零开始训练的原生多模态模型,能同时理解文本、图像、视频、相机位姿和3D深度信息。Atlas的核心本事在于世界生成、空间重建和时空模拟——你只要给它1到6张普通照片,再设定好镜头的移动路线,它就能生成一段最长1分钟、1440p分辨率的连贯视频。和传统的生成模型不一样,Atlas特别看重物理空间的一致性,很多人把它看作通往通用空间智能的关键一步。对于企业用户来说,如果通过阿里云代理商采购算力资源,部署类似Atlas的空间模拟应用能省不少钱,也能加速上云进程。
Atlas能做什么:从照片到可探索的三维世界
Atlas最直观的亮点就是相机控制生成。你拿手机随手拍几张照片,比如一间屋子、一个广场,然后指定镜头从左滑到右,Atlas就能自动补全画面里没拍到的区域,生成一段运镜流畅的视频。整个过程完全不需要复杂的3D建模,模型自己会推断场景的几何结构和纹理。
- 输入1至6张照片,输出最长60秒、1440p分辨率视频
- 支持自由设定相机轨迹,保持空间几何一致性
- 可依据单张照片补全未拍摄区域,生成视觉合理的三维世界
当然,它也有短板。视角跨度太大或者生成路径太长时,会出现几何漂移和纹理闪烁。官方也承认,Atlas生成的是“视觉合理的三维世界”,并不是对真实场景的精确复刻。就好比你让画师画一个没见过的地方,画得再像也是靠想象补出来的。
空间重建:2张照片还原斯坦福校园
另一个硬核功能是空间重建。只用2到25张游客视角照片,Atlas就能把斯坦福大学Main Quad的细节还原出来,甚至还能生成一个航拍视角,让你像无人机一样俯瞰整个广场。在DTU、ETH3D、ScanNet这些公开数据集上,Atlas的稀疏视角重建误差只有25.3,明显优于Pi3X的28.7、Depth Anything 3的39.3和MapAnything的47.7。
这意味着什么?以前做三维重建得靠激光雷达或者成百上千张照片,现在几张游客照就够了。对文旅、建筑、房地产行业来说,这个能力可以直接拿来做虚拟展厅或者数字孪生。如果搭配阿里云优惠购买云服务器ECS,跑这类重建任务的时间和成本都能压得更低。
子弹时间与机器人训练:日常视频也能玩出新花样
Atlas还支持“子弹时间”式重帧。你拿三五个手机或者运动相机,在同一个场景随便拍几段日常视频,它就能在虚拟空间里自由切换视角,做出《黑客帝国》里那种时间静止、镜头环绕的效果。不需要摆一圈专业相机,普通设备就能搞定。
更值得关注的是面向具身智能机器人的Real to Sim路线。机器人公司把真实场景的视频喂给Atlas,它就能生成高精度的3D物理空间,让机器人在虚拟环境里反复训练,甚至可以模拟机载相机图像和受力反馈。这样一来,机器人不用在真实世界里摔几百次就能学会走路、抓取,训练成本大幅下降。现在已有很多研究机构在尝试用这种方式做sim2real迁移,毕竟安全、快速、可重复。
技术架构与性能表现
Atlas的底层是多模态自回归扩散Transformer,说白了就是把自回归预测、扩散去噪和Transformer底座组合在一起,还支持KV Cache与采样蒸馏等优化。这种架构让它既能像大语言模型一样理解语义,又能像扩散模型一样生成高质量视觉内容。
在针对镜头运动控制的真人盲测中,Atlas的胜率相当惊人:对MiniMax H3是75%,对Gemini Omni Flash是81%,对FLUX 3是93%,对Seedance 2.5是94%。它还能根据复杂Prompt直接生成图像和360°全景图。目前Atlas已经向部分合作伙伴开放早期访问,正式商用估计还要再等等。
另外,如果你正打算把这类空间智能应用落地到业务里,可以找易枫顺 - 阿里云官方旗舰级代理商帮忙规划云资源。阿里云代金券、ECS实例优惠都能通过靠谱的代理商拿到,省下的钱正好用来跑Atlas这种吃算力的模型。
FAQ
Q: Atlas和普通视频生成模型(如Sora)有什么区别?
A: 普通视频生成模型只输出像素,不理解真实世界的几何关系。Atlas是一个世界模型,它会显式处理3D深度和相机位姿,能重建空间结构、模拟物理反馈,所以生成的视频在视角变化时能保持几何一致,还能用来训练机器人。
Q: 使用Atlas需要多少张照片?
A: 最低1张就能生成视频,但视角跨度大时容易漂移。高质量的空间重建建议用2到25张照片,比如斯坦福Main Quad用游客照就能还原。照片覆盖角度越全,效果越好。
Q: Atlas的开放情况如何?
A: 目前只向部分合作伙伴开放早期访问,普通用户暂时用不了。官方还没说具体公测时间,但考虑到模型已经支持1440p输出和多种优化,商用化进程应该不会太慢。
Q: 想要部署类似Atlas这类模型,对云服务器有什么要求?
A: 需要大显存的GPU实例,比如基于A100或H800的云服务器ECS。想降低成本,可以关注阿里云代金券或通过阿里云代理商获取专属优惠,同时配合对象存储和内容分发网络来管理生成的视频数据。
关于易枫顺
深圳市易枫顺网络科技有限公司是阿里云官方旗舰级代理商。提供云服务器ECS、云数据库RDS、对象存储OSS等阿里云全系产品官方特惠折扣与代金券申请,以及多云成本优化、企业上云一站式服务。客服热线:19520841949 - 易枫顺
来源:爱范儿