围着场景拍一圈照片,AI 就能在电脑里重建出可以任意转着看的 3D 画面——这件事如今有两条主流技术路线:NeRF 和 3D 高斯。两条路都吃照片、都出可自由取景的场景,底层的思路却几乎相反:一个把场景藏进神经网络的参数里,一个把场景摆成一粒粒看得见的高斯椭球。这篇把两条路线各自怎么表示场景、训练与渲染的速度账、效果的取舍拆开对比。不靠 AI、靠多张照片测距建模的老办法,摄影测量一篇讲过,可当作第三条路对照着看。
NeRF:把场景学进网络
NeRF 的做法是隐式表示:训练一个神经网络,输入空间中一个点的坐标和观察方向,输出这个点的颜色和密度——网络本身没有存任何「形状」,场景的几何藏在千千万万个参数的关系里。渲染时沿视线发射一根光线,把穿过的一串点的颜色和密度累积起来,算出这颗像素的颜色,这套算法叫体渲染,能自然表现玻璃、烟雾这类半透明的东西。代价是计算量大:一根光线要积分几十上百个点,一张图就是几百万根光线,训练慢、渲染每一帧都慢。好处是表示精细,细节和光照的连续性做得好,静态场景的还原度上限高。
3D 高斯:把场景摆成椭球
3D 高斯溅射走的是显式表示:场景直接由几十万到几百万个带颜色的高斯椭球组成,每个椭球记录位置、大小、朝向、透明度。训练时先从照片估出初始的点云位置,再反复调整每个椭球的参数,让它们投出来的画面逼近实拍照片。渲染不用逐点积分,而是把这些椭球直接投影到屏幕上做混合,恰好是显卡最擅长的光栅化操作,速度跃升一个量级——训练从以天计缩到以分钟和小时计,渲染能跑到实时帧率。代价也摆在明面:椭球数量大,文件体积可观;场景是一盘散点,想做统一的几何编辑就比隐式表示麻烦。
速度与效果的取舍账
两边摆在一起,取舍就清楚了。训练速度:NeRF 以小时到天计,3D 高斯快得多,改了参数重训一遍不心疼。渲染速度:NeRF 逐帧渲染吃算力,3D 高斯能实时交互,拖动视角跟玩游戏一个手感。表现力:NeRF 对连续的半透明与复杂光照更细腻,3D 高斯在细节锐度上不弱,但大面积极薄的结构偶尔出破绽。可编辑性:显式的高斯一颗颗看得见摸得着,删一颗、挪一颗都直接,隐式网络改一处牵动全局。这不是谁取代谁的局,两条路线在往彼此借鉴的方向演化,混合方案不断出现。从文字直接造 3D 资产是另一条生成路线,入口差异在文生 3D一篇讲过,两种 3D 生成入口怎么选,文生与图生对比一篇有摆开。
| 场景或操作 | NeRF | 3D 高斯 |
|---|---|---|
| 玻璃、烟雾这类半透明 | 体渲染沿光线累积颜色与密度,能自然表现 | 靠椭球投影混合,透明度靠参数表达 |
| 复杂光照的连续性 | 细节与光照的连续性做得好,静态场景还原度上限高 | 细节锐度不弱,仍在补光照与半透明的细腻度 |
| 大面积极薄的结构 | 按点积分,薄结构也能撑住 | 偶尔出破绽 |
| 挪动或删除场景里的一小块 | 改一处牵动全局 | 删一颗、挪一颗都直接 |
各自适合的活
落到用法上:做展示页、虚拟展厅、要放进引擎实时跑的场景,3D 高斯的实时性刚好对口,训练快也适合反复迭代;追求静态场景的还原度上限、不缺渲染时间的研究与影视预览,NeRF 的画质路线更合适。日常拍个房间、逛个展想留个能转着看的记录,如今手机上的重建工具多半已经换成高斯系,出结果快得多。想动手试,可以让 DeepSeek 把两条路线的主流开源工具整理成参数对照表,再用腾讯元宝查近期实拍案例的重建耗时与文件大小,按自己设备与用途对号入座。
NeRF 与 3D 高斯对比速查
- 表示方式:NeRF 隐式——场景藏在网络参数里;3D 高斯显式——场景由椭球直接摆出
- 渲染:NeRF 沿光线积分、慢而细;高斯走光栅化、快到实时
- 取舍:高斯训练渲染都快、可直接编辑散点;NeRF 半透明与光照更细腻
- 选法:实时交互与快迭代选高斯,静态还原度上限选 NeRF
再多说几句三维重建
- 两条路线最后会合流吗?:方向上在靠近。高斯系在补光照与半透明的细腻度,NeRF 阵营在借显式思路提速,近期出现了不少混合与压缩方案。短期内两条路线并存,按用途选即可。
- 拍照片重建有什么拍法上的讲究?:重叠度要够——相邻照片有足够共同视野,围绕场景均匀拍一圈,光照稳定、避免运动模糊。曝光忽明忽暗,两条路线都会把光照变化「烤」进场景里。
- 重建出的场景能像普通 3D 模型那样编辑吗?:有限度。挪动单个高斯椭球可行,把一件家具整体搬走这类语义级编辑仍是难题,要先做分割再操作,效果因场景而异。


