DLSS 5 把神经网络推进到光照和材质层。真正被改写的,是"画面必须由 Renderer 算出来"这个前提。
2026 年,NVIDIA 公布 DLSS 5,把它从过去的超分辨率、帧生成进一步推进到实时神经渲染:模型开始直接参与最终画面的光照、材质与外观表现。NVIDIA 将其称为实时光线追踪以来最重大的图形技术变化之一。
顺着这个说法,很容易得出一个判断:既然 AI 已经开始"画画",传统 Renderer、Shader、美术资产乃至 Rendering Engineer 是不是都会逐渐失去意义?
我的判断相反。DLSS 5 动摇的不是渲染本身,而是过去二十多年实时图形学里一个几乎没人质疑的前提——最终画面中的视觉信息,必须主要由传统 Renderer 显式计算出来。Renderer 不会消失,它会换一份工作。
一、DLSS 5 对游戏美术开发的冲击
1.1 DLSS 从"修复画面"走到"参与画面"
理解 DLSS 5 的第一步,是别把它当成 DLSS 4 的画质升级版。
早期 DLSS 的位置很清楚:传统 Renderer 先渲染一张较低分辨率的画面,DLSS 再把它放大。Renderer 在那一阶段已经决定了:
- 皮肤是什么质感
- 金属怎么反光
- 布料有没有丝绸感
- 灯光怎么照射
- 阴影在哪里
- 环境是什么颜色
DLSS 更像挂在 Renderer 后面的高级重建器,回答的问题只有一个:已经渲出来的画面,怎样用更少的计算得到更高分辨率。
Frame Generation 往前走了一步。传统 Renderer 不再需要真正生产显示器上的每一帧——真实 Frame A 和真实 Frame B 之间,可以插一张由模型生成的帧。这打破了第一条老规矩:显示器看到的帧,不一定真的被游戏 Renderer 完整渲染过。Ray Reconstruction 接着说明,高质量光照结果也不要求 Renderer 直接算出一个足够干净的最终结果。
DLSS 5 站的位置更靠前。NVIDIA 对它的公开描述已经不再局限于 Upscaling:
- 引入实时 Neural Rendering Model
- 对游戏原本生成的像素进行分析
- 增强人物皮肤、头发、布料以及环境中的 Lighting 与 Material Appearance
- 给开发者保留强度、遮罩、调色等控制
这就越过了一条过去很清晰的边界:
| 阶段 | 管线 |
|---|---|
| 过去 | Renderer → 决定 Appearance → DLSS → 重建 Appearance |
| 现在 | Renderer → 基础 Appearance + 结构信息 + 运动信息 → Neural Renderer → 参与决定最终 Appearance |
前者是 Reconstruction Tool,后者已经开始变成 Rendering Component。
1.2 美术资产从"最终答案"变成"输入条件"
过去几十年的游戏美术生产有一个明确目标:尽可能把最终视觉效果编码进资产。
以一个高质量角色皮肤为例,传统流程大致是:
美术制作
- High Poly
- Base Color
- Normal Map
- Micro Normal
- Roughness
- Specular
- Subsurface Parameters
- Detail Texture
Technical Artist / Rendering Engineer 编写 Skin Shader
- Texture + 材质参数 + 光照 + BRDF + Subsurface Scattering → 最终皮肤
看起来不像皮肤,团队就继续改贴图、改 Shader、改灯、改材质、改几何。所以传统游戏资产实际上承担着一个很重的职责:储存最终视觉效果所需的大量显式信息。
Neural Rendering 会逐渐削弱这种关系。未来的资产可能更接近:
- Geometry
- Material Identity
- 较少的 Material Parameters
- Semantic Information
- Art Direction
最终的高频视觉特征部分交给模型。资产的意义也就从"我已经把最终表面做出来了",转向"我向 Renderer 准确描述这是什么,以及它应该朝什么方向表现"。
1.3 纹理:高频细节最先受到冲击
纹理是 Neural Rendering 最容易见效的领域之一。
传统链路很直接:
- 纹理压缩
- 写入硬盘
- 加载进 VRAM
- Shader 采样
想提高质量,行业几十年的办法是:
- 更高分辨率
- 更多 Texture Channel
- 更多 Layer
代价是安装包越来越大、补丁越来越大、显存压力越来越高。
Neural Texture Compression 改的是这个模式。NVIDIA 当前 RTX Neural Texture Compression 的思路,是将传统纹理转换为更加紧凑的 Neural Representation,在运行时通过神经网络恢复需要的纹理信息。NVIDIA 当前给出的 RTX Kit 指标,是在相似视觉质量下最高可达到约 8 倍的纹理内存效率提升。
对比来看:
| 传统 | Neural Texture |
|---|---|
| 大量显式 Texture Pixel | Compact Representation + Model Weights |
| 直接 Sample | Neural Decode → Texture Information |
本质是用计算换存储,而且它顺带说明了一件事:GPU 不再要求所有视觉信息事先以显式像素的形式存在。
未来最容易被压缩掉的美术劳动
- 重复材质细节
- 高频纹理变化
- Micro Detail
- Surface Noise
- 大量相似的纹理变体
Texture Artist 仍然要守住的东西
- 材质身份
- 色彩体系
- Surface Language
- 风格化方向
- 什么让这个材质一眼可辨
模型很擅长生产细节,但仍然需要人告诉它这些细节应该意味着什么。
1.4 Material 与 Shader 的变化
这一层的变化可能比纹理更重要。
现实世界的材料很复杂。丝绸、皮肤、陶瓷、汽车漆,不是一个 Roughness 参数能描述完的。高质量离线材质可能包含:
- Base Layer
- Coating
- Microstructure
- Anisotropy
- Subsurface
- Multiple Scattering
- Fuzz
实时游戏通常必须简化这些计算,原因就一个字:贵。复杂的 Material Graph 最后会变成复杂 Shader,复杂 Shader 又意味着更高的实时开销。
Neural Material 给的是另一条路:不再手工把 Shader 优化得越来越复杂,而是让网络学习复杂材质的输入输出关系。
| 路径 | 流程 |
|---|---|
| 传统 | Material Parameters → 大量人工 Shader Math → Appearance |
| 神经 | Material Information → Small Neural Network → 近似 Appearance |
NVIDIA 的 Neural Shader SDK 已经提供了将神经网络直接用于 Shader 的基础设施,其示例甚至包含使用一个小型 MLP 学习 Disney BRDF 的过程。RTX Neural Materials 的目标则是利用 AI 压缩复杂多层 Material 的 Shader 计算。
这里值钱的不是某个性能数字,而是 Shader 的定义在变:过去 Shader 是程序员写出来的一个函数,未来是程序员定义一个问题,模型学走其中一部分。Material Artist 和 Rendering Engineer 的协作方式会跟着变。
1.5 Lighting Artist:逐灯调画面的价值下降,定义意图的价值上升
Lighting 是另一个容易被误判的领域。如果 Neural Rendering 能越来越准确地重建 GI、Reflection、Skin Lighting、Hair Lighting 和 Material Response,Lighting Artist 是不是就没用了?
并不是。Lighting Artist 实际上做两层工作:
计算层
- 放多少灯
- Shadow Resolution
- Probe、Bounce、Fill Light
- 各种 Technical Setup
艺术层
- 玩家应该首先看到什么
- 一个房间应该显得危险还是安全
- 角色应该显得神圣还是恐怖
- 哪些区域应该藏起来
- 色彩怎么建立情绪
- 光线怎么引导玩家动线
Neural Rendering 最容易替代的是第一层里大量重复的劳动,不容易替代第二层。所以 Lighting Artist 的工作会从"逐盏灯把最终 Pixel 调出来",往"定义 Lighting Intent"移动。
这和摄影行业很像。曝光、对焦、降噪不断自动化,并没有让摄影指导贬值;机器越擅长解决这些,人的价值越集中在为什么要这么拍。
1.6 角色与场景美术:细节的价值下降,设计的价值上升
Neural Rendering 可能带来一个长期趋势:高频信息的生产成本下降,大结构和视觉设计的重要性上升。
过去 AAA 游戏为了提高画面质量,必须大量增加:
- Surface Detail
- 小型装饰物
- Unique Texture
- Micro Geometry
- Material Variation
这些大多属于高频视觉信息,恰好是 Neural System 最适合压缩、恢复和生成的东西。
模型不容易替代的是:
- Silhouette
- 比例
- 建筑语言
- 角色识别度
- 构图
- 形体层次
- 视觉叙事
生产细节的价值可能下降,决定细节为什么存在的价值会上升。对好的 Character Artist 和 Environment Artist 来说,这未必是坏事——工作有机会从"生产大量资产细节",回到"设计这个世界到底应该长什么样"。
1.7 AI 不一定让 AAA 团队无限缩小
每次生产力工具出现,都会冒出同一个预测:过去需要 500 人完成的游戏,以后是不是 100 人就够了?
理论上当然可能。但游戏产业长期表现出的是另一种规律:
- 单位内容的生产成本下降
- 内容需求随之增加
- 游戏规模跟着扩大
工具一直在进步:手工像素 → 3ds Max / Maya → ZBrush → Substance → Unreal Engine。AAA 团队并没有从几百人缩到几十人;相反:
- 世界越来越大
- Asset Variety 越来越高
- Cinematic 越来越复杂
- 角色越来越多
- 制作标准越来越高
Neural Rendering 更可能的结果是:同样 500 人,做出更大的世界、更多角色、更多环境变化和更高的视觉质量。其中岗位结构当然会改变,大量低层执行工作会减少。但"生产力提高等于团队按比例缩小",在游戏行业历史上并不是最常见的结果。
二、渲染 Neural 化的过去与未来
DLSS 5 值得讨论的地方不在它自己这一代,而在于它是一个足够明显的信号:整个 Rendering Pipeline 都在 Neural 化。要看懂这个变化,得先说清楚旧 Renderer 到底是什么。
2.1 第一代 Renderer:一个巨大的手写数学系统
经典 Rasterization Pipeline 高度简化后是一条链:
- Game World
- Geometry
- Vertex Shader
- Rasterizer
- Pixel Shader
- Lighting
- Post Processing
- Final Frame
要渲染一个金属表面,Renderer 读取:
- Position、Normal、BaseColor、Roughness、Metallic
- View Direction、Light Direction
然后执行程序员写好的数学函数:
- BRDF
- Shadow
- Reflection
- Indirect Light
最后得到 RGB。
可以把传统 Renderer 理解成一个巨大的函数:
\[Image=F(Scene,Camera,Light,Material)\]
关键在于,F 是人写出来的:
- BRDF 是人定义的
- Shadow Algorithm 是人定义的
- Tone Mapping 是人定义的
- Temporal Filter 是人定义的
- Screen Space Reflection 是人定义的
实时图形学过去几十年的发展,就是人不断寻找更聪明的数学方法,让有限的 GPU 算力更接近真实世界。它是一个 Handcrafted Mathematical System。
2.2 Ray Tracing 换了算法,没换哲学
三种思路可以对照理解:
| 方法 | 思路 |
|---|---|
| Rasterization | 三角形投影到像素 |
| Ray Tracing | 从像素发出 Ray,去找场景里的三角形 |
| Path Tracing | 从相机出发的 Ray 在表面之间反复 Bounce,直到打到光源 |
这是一次很大的算法升级,Reflection、Shadow、GI 能用更统一的物理模型解决。但从哲学上看,它仍然是传统 Renderer:程序员定义数学规则,GPU 执行,得到 Pixel。Rasterization 是更聪明的近似,Path Tracing 是更接近物理过程的模拟,两者共享同一个基本思想——想让画面更准确,就计算更多。
于是整个行业追的一直是:
- More Triangles
- More Pixels
- More Rays
- More Samples
- More Bounces
2.3 Neural Rendering 第一阶段:AI 站在 Renderer 后面
第一代大规模 Neural Graphics 并没有进 Renderer 内部,它处理的是 Renderer 完成之后的结果:传统 Renderer 输出一张不完整或低质量的帧,网络把它变成更好的帧。
Super Resolution 是最典型的例子。输出 4K 意味着 3840 × 2160,真算下来约 830 万 Pixel。AI Super Resolution 则是:
- 渲染一张较低分辨率的画面
- 配上 Motion、History 等辅助信息
- 重建出 4K 输出
这第一次系统性地打破了"一个 Pixel 必须真正被 Native Renderer 计算出来,才能出现在屏幕上"。Frame Generation 又打破了下一条:一整个 Frame 也不一定需要 Renderer 真正执行一次。
但在这个阶段,Renderer 自己没有根本改变,它更像 Traditional Rendering 加上 Neural Reconstruction。
2.4 第二阶段:AI 进入 Shader
这一步的变化在于,网络不再只是挂在 Renderer 最后面的独立系统,它进了 Shader 本身。
Microsoft 在 2025 年推出 Direct3D Cooperative Vector 时,给出的一个使用场景很直接:假设传统 Lighting Shader 有几千行代码,要遍历 Light、Evaluate Complex Material、执行大量数学计算,未来开发者可以直接在 Shader Thread 中调用一个神经网络来近似这些复杂函数,同时保留原有 Graphics Pipeline 的整体结构。
于是 Pixel Shader 里除了:
if、fordot()、normalize()、sample()、BRDF()
旁边开始出现 Matrix × Vector、Activation 和小网络推理。而且不是"退出 Renderer 去调一个外部 AI 程序"——Neural Inference 直接成为 Shader 的一部分。
2.5 Cooperative Vector 为什么重要
传统 Shader 擅长的数学对象都很小:float、float2、float3、float4。图形学最经典的东西本来就是 XYZ、RGB、RGBA。神经网络不一样,它需要大量 Matrix / Vector 运算。
Microsoft 在 Shader Model 6.9 中把 HLSL Long Vector 的长度上限扩展到 1024,并引入 Cooperative Vector,让 Shader 可以更加直接地使用 GPU 中专门用于 Matrix Operation 的硬件。
| 路径 | 硬件 |
|---|---|
| 传统 | Shader → ALU → Graphics Math |
| 未来 | Shader → Traditional ALU 与 Matrix / AI Hardware → Neural Model |
AI 不再只是 GPU 旁边的另一种 Compute Workload,它进了 Graphics Programming Model 本身。
2.6 Neural Texture:第一批被 Neural 化的数据
纹理是最典型的例子。
| 传统 | Neural Texture |
|---|---|
| Texture Pixel → 压缩 → VRAM → Texture Sample | Texture → Neural Encoding → Compact Representation → Runtime Decode |
这代表一种新的资源哲学。过去是 GPU 需要什么数据就储存什么数据,现在是只储存一个能恢复这些数据的紧凑表示:
\[Data \rightarrow Representation + Decoder\]
与传统压缩算法最大的区别,是 Decoder 本身可以是 Learned Function。NVIDIA 当前已经把 RTX Neural Texture Compression 作为 RTX Kit 中可使用的 Neural Rendering 技术提供。至少在纹理这一层,它已经进了实际开发工具链,不再只是论文里的未来概念。
2.7 Neural Material:Shader 从 Programming 走向 Training
Material 更能说明问题。
| 传统复杂材质 | Neural Material |
|---|---|
| 输入 → 几十/上百 Material Node → 大量 Shader Instruction → Appearance | Ground Truth Material → Training → Small Neural Representation → Runtime Inference → 近似 Appearance |
核心是把一个昂贵函数换成一个学出来的便宜函数。传统写法是
\[y=f(x)\]
其中 f 由程序员明确写出来;神经写法是
\[y=f_\theta(x)\]
其中参数 θ 通过 Training 学出来。
也就是说,未来一部分 Graphics Programming 会从:
- Write the Algorithm
变成:
- Define the Ground Truth
- Define the Architecture
- Define the Loss
- Train the Approximation
Neural Shading 对 Rendering Engineer 的影响,远不止"学一个 DLSS SDK"这么简单。
2.8 Neural Lighting:不必追踪所有可能的光
间接光理论上可以用 Path Tracing 解决:光打到墙上,弹到地板,再照到角色,最后进相机。问题是计算成本。一个 Pixel 可能需要多次 Bounce,每个 Pixel 又要大量 Samples,再乘以几百万 Pixel,计算量迅速爆炸。
Neural Radiance Cache 的思路是让 Renderer 只算一部分真实信息,比如真实 Ray 的前几个 Bounce,然后学习空间中的 Radiance Distribution:给定 Position、Direction 和 Surface Information,网络输出 Indirect Radiance。NVIDIA 对 NRC 的描述就是利用 AI 学习多次间接光,在最初一到两次 Path Traced Bounce 之后推断后续照明。
| 旧思路 | 新思路 |
|---|---|
| More Bounce = Better GI | Better Samples + Better Prediction = Better GI |
2.9 从暴力计算转向稀疏采样加推断
把前面几项技术放在一起看,方向很一致。
传统图形学想提高质量,办法是:
- 加 Texture Resolution
- 加 Pixel、Triangle、Ray、Sample、Bounce
也就是
\[Quality \approx More\ Compute\]
Neural Rendering 的思路变成真正计算少量高价值信息,再利用:
- 空间规律
- 时间规律
- Learned Prior
恢复完整结果:
\[Quality \approx Good\ Evidence + Good\ Model + Enough\ Compute\]
这可能是 Neural Rendering 最重要的一次思想变化。Renderer 不需要知道所有答案,它需要拿到足够可靠的证据。
2.10 Renderer 从"计算器"变成"测量器"
这是理解未来渲染架构最关键的一个视角。传统 Renderer 的目标是 Calculate the Final Image,未来 Renderer 的目标可能变成 Measure Enough About the Scene。
所谓测量,是真正去计算:
- Geometry、Depth、Normal
- Primary Visibility、Motion Vector
- Material Identity
- Direct Lighting Samples、Sparse Ray Samples
- History
这些东西有一个共同点:高度可靠,而且受 3D 世界严格约束。然后把它们交给 Neural Renderer,由后者产出最终图像。
Renderer 的角色因此改变了:
| 过去 | 未来 |
|---|---|
| World → Renderer → Image | World → Ground Truth Renderer → Reliable Evidence → Neural Renderer → Image |
一句话说,未来 Renderer 的核心任务可能从完整地计算现实,转向准确地测量现实。
2.11 为什么游戏不会简单变成"实时视频生成"
顺着上面的逻辑很容易继续推:既然 Neural Renderer 越来越强,为什么不干脆变成 Game State 输入一个 Large Video Model,直接输出 Image?
某些类型的游戏里可能会出现。但至少在可预见的未来,它很难完全取代传统 3D Renderer。游戏和视频的差别不只在实时,更在于游戏是一个可交互、确定性的系统。
游戏必须准确知道:
- 敌人在什么位置
- 枪口在哪里
- 这一发子弹有没有命中
- 墙是不是挡住了玩家
- 门究竟打开了多少度
- 角色脚有没有踩到地面
- 这一帧物体移动了多少
这些不能靠"模型觉得大概应该这样"。游戏需要的是 Deterministic State,而 Generative Model 擅长的是 Probabilistic Appearance。
所以未来更合理的结构不是 Prompt 进 Video Model 出 Game,而是:
- Deterministic Simulation
- Deterministic Geometry
- Deterministic Visibility
- Neural Appearance
这可能会成为未来游戏图形系统最重要的分层:世界是确定性的,Appearance 可以是概率性的。
2.12 DirectX 的变化说明这不是 NVIDIA 一家的路线
如果 Neural Rendering 只是 DLSS 的一个 Feature,它未必意味着整个图形行业发生结构变化。DirectX 那边的动作更能说明问题。
Microsoft 的时间线大致是:
- 2025 年:把 Cooperative Vector 加入 Direct3D,使神经网络可以直接运行在 Graphics Shader 中
- 2026 年:公开表示 Machine Learning 正在从 Postprocess Trick 转变成 Real-Time Graphics 的基础组成部分
- 2026 年:推出 DirectX Linear Algebra,为 Shader-Level ML 增加 Matrix-Matrix 等能力
- 2026 年 4 月:D3D12 Linear Algebra 进入 Preview,统一 Neural Rendering、ML 和 Image Processing 的 Matrix Operation
这件事比一个 SDK 重要得多,因为 API 决定的是整个行业以后怎样写 Renderer。当 HLSL 原生支持 Traditional Graphics Math 加 Neural Math,Neural Graphics 就从 NVIDIA Proprietary Feature 进入 General Graphics Programming Model。Microsoft 还明确表示,这一方向是与 AMD、Intel、NVIDIA、Qualcomm 共同推进的。所以即使未来 DLSS 这个品牌发生变化,Neural Rendering 本身大概率还在。
2.13 未来 GPU:Graphics Core 与 AI Core 越来越难分开
传统 GPU 可以粗略理解成几块:
- Geometry、Rasterizer、Shader Core、Texture Unit、Frame Buffer
RTX 时代又加了 RT Core,负责 BVH Traversal 和 Ray / Triangle Intersection。Tensor Core 最初更像 GPU 里一个专门用于 AI 的独立加速器。
Neural Shader 出现以后,Tensor Core 开始直接服务于 Renderer。未来的结构更可能是 Geometry、Raster、RT 之后,Traditional ALU 和 Matrix Core 并列,共同支撑一个同时包含 Classical 和 Neural 计算的 Shader Program,最后输出 Frame。
于是 GPU 的 Graphics Performance 不能只看 TFLOPS,还要同时看:
- Raster、Ray Traversal
- Matrix Compute、Memory Bandwidth
- Neural Inference
- 不同硬件之间的调度效率
从架构角度看,GPU 正在从"Graphics Processor + AI Accelerator"变成一个统一的 Neural Graphics Processor。
2.14 未来五到十年,Renderer 可能怎么走
下面是推演,不是厂商已经确认的路线图,依据是目前的 Neural Texture、Neural Shader、NRC、DLSS 与 DirectX ML Infrastructure。
今天较先进的游戏 Renderer
- Geometry / Nanite
- Rasterization → GBuffer
- Lighting → Lumen / Ray Tracing
- Post Processing → TSR / DLSS
- Final Frame
下一阶段可能变成
- Geometry → Visibility → Sparse Ray Tracing
- Neural Texture → Neural Material
- Neural Radiance Cache → Neural Reconstruction
- Super Resolution → Frame Generation
再往后
- Game World → Geometry / Primary Visibility / Sparse Physical Samples
- Material 与 Semantic Information / Motion 与 History
- Large Neural Renderer → Final Frame
传统 Renderer 在这里没有消失,只是任务越来越集中在提供 Ground Truth。
2.15 Rasterization 和 Ray Tracing 最终可能成为 Ground Truth Engine
未来 Rasterization 可能不再主要负责"把完整画面画出来",而是负责准确告诉 Neural Renderer 哪个物体在哪里。Ray Tracing 也可能不需要暴力计算所有 Lighting,而是给 Neural Renderer 一些物理上可靠的 Light Samples。
分工大致会是:
| 模块 | 职责 |
|---|---|
| Rasterization | Visibility Ground Truth |
| Ray Tracing | Lighting Ground Truth |
| Physics | World Ground Truth |
| Animation | Motion Ground Truth |
| Neural Renderer | Appearance Reconstruction |
Renderer 的长期演进可以写成几步。过去:
\[Final\ Image = Geometry + Texture + Shader + Lighting\]
今天:
\[Final\ Image = Traditional\ Rendering + Neural\ Reconstruction\]
下一阶段:
\[Final\ Image = Sparse\ Physical\ Rendering + Neural\ Texture + Neural\ Material + Neural\ Lighting + Neural\ Reconstruction\]
更远:
\[\boxed{Final\ Image = 3D\ Ground\ Truth + Neural\ Renderer}\]
传统 Renderer 没有死亡,它从 Picture Generator 变成了 Ground Truth Generator。
三、什么样的技术人才会在渲染 Neural 化中受益
Neural Rendering 对人才最大的影响,同样不是某个岗位突然消失,而是什么样的知识组合最值钱变了。
3.1 最危险的是"只能理解一层"的人
传统大型游戏公司分工很细:
- 一个人负责 Material
- 另一个负责 Lighting
- 另一个负责 Renderer
- 还有人负责 GPU Optimization
在一个高度确定性的 Renderer 里,这种分工很有效。
Neural Rendering 会带来大量跨层问题。比如角色皮肤出了问题,原因可能不在 Skin Texture,而在:
- Motion Vector 影响了 Temporal Reconstruction
- 进而影响 Neural Appearance
也可能是:
- Material Representation 进 Neural Material 之后 Lighting Input 不对
还可能是:
- Ray Sampling 影响了 Radiance Cache
- 再影响 Reconstruction
定位一个 Visual Artifact,越来越需要同时理解整条链:
- Asset → Material → Shader → Renderer → GPU → Neural Model
所以未来风险最大的未必按"程序员"和"美术"划分,更可能落在只能理解 Stack 中某个狭窄区域的人身上。
3.2 Rendering Engineer 的技能树会扩大
传统核心知识(一个都不会突然失效)
- C++、HLSL、线性代数
- PBR、BRDF、Rasterization、Ray Tracing
- GPU Architecture、Memory、Frame Graph
- Profiling、Optimization
Neural Renderer 仍然跑在 GPU 上,仍然需要处理:
- Memory Management、Scheduling、Synchronization
- Data Layout、Cache、Bandwidth、Frame Budget
需要额外增加的能力
- ML Fundamentals、Matrix Compute、Inference
- Quantization、Neural Architecture
- Training、Distillation、Neural Reconstruction
能力树会从 Graphics Programmer 往 Graphics + ML Systems Engineer 移动。
高价值的人不一定要成为训练 LLM 的 AI Researcher。更实际的能力是懂足够多的 ML,知道怎样把一个 Learned Function 安全、稳定、高效地塞进 16ms 的 Rendering Pipeline。这和纯 AI Engineer 是两种工作。
3.3 Technical Artist 可能是最大的交叉受益者之一
TA 这个岗位本来就是为了填补 Art 和 Technology 之间的空隙。Epic 对 TA 的经典定义,就是连接 Code 与 Art,负责 Performance、Workflow、一致性,并常见地覆盖 Shading、Lighting、Procedural Creation、Pipeline 与 Optimization。
Neural Rendering 会把这个空隙撑大。
| 以前 | 未来 |
|---|---|
| Artist → Material → Shader → Renderer | Artist → Material Representation → Neural / Traditional Shader → Renderer → Neural Reconstruction → Final Image |
于是一堆新问题冒出来:
- 为什么这个 Satin Material 经过 Neural Material 后变成了塑料?
- 为什么角色静止的时候正常,运动以后脸部质感就变?
- 为什么 Hair 在 Native Rendering 下正常,经过 Temporal Neural Reconstruction 以后产生拖影?
- 为什么一个很 Stylized 的角色会被模型不断往 Photorealistic Appearance 上拉?
这些既不是纯 Art Problem,也不是纯 Engine Problem,落在 Art、Material、Renderer 和 Neural System 的交叉区。Rendering TA、Pipeline TA、Optimization TA 最容易在这里产生价值。
3.4 TA 不需要变成 AI Scientist
这里要澄清一个容易产生的误解。未来 TA 的竞争力不在会不会训练一个 Stable Diffusion,也不在能不能从零设计 Transformer。
需要的是理解:
- 模型的输入是什么、输出是什么
- 什么情况下模型会失败
- Temporal Artifact 怎么出现
- 哪些 Material 不适合 Neural Approximation
- 什么数据必须保留
- 哪里值得花 Tensor Compute
- 哪里应该继续用 Traditional Shader
也就是说,ML Literacy 比 ML Research 重要得多。就像今天优秀的 TA 不一定会从零设计 GPU,但他知道什么操作贵、什么操作便宜、哪里会爆显存、Shader 为什么慢。Neural System 会变成同一类基础知识。
3.5 Shader 与 Material 人才会进入更高的抽象层
传统 Shader Artist 熟悉的是 Material Graph、Texture、Normal、Noise、Mask、Blend、Procedural Pattern。这些技能未来仍然重要。
但更高价值的能力会变成判断:什么视觉规律应该由传统 Shader 描述,什么视觉规律应该交给 Neural Model 学习。
| 更适合 Traditional | 更适合 Neural |
|---|---|
| 明确与游戏规则相关的数据 | Material Microstructure |
| Primary Visibility | Texture Detail |
| 与碰撞相关的几何 | 复杂间接光 |
| 昂贵的 Appearance Approximation |
这实际上是一种新的系统设计能力:划分 Deterministic Computing 与 Learned Computing 的边界。能做这个判断的人,就不只是 Shader Artist,而开始变成 Neural Graphics Architect。
3.6 Optimization Engineer 会越来越重要
乍看 AI 好像意味着不用优化了,实际正相反。一帧的预算不会因为 Neural Rendering 出现而变大:
- 60 FPS 依然只有 16.67ms
- 120 FPS 大约 8.33ms
过去优化是在分
- Geometry、Texture、Shadow、Lighting、Post Process 的预算
未来还要加上
- Inference Budget、Tensor Budget、Model Memory
- Neural Cache、Reconstruction Cost
GPU 内部还有竞争:Graphics Work、Ray Tracing、Matrix Compute 究竟怎样重叠,什么时候运行,什么时候发生 Stall,VRAM 应该给 Texture、Geometry、History Buffer 还是 Neural Weight。
这些问题不会因为 AI 自动解决,反而会更复杂。同时理解 GPU Architecture、Frame Profiling、Graphics 和 ML Inference 的人会很稀缺。
3.7 最有价值的能力组合
如果今天重新搭一棵面向未来 Neural Graphics 的技能树,我认为很强的一个组合是:
- Unreal Engine、C++、HLSL / Slang
- PBR、Rasterization、Ray Tracing
- GPU Architecture、GPU Profiling
- Python、ML Fundamentals、Inference、Neural Rendering
注意这里不是 Unreal 加 Prompt Engineering。高壁垒的东西依然是 Graphics Fundamentals。
原因很简单:不了解传统 Renderer,就无法判断 Neural Renderer 到底替代了什么;不了解 GBuffer、Motion Vector、BRDF、BVH、Temporal History、GI 和 GPU Memory,模型出问题时你甚至不知道该去哪里找。Neural Graphics 时代一个反直觉的结果可能是,传统 Graphics Knowledge 不会贬值,反而成了理解 Neural Graphics 的基础门槛。
3.8 稀缺的是能从最终 Pixel 一路追到底层的人
假设未来某个游戏出现一个问题:角色快速转身的时候,皮肤突然产生奇怪的塑料感。
普通美术看到的是"皮肤看着不对"。跨层的人会一路往下查:
- Final Pixel
- DLSS / Neural Appearance
- Temporal History
- Motion Vector
- Skin Material
- GBuffer
- Animation 与 Geometry
最后发现问题不在 AI 模型,而是某个变形 Mesh 输出了不正确的 Motion Vector。
这类问题会越来越多。所以最值钱的技术人才,是既能判断最终画面为什么不对,又能一直向下追踪到 GPU 和 Data Pipeline 的人。这类人今天可能叫 Rendering Engineer、Rendering TA、Graphics Engineer 或 Technical Art Director,未来职位叫什么不重要,重要的是这种 Cross-Layer Thinking。
3.9 值钱的不是"会用 AI"
Neural Rendering 普及以后,"会打开 DLSS"几乎没有壁垒,"会使用 Neural Material"也会逐渐工具化。
有壁垒的是这些判断:
- 为什么这里应该 Neural,为什么那里不应该
- 哪些信息可以预测,哪些绝对不能预测
- 哪些东西必须是 Ground Truth
- 出现错误以后从哪里修
| 信息类型 | 处理方式 |
|---|---|
| Player Collision、Weapon Position | 必须 Deterministic |
| Primary Visibility | 高度 Deterministic |
| Micro Surface Detail | 可以 Neural |
| Indirect Lighting | 非常适合 Neural Approximation |
| Texture 高频信息 | 非常适合 Neural Compression |
| Final Appearance Enhancement | 可以 Neural,但需要 Art Constraint |
最终决定游戏 Renderer 架构的人,要回答的问题会从"哪一个 Shader 用什么公式",变成"整个系统中哪些信息应该计算、哪些应该采样、哪些应该学习"。这可能会成为下一代 Rendering Engineer 最核心的设计问题。
四、DLSS 5 真正杀死的是什么
回到标题。DLSS 5 开始杀死的不是 Rendering、Rasterization、Ray Tracing、Shader,也不是 Technical Artist 和 Rendering Engineer,而是传统实时图形学里的几条默认假设。
- 一个 Pixel 必须真正 Render 以后才能显示。 Super Resolution 已经证明不需要。
- 一个 Frame 必须由 Renderer 真正生成。 Frame Generation 已经证明也不需要。
- Material 必须完整执行复杂 Shader 才能得到 Appearance。 Neural Materials 正在挑战这一条。
- Texture 必须存储足够多的显式 Pixel。 Neural Texture Compression 正在挑战这一条。
- 高质量 GI 必须增加大量 Ray 和 Bounce。 Neural Radiance Cache 与 Neural Reconstruction 给出的答案是,你可能只需要足够好的 Samples。
- Renderer 必须负责决定最终 Appearance。 DLSS 5 的做法是 Renderer 提供 Ground Truth,让 Neural Model 完成一部分 Appearance。
被终结的其实是 Brute-Force Rendering Paradigm:想获得两倍视觉质量,就必须不断增加 Triangle、Pixel、Ray、Sample 和 Shader Complexity。新的 Paradigm 更接近计算少量可靠事实,然后利用 Learned Prior 恢复完整视觉结果。
结语:渲染没有死亡,它升高了一个抽象层级
过去的 Rendering Engineer 主要解决"怎样更高效地计算一个 Pixel"。未来的问题会变成:
- 哪些 Pixel 真的需要计算?
- 哪些信息只需要采样?
- 哪些复杂函数值得让模型学习?
- 哪些信息必须永远保持 Deterministic?
所以未来更可能的结构是,传统 Renderer 变成 Ground Truth System,和 Neural Renderer 一起产出 Final Image。
DLSS 5 不会杀死渲染。它只是意味着,渲染正在从"计算所有像素",走向"定义哪些现实必须计算,哪些现实可以学习"。