游戏技术的未来？——浅谈DLSS技术

2018年，随着Nvidia的一项革命性技术的推出——光线追踪。Nvidia显卡正式抛弃了GTX的命名，开始以RTX作为命名前缀。由于光线追踪技术占用了大量显卡算力，就算是配备了专门用于处理光线追踪的RT Core的RTX20系显卡，在开启了光线追踪之后，帧数也会暴跌，为了应对这种情况，Nvidia为此专门开发了DLSS 1.0（Deep Learning Super Sampling）技术。

其实，RTX系列显卡，除了配备专门用于处理光追的RT Core以外，还配备了用于处理光追降噪的Tensor Core，Tensor Core是一个专精于AI深度学习的核心，Nvidia便基于Tensor Core的AI算力，推出了深度学习超采样（DLSS）技术。由于Tensor Core的处理压力相对较小，Tensor Core经常处于低负载工作中，于是基于Tensor Core的深度学习技术就变为了可能。简单来讲，DLSS技术就是给AI一个低分辨率的图像，靠AI强行“脑补”出高分辨率的画面内容，降低了CUDA流处理器处理图形的压力。由于传统的插值超分辨率算法是通过已有的像素，猜出中间像素，从而完成过渡提高了分辨率。比如说，现在已知有黑白两个像素信息，那么在中间插入一个灰色像素就可以完成图像过渡，进而提高分辨率。但是，这种算法的缺点也显而易见，因为黑白像素之间，也可能是个蓝色，甚至于红色像素。对于这种情况，传统插值就无能为力了。这时，就需要DLSS 1.0技术来救场了，比如说，我说“大象”，基本上所有人的脑内都能出现一头大象的模糊形象，这个过程，就类似于我们今天要谈的DLSS 1.0技术。DLSS 1.0技术是一种使用低分辨率图像由AI“猜”出高分辨率图像的技术，是一种AI匹配算法。所谓的匹配，就是利用Tensor Core的深度学习能力，让AI看很多很多1080P的游戏画面，和8K超清的游戏画面，让AI自己对比统计，最终强行得到一个规律：1080p和8K的画面有什么区别，这种画面情况下，两个像素之间最有可能是什么像素，从而完成插值。DLSS本身是几乎实时的，但是训练是要耗费很大计算力的。听上去DLSS 1.0技术是一种完美调和了画质与性能这对鱼与熊掌——在减小GPU渲染压力的同时，还解放了一部分用于抗锯齿运算的CUDA流处理器，进一步加强了显卡的图形运算能力。但是，您从上面的描述中也可能会发现，DLSS 1.0是要强行让AI自己在大量的训练中，从没有规律中自己强行总结出规律，这种情况下，总结出的规律，可能大部分时间中是适用的，但是在游戏的画面的渲染中，画面变化极快，渲染速度可能是每秒几十、几百帧。这时候DLSS 1.0就会出现大量“猜错”的情况，直接导致画面劣化，动态画面出现大量伪影。而且，由于需要大量的游戏画面进行训练，而各家的游戏画面风格千奇百怪，这就需要各家游戏制作方根据自己的游戏情况单独训练，使得推广极其麻烦。

为了解决这些问题，Nvidia在2020年发布了全新的技术——DLSS 2.0。之所以说DLSS 2.0是全新的技术，是因为虽然DLSS 1.0与DLSS 2.0单从名字上看是简单的升级迭代，但是，DLSS 2.0所运用的技术，与DLSS 1.0则完全不同。非要说相同点，那就是二者都运用了AI深度学习技术，但是实现原理完全不同。与DLSS 1.0不同，DLSS 2.0不再依靠低分辨率图像，AI脑补出高分辨率，而是采用了类似于计算摄影中的多帧合成采样的方式实现。

Nvidia把一个画面分成ABCD若干区域，在第一帧渲染的时候只对AB区域采样，第二帧渲染的时候只对CD采样，之后再将这两帧的采集内容合并，就输出一个正常画面（实际的算法肯定比这个复杂得多，这里只是举一个例子）。通过这种方式，就能只采样目标分辨率的1/2甚至于1/4的实际分辨率，就能获得一个接近目标分辨率的画面表现。从而实现在画面质量损失很低情况下，获得一个巨大的帧数提升。DLSS 2.0也有它的问题，这种采样方式，在处理静态图片的时候，提升很大，甚至由于多次采样，DLSS 2.0开启后的图像质量比原生的图像还要高。但是，一旦画面动起来，由于分别采样，像素就很有可

注意图中帧数的提升

能发生错位，从而出现大量鬼影，传统的TAA抗锯齿算法就是为了解决这个问题，而在DLSS 2.0 中，Nvidia对TAA算法做出了改进，融合进了DLSS 2.0中。在传统的TAA算法中，对于伪像的消除，是采用人工调试的方法，而DLSS 2.0之中则换成了AI实时演算，大大提升了多帧合成的质量。所以，在DLSS 2.0中，每一个像素都是真实存在的，没有AI“猜”的成分。因此DLSS 2.0在呈现静态画面时，甚至比原生画面还要清晰，虽然，一旦画面动起来还是有一定的质量劣化现象，但是，能在保证一定的画面质量的前提下，大幅节约显卡算力已经非常令人满意了。

回到本文题目的疑问：DLSS技术是不是游戏技术的未来呢？笔者认为，在一定程度上来说，是的。虽然它现在还有许多的问题，比如，在低分辨率下（2K分辨率以下）画面劣化还是有一些严重，在鬼影消除方面依旧有一些瑕疵。但是在可以预先的未来，随着2K及以上分辨率显示器的普及，以及显卡算力升级逐渐放缓，多从软件算法上找出路的确是一条可以行得通的道路。同时，这也是一些入门级甜品卡用户，想用低成本享受接近旗舰级显卡体验的一条可行的方法。

自1968年，首次提出用于渲染的光线投射算法以来，人们一直致力于在虚拟世界中还原一个真实的世界。1972年，第一家使用光线追踪的商业动画公司成立。随着Nvidia发布RTX系列显卡以来，早已广泛用于电影和电视节目制作的光线追踪技术第一次走入了PC之中，面对随之而来暴涨的计算量，DLSS技术应运而生，从最初满是瑕疵的DLSS 1.0，到如今已经差强人意的DLSS 2.3，我们从中窥探到了一条图形渲染的全新赛道，无论这条路的终点是不是未来，但是走在这条路上的每一个工程师，都是值得我们肯定的开拓者。