游戏引擎正逐渐演变为部分渲染器、部分调度器、部分AI系统

游戏引擎过去用于编排模拟与渲染。神经图形、预测性内存和游戏智能体正在增加第三项职责:决定推理在帧和游戏状态中的位置。
已发布:
Aleksandar Stajic
已更新: 2026年10月18日 18:26
游戏引擎正逐渐演变为部分渲染器、部分调度器、部分AI系统

现代游戏引擎已经在帧截止时间内协调模拟、动画、物理、音频、网络、资产流送和渲染。神经渲染和游戏AI并不取代这些职责。它们增加了一类新的工作,与原有工作争夺相同的时间、内存和硬件资源。这使引擎更像一个面向传统计算和学习型计算的实时资源调度器。

旧的心智模型本就不完整

经典简化引擎循环

1
输入
读取玩家/控制器/网络输入。
2
模拟
推进游戏逻辑、物理、AI和动画状态。
3
准备渲染工作
构建可见性、绘制/调度列表、资源和管线。
4
渲染
光栅化、光线追踪和计算生成帧。
5
呈现
帧到达显示器,同时下一帧开始。

即使这种简化也隐藏了异步任务、多线程和流送。但它有用,因为神经工作负载现在可以在多个不同点进入,而不是存在于一个孤立的“AI”框中。

神经工作正分裂为多个时间尺度

一个引擎,多个截止时间

典型截止时间如果调度不当主要压力
输入/模拟响应毫秒/游戏刻延迟或模拟不稳定CPU/游戏状态调度
光栅化/光线追踪/着色当前帧预算帧时间尖峰或未达目标帧率GPU计算+内存带宽
资产/内存预取未来需求之前延迟则停顿;过早则浪费带宽存储、互连、缓存和驻留
帧关键神经图形帧生成内部或相邻伪影、延迟或未达帧预算GPU矩阵/Tensor计算+带宽
智能体/NPC推理通常数十/数百毫秒或异步仓促则规划差;放入反射循环则游戏滞后模型内存+CPU/GPU/NPU推理时间

DirectX正使机器学习成为图形基础设施的一部分

微软2026年的DirectX工作很重要,因为它将机器学习数学视为图形平台关注的问题。协作向量和DX线性代数让较小的神经工作负载靠近着色器执行,而宣布的计算图编译器则针对更大的模型图。这为引擎创建了一条API级路径,将机器学习视为可调度的GPU工作,而非外部黑盒。

DLSS 5将生成更深入地融入帧叙事

NVIDIA将DLSS 5描述为一个实时生成式渲染阶段,通过学习到的外观先验补充传统渲染。架构含义比单个产品版本更重要:最终帧可以越来越多地包含并非仅由传统场景模拟和着色产生的信息。

引擎可能同时优化五个预算

预算传统问题神经时代问题
存储资产是否已安装?紧凑表示能否替代部分存储细节?
内存容量工作集是否适合?哪些资产、模型状态和神经表示值得驻留?
带宽所需字节能否及时到达?压缩/预取能否减少或隐藏传输?
渲染计算着色器/光线追踪能否在帧内完成?哪些细节推理比传统渲染更便宜?
推理计算主要在图形循环之外哪些神经工作在本帧值得其计算和延迟成本?

内存调度成为图形调度的一部分

神经图形在纹理、几何体和渲染目标之上增加了权重、潜在表示和历史缓冲区。资源流送已经必须预测玩家将看到什么。未来的引擎可以通过对未来的内存需求进行排序,并决定在帧到达之前哪些表示应该驻留,从而使这种预测更加明确。

Figure Rocks神经引擎循环

1
1. 解析游戏状态
当前模拟中什么是真实的?
2
2. 预测近期需求
接下来可能涉及哪个场景、资源、着色器和神经数据?
3
3. 分配帧预算
多少时间用于模拟、传统图形、光线追踪和神经阶段?
4
4. 分配内存/带宽预算
哪些资源保持驻留,哪些可以压缩或预取?
5
5. 执行快速神经工作
在图形路径内进行重建、降噪、纹理/材质推断或生成。
6
6. 异步执行慢速AI
助手/NPC推理尽可能在关键渲染截止时间之外运行。
7
7. 验证输出
检查帧节奏、延迟、图像稳定性和游戏状态正确性。
8
8. 反馈测量结果
调度器根据未命中、停顿和质量结果调整策略。

预测性内存是引擎问题,因为引擎拥有上下文

驱动程序可以观察内存行为,但游戏引擎知道语义状态:下一个关卡单元、摄像机方向、资源依赖关系、动画图、附近角色和移动约束。这使得引擎可以将确定性知识与学习型排序相结合,然后仅在当前渲染和模拟留有足够带宽余量时调度推测性移动。

游戏智能体创造了另一种引擎问题

AI队友或助手不仅仅是另一个着色器。它对游戏知识和实时状态进行推理,可能调用工具,并可能产生影响世界的动作。Figure Rocks已经在PUBG Ally架构中将快速反应式游戏控制与较慢的语言推理分开。同样的分离应属于引擎层面:并非每个智能操作都属于同一个循环或应获得相同的权限。

图形推理 vs 智能体推理

图形推理游戏智能体推理
主要输入帧缓冲区、运动/历史、几何/材质数据游戏状态、玩家请求、检索到的知识
主要输出像素、重建特征或渲染数据计划、解释、工具/动作请求
时序通常帧关键通常异步或较慢
验证图像质量、稳定性、延迟状态有效性、权限、正确性、安全性
故障可见性伪影或卡顿错误建议或错误动作

调度器成为真正的产品

随着更多专用硬件的出现,引擎的价值从仅仅暴露功能转变为正确放置工作。CPU可能空闲而GPU因数据而停顿。张量硬件可能可用而VRAM已饱和。NPU可能存在但与引擎的帧路径连接太弱。如果调度器无法为系统提供数据并安排顺序,最快的组件也无法决定体验。

引擎决策糟糕的简化更好的问题
运行神经渲染"张量核心很快"推理节省的帧成本是否超过其增加的成本,包括数据移动?
运行本地助手"模型能放进VRAM"在实际游戏过程中还剩多少空闲内存/计算?
预取资源"加载下一个区域"哪个子集最可能需要,安全的带宽预算是多少?
使用统一内存"一切都能访问一切"在帧截止时间哪个工作负载获得带宽优先权?
生成帧"显示的FPS更高"基础渲染速率、延迟和时间质量如何?

这就是stajic.de和Figure Rocks应该轻触的地方

通用AI架构问题涉及模型、检索、工具、协议和权限。Figure Rocks应保持应用边界:当这些组件必须与实时游戏引擎共存时会发生什么。一个工具协议在软件层面可能是正确的,但如果它引入帧卡顿或作用于过时的游戏状态,仍然不可用。

神经游戏引擎必须执行的六个边界

神经引擎边界测试

1
1. 帧边界
哪些工作必须在呈现之前完成?
2
2. 状态边界
哪些数据描述的是当前游戏状态而非通用知识?
3
3. 内存边界
哪些资源必须现在驻留,哪些是为后续预测的?
4
4. 权限边界
哪个模型可以建议操作,哪个子系统可以执行操作?
5
5. 质量边界
对于此功能,可接受的产物、错误或幻觉水平是什么?
6
6. 回退边界
当神经路径太慢、不可用或不确定时,哪条确定性路径接管?

架构可能的样子

一种可能的未来引擎栈

角色职责
游戏状态核心确定性权威模拟、规则、权威状态
实时调度器截止时间管理器CPU/GPU/RT/ML 时序与预算
内存智能驻留/预取管理器压缩、分层、预测与传输
混合渲染器视觉生产者传统 + 神经图形阶段
代理层审慎智能在权限限制下的推理、对话、规划与工具
验证层护栏帧质量、状态有效性、延迟与回退

什么会改变这个答案?

如果神经图形和本地游戏代理仍然是孤立可选功能,引擎可以继续将它们视为围绕传统核心的插件。如果它们变得普遍,引擎架构将需要像现代引擎已经为 CPU、GPU 和流式工作做预算那样,为推理、内存移动和概率输出提供一等预算。

观察对假设的影响
神经图形仍限于可选后处理削弱推理成为核心引擎调度领域的说法
内存经济正常化,消费级带宽/容量再次廉价扩展减少用预测/压缩替代原始资源的压力
跨厂商 ML API 未能成熟使神经技术保持碎片化且集成成本高昂
预测开销/浪费超过隐藏延迟削弱预测内存的价值
开发者将 AI 代理完全置于延迟关键的引擎路径之外将调度器收敛限制在图形/数据而非所有 AI

主要来源

Microsoft DirectX — 为 ML 时代演进 DirectX

DirectX 着色器级和模型级 ML 方向的官方来源。

CPU-GPU UVM 中基于深度学习的数据预取

学习预测可以改善 GPU 内存页面预取的研究证据。

AAAI 2026 — 异步 KV 缓存预取

主动内存移动和延迟隐藏的研究证据。

NVIDIA Research — DLSS 5

交互式图形管线中生成式神经渲染的主要研究来源。

未来游戏引擎架构

AI 会取代游戏引擎吗?

不会。引擎仍然是拥有模拟、状态、调度和集成的系统。AI 成为该架构内的另一类工作负载。

为什么不异步运行每个模型?

一些图形 ML 必须影响当前帧。其他 AI 可以异步,但仍需要当前状态和资源限制。

最大的技术挑战是什么?

协调截止时间、内存和权限,使概率系统改善体验而不破坏帧时间或游戏状态的稳定性。

统一内存能解决调度问题吗?

不能。它可以简化容量和共享,但也可能增加争用。调度和局部性仍然重要。

Figure Rocks 的核心观点是什么?

未来引擎可能在确定性模拟和概率计算之间进行仲裁,而不是将 AI 视为一个单独的功能。

神经引擎术语

帧关键推理
必须在渲染截止时间内或附近完成的 ML 工作。
审慎推理
较慢的推理或规划,通常可以在即时帧截止时间之外运行。
权限边界
定义模型可以推荐什么与确定性工具或游戏系统实际可以改变什么的规则。
神经引擎循环
Figure Rocks 综合,用于在实时预算下协调状态、预测、内存、渲染、代理和验证。

Related Articles

所有兼容amiibo的游戏——奖励与游戏玩法整合完整概览

amiibo手办可与Wii U、任天堂3DS及任天堂Switch平台上的众多任天堂游戏互动。不同游戏中的附加价值各有差异:有时奖励仅为外观装饰,有时则会直接影响游戏玩法。以下将按游戏平台分类,系统梳理兼容作品及扫描手办可解锁的核心内容。

即将推出的任天堂amiibo——新模型、发售窗口与功能意义

amiibo是配备NFC芯片的实体手办,可与任天堂游戏机进行通信。在兼容游戏中,它们能解锁游戏内物品、装饰元素或小型游戏功能。本目录概览主要关注官方已公布的即将推出的amiibo,包括其预计发布时间窗口、功能价值以及在更广泛的产品批次中的定位。

Google I/O 2026 与游戏:AI、XR 以及下一波收藏品浪潮

Google I/O 2026 与游戏:AI、XR 以及下一波收藏品浪潮

Google I/O 2026并非一场典型的游戏活动,但其AI、XR、Gemini、Google Play和创意工具方面的公告指向了游戏文化的一次明显转变。本文解释了AI发现、XR伴侣层、Gemini驱动的媒体以及更快的角色可见性可能如何塑造游戏、手办、收藏品和未来的粉丝生态系统。

在神经渲染时代,“面向未来”的游戏硬件意味着什么?

在神经渲染时代,“面向未来”的游戏硬件意味着什么?

过去,面向未来意味着购买比当下所需更多的 CPU、GPU 和 VRAM。神经渲染让这条规则变得不那么可靠。这里有一个更好的决策框架。

为什么AI正在重塑游戏内存:HBM、GDDR、VRAM与容量之争

为什么AI正在重塑游戏内存:HBM、GDDR、VRAM与容量之争

现代游戏背后的内存问题不再仅仅是GPU需要多少千兆字节。AI基础设施正在改变供应商优先考虑哪些内存产品,以及消费者买家能负担多少。

如果一款游戏能预测它的下一次内存访问会怎样?AI预取与卡顿的未来

如果一款游戏能预测它的下一次内存访问会怎样?AI预取与卡顿的未来

游戏引擎已经知道玩家、摄像机和世界将去向何处。研究表明,学习式GPU预取能够预测内存页。如果将这些想法结合起来会发生什么?

Pre-Order Alert: Good Smile Company Figma Doom: The Dark Ages – Doom Slayer DX Edition

Pre-Order Alert: Good Smile Company Figma Doom: The Dark Ages – Doom Slayer DX Edition

The new Good Smile Company Figma Doom: The Dark Ages Doom Slayer DX Edition is more than a routine figure drop. It connects collector demand, franchise identity, and the wider appeal of Doom as one of gaming’s most durable icons.

一台类似Spark的游戏PC究竟会带来什么改变?统一内存、AI计算与经典的GPU分工

一台类似Spark的游戏PC究竟会带来什么改变?统一内存、AI计算与经典的GPU分工

渲染更少,推理更多:AI正在打破传统游戏硬件升级周期吗?

渲染更少,推理更多:AI正在打破传统游戏硬件升级周期吗?

人工智能正使高性能芯片和存储器在游戏之外更具价值,同时也为游戏提供了新的渲染、压缩和预测方式。本分析探讨这两种趋势是否会汇聚成一种新的硬件模式。

"超越扫描——amiibo的创意用途与改造"

amiibo是任天堂自2014年起推出的搭载NFC技术的角色手办。从技术层面看,它们是封装在塑胶模型内的微型数据载体。在实际应用中,这些产品介于玩具、收藏品与交互设备之间。将其扫描接入游戏主机仅是它们生命周期中的一环。多年观察可见,许多拥有者将其视为具备独立创作潜能的实体物件。