当画质走到「尽头」,AI 稳帧接起了游戏体验的下一棒

摘要

「高帧争霸赛」下半场,HyperBoost 式的稳帧成游戏体验升级的胜负核心。


随着智能手机迎来高帧率的「大航海时代」,越来越多手机游戏也加入了这场「高帧争霸赛」。

不幸的是,高帧率带来的高负载使用需求,加重了手机在游戏运行时的负担,《原神》、《幻塔》等热门游戏更是「资源消耗大户」,于是,一些无法回避的问题摆在消费者面前:为什么手机玩游戏会越来越卡?高帧率下玩游戏为什么容易发热甚至发烫?

在 1 月 11 日,搭载全新 ColorOS 12.1 的一加 10 Pro 正式发布,在发布会上一加针对上述问题给出了自己的答案:一加 10 Pro 运行英雄联盟手游,从手机满电到关机能够持续稳定在平均 87 帧左右,最高温度不超过 43.3 度。据内部了解,目前该数据是一加官方通过英雄联盟手游海外版测试得到,国内版 90 帧模式预计近期就将对一加 10 Pro 开放。

相比于行业通常 30 分钟帧率测试数据来说,这恐怕是目前行业最长时间的稳帧了。如此「稳」的表现,正是得益于背后的 HyperBoost 全链路游戏稳帧技术:通过集合多种 AI 算法的「GPA 稳帧」技术,配合给芯片动手术,将游戏功耗降低 5% 的「图形异构」技术,再加上从应用到显示延迟缩短 30ms 以上的「O-Sync 超频响应」,来解决高负载游戏带来高功耗、帧率不稳定等问题,ColorOS 似乎找到了游戏长时间稳帧控温的突破口。

在实现安卓阵营当前最稳定流畅且持久的高帧率游戏体验背后,HyperBoost 究竟是如何实现这些技术突破?为何说 HyperBoost 技术是当下最适合用户的游戏增强技术?带着这些问题,极客公园专访了 ColorOS 系统 HyperBoost 技术负责人,并尝试从他们的回答中找到答案。

01 历史的必然

随着智能手机的硬件水平不断提高,用户使用手机游玩大型游戏的时间越来越长。

QuestMobile 数据显示,2021 年 6 月,国内手游市场 MAU 达 5.48 亿,月人均使用时长超过 20 小时。随着用户喜好走向多元化,传统的横版动作、回合制、MMORPG 等游戏类型已不再能够满足用户对手机的游戏需求,电竞类手游、射击类沙盒游戏、大型开放世界游戏等类型成为新的热门。

凭借精美画面以及高帧率体验,这些游戏类型对于手机硬件的需求不断提高,也加大了手机厂商的优化难度。一个显而易见的事实是,在 2021 年全年的手机中,能够做到《原神》坚持长时间 60 帧稳定运行的产品并不多,甚至在一些旗舰机型,随着游戏时长不断增加,其游戏帧率出现了从 60 帧降骤降到 40 帧的情况,大大影响了用户的游戏体验。

针对于此,一些厂商尝试通过技术手段解决这一问题。一条路线是通过软硬件结合控制功耗,以达到游戏流畅运行目的,其中代表便是 2018 年亮相的华为 GPU Turbo,宣称通过软硬件结合的方式控制芯片资源分配,实现了提升 GPU 性能的同时降低功耗,这一技术背后是软硬件的结合,即通过软件辅助调度整个芯片各部件的协同运行,降低资源消耗,因此也能够在旧机型上实现帧率更稳定的游戏体验。

另一条路便是加入独立显示芯片从而提升画面流畅度,其中代表便是 iQOO 推出的游戏插帧技术。iQOO 在硬件层面加入了一颗独立显示芯片,通过计算游戏两帧画面之间的过渡帧,能够将游戏帧率提升至 90 帧或者 120 帧,从而提升游戏画面的流畅性。这一技术对于画面精细度没有损耗,并且能够适配不同游戏,但仅支持有独立显示芯片的部分机型,并且在游戏过程中,插帧也会对跟手性造成影响。

第三条路便是 HyperBoost 技术。ColorOS 在 2018 年提出了自己的游戏优化技术 HyperBoost,通过和上游硬件厂商和游戏工作室合作,初代 HyperBoost 大幅度改善了手机游戏时的性能和功耗问题。

如今升级之后的 HyperBoost 全链路游戏稳帧技术,其核心是通过 AI 学习判断进行智能调度。由于近两年对于 AI 技术的深入研究,HyperBoost 技术已经具备自主识别判断高负载场景的能力,可以在不询问厂商的情况下智能判断哪些场景负载比较高,这相较于其他厂商更进一步,由于 HyperBoost 技术属于系统级游戏优化技术,不会涉及对硬件的改变,因此其能在兼顾画面精细度、流畅度的前提下,适配更多 ColorOS 机型。

HyperBoost 走上了一条不同于其他厂商的道路,即通过系统级技术开发,持续优化游戏体验。实际上,当团队明确了这一目标,便联合全球 4 大研发基地的优势力量,结合多种 AI 算法,重点解决两大核心问题:如何将前沿的图形多线程思想应用在游戏优化领域以提升图形渲染指令效率?如何将先进的机器学习算法应用于系统资源精细化联动控制?

在五万行代码和千万级的自动学习数据量之上,HyperBoost 终于找到了手机「慢、卡、顿」的根源,而 AI 技术,便成为切入这些问题的关键所在。

02 AI 技术切入「慢卡顿」

如果说 2021 年高帧率游戏带给玩家前所未有的游戏体验,那么 2022 年的核心,便是如何实现高帧与稳帧的完美平衡,这也是 HyperBoost 的目标。

「实现 HyperBoost 全链路游戏稳帧技术的重点在于三大技术领域:GPA 稳帧、图形异构、超频触控。GPA 稳帧技术聚焦于 CPU/GPU 的调频调度上,起到对游戏资源的管控作用;图形异构技术,聚焦于 GPU 图形渲染管线,在这个方向之下,我们每年都会有一个技术的迭代;第三个就是超频触控,我们希望在触控领域打造极致的手感,极快的跟手性。这些技术是支撑 HyperBoost 全链路游戏稳帧技术的三大方向。」

HyperBoost 技术负责人鞠工(鞠怀伟)告诉极客公园,解决手机在游戏过程中的「慢卡顿」问题,重点就是在这三大技术领域,但要实现好这三大技术,团队走过了从没有人走过的方向。

首先是稳帧过程中如何实现场景智能化识别。以《王者荣耀》举例,这款游戏约有 200 多个子线程,而一般游戏除了主线程之外,还有 100 多个子线程,在如此多的子线程里,手机 CPU 的核数是有限的,哪些是重要的,哪些是关键的,如果靠手工识别就会很难,同时游戏场景也是瞬息万变的。为了解决这一问题,HyperBoost 通过 AI 技术去判断,哪些是关键的线程,然后做一些保护和牵引,从而保证资源可以得到最优的调动。

听起来容易但做起来难。游戏渲染的本质就是 CPU 向 GPU 发送图形指令,这就需要让 HyperBoost 能够在指令发送过程中提前洞察芯片的需求,从而更好帮助系统进行资源按需匹配。就好比食客在饭堂下单的同时,后台厨师就已经开始备菜准备烹饪,迅速对每一样食材进行明确的操作划分,减少食客在下单之后的等待时间。当一个人玩《原神》,比如在野外闲逛时,图形指令此时只有一条,但如果突然出现野怪或者 Boss 需要玩家参与对战,图形指令就会变多,而 HyperBoost 就会瞬间知道,这是要开始战斗了,技能和特效满天飞,因此会智能地调动更多 CPU 和 GPU 资源来支持。

「系统底层绘制层仅能看到渲染指令,无法看到渲染逻辑,如何仅仅通过渲染指令识别出各个渲染阶段对我们是一大难点,比如 3D 场景渲染阶段、特效绘制阶段、UI 绘制阶段的识别等,而 HyperBoost 图形异构技术,实现了指令批量提交,剔除重复指令,提高连续内存池增加拷贝效率,降低带宽等。来实现提升 GPU 计算效率,降低系统功耗,持久稳帧的表现。」鞠怀伟告诉极客公园。

要教 HyperBoost 学会分辨重要和非重要元素,这需要大量的 AI 训练。最开始,ColorOS 的研发团队是人工去一毫秒一毫秒地微调不同场景下 CPU/GPU 的主频、用户行为、设备温度、场上局势以及整体功耗等变量和参数,就像跟阿尔法狗下围棋一样,每天都在跟自己下棋,整个工作枯燥且效率不高。

但在经过大量特训之后,如今的 HyperBoost 已经成为游戏中的预言家,可以提前预知用户未来所有可能遇到的游戏场景,并基于玩家的打法、风格,以及场上的局势,预判可能会出现的卡顿,提前应对。可以想象一下,在打团战的时候,用户不是一个人在战斗,而是在他的手机里有一个小黑屋,里边有众多 AI 军师在疯狂地给他做参谋,绕开一个又一个卡顿「路坑」,等于先天立于不败之地。

ColorOS 将这项技术命名为 GPA 稳帧技术(GPA 是「General Performance Adjustor」的缩写,直译为通用性能调节器,寓意该技术是跨平台全量游戏覆盖技术),其可以利用设备侧多维度强化学习 AI 算法,通过控制游戏帧的生产和消费节奏,步调一致保证系统资源合理分配;当检测到游戏掉帧风险时,迅速提频,最大化资源供给,性能优先,实现「刚刚好」的系统资源最佳分配。ColorOS 将这项技术命名为 GPA 稳帧技术(GPA 是「General Performance Adjustor」的缩写,直译为通用性能调节器,寓意该技术是跨平台全量游戏覆盖技术),其可以利用设备侧多维度强化学习 AI 算法,通过控制游戏帧的生产和消费节奏,步调一致保证系统资源合理分配;当检测到游戏掉帧风险时,迅速提频,最大化资源供给,性能优先,实现「刚刚好」的系统资源最佳分配。

实际上,早在 Reno5 上,ColorOS 就发布了 GPA 1.0,而如今 GPA 技术已经迭代了 2 代,进入 3.0 阶段,其目的已不仅仅是利用 AI 调整频率,结合图形异构技术,GPA 技术也进行了升级。

「AI 内核有很多输入,也有很多输出,输入我们采集的所有设备侧,包括游戏场景、CPU、GPU 的负载、设备的温度、游戏的帧率是多少等等,这些输入拿到后,我们通过大的 AI 内核做了一些事情,包括系统资源的调整,快速的变频,每分钟可以决策 1200 次,同时还会做关键线程的绑定和识别、稳态温度、稳态帧率的预测,以及 CPU/GPU 频率的变频控制等等,这些都是我们系统资源的调整,对系统调频调度也有了一些影响,是整体资源上的 AI 化控制。」

正因如此,在一加 10 Pro 上运行英雄联盟手游时才可以做到从满电到关机,平均帧率 87.9 帧,最高温度 43.3 度,这都是 HyperBoost 全链路游戏稳帧技术中 GPA 稳帧的功劳。一加产品线总裁刘丰硕对此有更直观的解释:「比如当我们游戏进入到团战的时候,往往是卡顿高发的场景,你可能觉得是人多动效多,所以卡顿了。但是我们可以更精准地知道到底是什么元素导致的卡顿,是英雄?还是大招动效?甚至是花草树木?通过精细化拆解,我们可以进行手术级别的优化,区分渲染的优先级,从而极大地降低负载。」

从技术角度出发,把游戏优化向 AI 化去牵引,用 AI 的方法完成系统资源动态的调整,并进行识别。HyperBoost 团队在这条路上走了两年,如今,利用 AI 化的方法已经能够将游戏过程中功耗、性能、卡顿等综合游戏体验进行调优,这是一项重大突破。而基于 AI 技术上的大量投入,ColorOS 系统即便是在游戏不断升级以后,也能够自动适应用户的使用习惯,为每一个用户的游戏喜好单独进行训练,保持每台手机上都提供最佳的游戏体验。

目前,团队已经实现主流的 20 款游戏的深度适配,这些游戏覆盖了市面上最流行的各种类型游戏,因此再适配其他游戏作品时,可以少走很多弯路快速完成适配。

画面流畅的同时,游戏的跟手性也要进一步提升。HyperBoost 的 O-sync 超频响应。作为一项能够提升游戏触控跟手性的技术,也在提升游戏体验过程中发挥了关键作用。根据 OPPO 人因实验室研究,用户对 2 到 11 秒的优化是有感知的,这也意味着 10 毫秒以上会有显性感知,因此在触控优化的过程中,每 1 毫秒的优化提升都是十分重要的。

「O-Sync 是基于 LTPO 独家开发的游戏加速方案,对软硬件显示全链路进行了深度定制化。尤其值得一提的是,我们早在 LTPO 尚不成熟的 2019 年就完成了技术预研。」O-Sync 超频触控技术负责人高延凯告诉极客公园,大家习以为常的安卓显示链路其实存在非常严重的延迟。即便是全新的自适应刷新率技术,也未对游戏这样重要的应用区别对待,而是要求后者老老实实地在系统里排 2~3 队,每次排队意味着一帧的恐怖延迟。

为此,高延凯解释说,「O-Sync 技术从症结点入手,在三星显示的屏幕芯片中定制了全新的动态刷新率方案,再结合对安卓原生机制的彻底重构,真正为游戏开辟了 VIP 通道,通行时间降低了 30ms,突破了硬件刷新率 120Hz 能达到的上限,也为玩家显著感知跟手性的提升。玩家可以更早发现、更快瞄准、更稳锁定目标,每一帧都快人一步。」

通过「手术刀」级别的优化,HyperBoost 可以帮助手机省掉不必要的功耗,让游戏保持稳帧的状态运行,从而保障玩家的稳定发挥,这是其游戏体验最大的亮点所在,但在此基础上,面对海量的机型适配,HyperBoost 团队依然面临不小挑战。

03 翻过高山

中国游戏产业研究院发布《2021 年中国游戏产业报告》显示:2021 年,中国移动游戏用户规模达 6.56 亿人。玩家对手机玩游戏的性能要求越来越高,很多人可能为了一款游戏去换一部新的手机,不同类型的手游在提供精美画质和高帧率体验的同时,对图形渲染效率,系统资源供给也提出更高的要求。



但不同于 PC 硬件可 DIY 的特性,用户选择手机时的硬件是一个整体,这通常意味着一台手机无法面面俱到,游戏性能强的手机拍照或许一般,拍照好的手机玩游戏或许容易发烫,因此针对游戏的优化适配渐渐成为手机厂商的挑战。

游戏开发者俊伟告诉极客公园:「国内安卓市场可能有上千款机型,开发者在测试环境可能就那么几十款或者上百款,游戏开发时无法百分之百去模拟用户的所有场景。所以下游手机厂商在系统层面的优化对于用户体验的提升十分重要,而 OPPO、vivo 等体量的厂商拥有足够的资源和能力来推动游戏体验的提升。」

同时,游戏优化也需要游戏工作室和手机厂商进一步深化合作,行业研究表明,手机游戏超过 90% 以上的掉帧,就会被人的肉眼感知到。伴随各类游戏作品推出更高画质、更大地图、更高帧率的内容,在带来新体验的情况下,也对游戏工作室提出了更多要求。从芯片、游戏内容、手机系统,涉及到芯片厂商、游戏工作室、手机厂商各个环节,HyperBoost 提出的全链路优化目的即在于此,只有各方共同进步,才能打造出持续流畅的稳帧技术。

而对 ColorsOS 系统来说,HyperBoost 利用 AI 技术实现游戏体验提升,其优势在于能够更快适配不用游戏类型和庞大的用户群体。不论高通平台还是 MTK 平台,HyperBoost 能够实现跨平台全量游戏的覆盖,鞠怀伟表示:「适配底座是跨平台全量覆盖的,是跟着 ColorOS 版本走的,我们能够做到不同的芯片平台,不同的游戏自适应。」

但伴随《原神》、《幻塔》这样「吃硬件」的手机游戏越来越多,未来势必会对手机厂商的软件优化提出更高的要求,在 ColorOS 团队的眼里,当下为了实现高帧率和稳帧平衡,他们选择了一条「精细化调整」之路,正如鞠怀伟所说:

「市面上其他的厂家都是在温度上来以后一刀切把帧率直接切下去,断崖式的下降或者阶梯式下降,而我们一帧一帧地向下慢慢的去变,当温度回来以后,我们还会把它再调回来。从技术的维度上来看,我们能够针对游戏资源的生产和消耗做到极致的平衡,当资源生产出来,我们立马就将它消费掉,不产生堆积。另外,当手机出现掉帧的时候,我们也能快速识别到,然后以最快的速度给到系统资源的支持。」

这样的帧率优化对于手机厂商必然是巨大的挑战,但对用户的体验提升也会非常明显。HyperBoost 目前的帧率标准差在 3 以内,尽管已经非常优秀,但未来是否还能进一步突破,做到 2 以内,甚至 1 以内?复旦大学软件学院教授姜忠鼎曾提到:「通过精妙复杂的算法,软件工程师可以在不提高游戏硬件的前提下保证画面效果和流畅度,但这往往需要更大的时间和研发成本。」而在稳帧流畅这条路上,ColorOS 开了个好头,但未来之路还很长。


本文为极客公园原创文章,转载请联系极客君微信 geekparker

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。