近日，图像修复领域最具影响力的国际顶级赛事——New Trends in Image Restoration and Enhancement（NTIRE）结果出炉，网易互娱 AI Lab 包揽了高动态范围成像（HDR）任务全部 2 项冠军。
近日，图像修复领域最具影响力的国际顶级赛事——New Trends in Image Restoration and Enhancement（NTIRE）结果出炉，网易互娱 AI Lab 包揽了高动态范围成像（HDR）任务全部 2 项冠军。NTIRE 比赛每年举办一次，目前已是第七届，主要聚焦图像修复和增强技术，代表相关领域的趋势和发展，吸引了众多来自工业界、学术界的关注者和参赛者，有着非常大的影响力。今年 NTIRE 比赛在计算机视觉领域的顶级会议 CVPR 2022（Computer Vision and Pattern Recognition）上举办。
高动态范围成像（HDR）任务的赛道 1 和赛道 2 分别有 197 个队伍、168 个队伍报名参加，其中工业界的队伍包括：腾讯、旷视、字节跳动、蚂蚁、小米、快手、京东方、Tetras AI 等，学术界的队伍包括：清华大学、中科院、中国科学技术大学、上海交通大学、中山大学、爱丁堡大学、帝国理工、阿德莱德大学、新南威尔士大学、南丹麦大学等。网易互娱 AI Lab 从众多的强队中脱颖而出，一举斩获该任务的全部 2 项冠军。这是网易互娱 AI Lab 夺得多项国际冠军后，再次登顶国际 AI 竞赛，展现了网易互娱 AI Lab 在人工智能领域的综合实力。
图 1：NTIRE 2022 比赛
高动态范围成像（HDR）任务是从存在噪声、过爆/欠曝区域等的多帧输入图像中，恢复一张 HDR 图像。此次比赛的目标是探索高效的 HDR 模型和技术方案，以达到实用化的使用需求。总计有共两个赛道：（1）保真度赛道：在限定模型的计算量（小于 200G GMACs）的基础上，尽可能取得更高的保真度，评价指标是 PSNR-μ；（2）低复杂度赛道：在超过基线模型指标（PSNR-μ与 PSNR）的基础上，尽可能取得更低的计算量和更少的耗时，评价指标是 GMACs。
由于任务的两个赛道均要求训练高效的 HDR 模型，网易互娱 AI Lab 团队凭借以往对 low-level 视觉任务和轻量化网络设计的经验积累，在基线模型的基础上，提出了一个 Efficient HDR 网络，包括高效的多帧对齐和特征提取模块两个模块，同时优化了模型的训练方法。
（1）在多帧对齐模块，采用 Pixel Unshuffle 操作在增大感受野的同时减少了特征图的大小，大幅减少了后续的计算量。同时，采用深度可分离卷积替代对齐模块中的普通卷积，大幅提高运算效率。
（2）在特征提取模块，采用深度可分离卷积替代普通卷积，SiLU 激活函数替代 ReLU，设计了一个高效残差特征蒸馏模块（Efficient RFDB）。另外，探索了网络深度与通道数目之间的关系，在限定计算量下层数更深且通道数少的特征提取网络，可以获得更高的评价指标。
（3）在训练方法上，在常规的 128x128 图片输入 L1 Loss 训练后，采用了 256x256 更大尺寸输入+L2 Loss 进行训练调优。最后，使用基于 SwinIR 搭建的 Transformer 模型作为 Teacher 模型，对前述 CNN 模型进行蒸馏，结合 CNN 和 Transformer 各自的优势进一步提升模型效果。
图 2：技术方案图
赛道 1 中，网易互娱 AI Lab（ALONG）提出的方法在 PSNR-μ和 PSNR 上均是第一。如表 1 所示，主要评价指标 PSNR-μ比第二名高出了 0.172，而第二到第四的 PSNR-μ差距仅为 0.089，相比第五名之后的队伍更是拉开了 0.45 以上的差距。
赛道 2 中，网易互娱 AI Lab（ALONG）提出的方法取得了最低的计算量（GMACs）和最少的参数量（Param）。如表 2 所示，在超过基线方法 PSNR 和 PSNR-μ的基础上，减少了约 40 倍的计算量。相比第二名和第三名有较大领先，仅使用了约一半的计算量。
表 1：赛道 1（保真度赛道）结果排名
表 2：赛道 2（低复杂度赛道）结果排名
此前，网易互娱 AI Lab 已经将比赛中相关技术的应用于游戏贴图资源升级中，实现对游戏贴图、UI 等资源的精度和细节的提升，目前已应用于多个游戏项目当中，为美术节省了大量制作时间。此外，网易互娱 AI Lab 研发了一套智能的游戏贴图资源升级工具——iPixel，用户输入一张待处理的贴图资源，便可以针对性的对图片进行无损放大和增强，iPixel 还可以消除噪点并恢复图像中的细节，让图片看起来更加清晰。同时，该工具所提供自定义全图和局部处理功能，可以更好的帮助使用者优化细节，以满足不同贴图不同程度的优化需求。
网易互娱 AI Lab 成立于 2017 年，隶属于网易互动娱乐事业群，是游戏行业领先的人工智能实验室。目前所研发的技术已应用于网易互娱旗下多款热门游戏，如《梦幻西游》、《哈利波特—魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等等。
来源：互联网
