腾讯 5 项网络技术成果入选国际顶会 SIGCOMM/NSDI

摘要

刚刚获悉,腾讯 5 篇网络领域技术论文入选计算机网络通信和系统领域国际顶级会议 SIGCOMM/NSDI 2024 主会,涉及高性能数据中心网络、数据中心互联网络(DCI)、无线接入网等多个领域,受到国际行业专家的高度认可。

刚刚获悉,腾讯 5 篇网络领域技术论文入选计算机网络通信和系统领域国际顶级会议 SIGCOMM/NSDI 2024 主会,涉及高性能数据中心网络、数据中心互联网络(DCI)、无线接入网等多个领域,受到国际行业专家的高度认可。

据悉,ACM SIGCOMM 和 USENIX NSDI 并列为计算机网络领域最顶级、含金量最高的旗舰型会议,号称为计算机网络领域的 Science 和 Nature,对论文的质量和数量要求极高,需具有基础性贡献、领导性影响和坚实系统背景,且对互联网发展具有重要影响力,2024 年录取率均不到 19%。

在数字化浪潮的推动下,全球数据量呈爆炸式增长,网络应用也日益复杂,不仅对网络速度和性能提出了更高要求,网络处理开销也显著攀升。在此背景下,腾讯创新推出了性能通信框架 Turbo、DCI 智连网 MegaTE、拥塞控制算法 Pudica、无线网络多路径方案 AUGUR、可靠传输技术 Hairpin 5 项技术,解决了目前网络领域面临的多项难题,为广大企业及用户提供了高效、低成本的方案。

腾讯的高性能网络通信框架 Turbo 正是在高带宽、低延时网络需求激增的背景下应运而生,它专为 Spark 大规模部署 RDMA 网络设计,Turbo 系统通过结合随机化传输信息和 DCT 技术,从数据块层面解决了 ECMP 哈希不均匀问题。而为了解决 DCT 技术带来的动态建链延迟问题,Turbo 构建了推测传输机制,有效地避免了延时增加和建链失败。

同时,Turbo 还设计了二级非阻塞执行模型,实现了通信和计算进程的分离,并提供了 RDMA 故障逃生的系统容错方案。其包含的网络负载均衡,拥塞算法计算和通信进程协同优化等方面,有效提升了 AI、分布式计算、存储、数据库等核心业务的数据处理速度和效率。目前,Turbo 已在腾讯大数据平台完成大规模部署,大幅提升数据处理速度和效率,助力用户作业完成时间缩短超 20%,完成率提高 2.5 倍以上。

在云原生技术的驱动下,业务虚拟化分布式部署实现了资源的高效利用,不同业务对网络需求的差异性给传统网络调度方式带来了极大挑战。对此,腾讯创新打造了支持百万量级节点的 DCI 智连网,在网络系统架构、IP 承载协议、业务识别与调度等方面均取得技术突破,实现了业务级的流量差异化调度。通过服务器侧的 BD 软件系统和 EA 可编程交换机,DCI 智连网能够精准匹配和分类业务流,并构建端网协同的调度系统。针对百万节点流量工程问题,腾讯的 MegaTE 算法结合网络的分层结构、拓扑压缩和快速 SSP 技术,确保了求解的高效性、实时性和准确性。目前,DCI 智连网已稳定高效地支持腾讯多类业务平台。

云游戏对延迟和码率要求极高,需要拥塞控制算法具备高链路利用率、避免排队和快速响应链路恶化等能力。腾讯云的端到端拥塞控制算法 Pudica,是业内首次同时实现「零排队」和高带宽利用率的低延迟传输方案。它通过避免帧级别的排队、自适应 pace 技术实现高准确性的 BUR 估计,并结合历史数据设计多种码率控制策略,实现数据包延迟最小化,提高网络带宽利用率和公平性。Pudica 已大规模部署,为上千万玩家提供高质量服务。与业界最先进的方法相比,Pudica 显著降低了卡顿率和帧延迟。

此外,为解决移动端用户在 Wi-Fi 下云游戏的延迟问题,腾讯研发了多路径传输框架 AUGUR。该框架具备多链路、多连接和多协议组合的网络传输能力,利用蜂窝网络作为备份路径,智能调整视频帧传输,确保延迟维持在时延 Deadline 之内。同时,通过构建用户会话模型和用户特征量化优化传输,在保持用户的蜂窝网流量消耗的前提下,降低用户的尾部延迟。AUGUR 技术成功做到减少 66% 的尾部延迟、降低 99.5% 的卡顿率,以及减少 88.1% 的蜂窝数据使用量。

值得一提的是,针对传统丢包处理方案效果不佳、成本高和延迟难以满足等难题,腾讯推出丢包恢复机制 Hairpin,利用边缘节点低延迟环境,对数据包、重传和冗余包进行多轮传输优化。Hairpin 的创新点在于,能够区分初始传输和重传,采用不同冗余策略,保持低带宽成本的同时,有效控制卡顿率。同时,Hairpin 通过马尔可夫决策过程优化传输时序,并通过实时监测网络状况,动态调整 FEC 参数。目前,Hairpin 平均能够减少 40% 带宽成本和 32% 卡顿率,且部署简单,只需在云游戏应用的服务器和客户端进行相应的修改,即可实现无缝集成。

腾讯在顶会 SIGCOMM 和 NSDI 上连续多年入选论文,是对其计算机网络技术实力的充分认可。未来,腾讯将继续深耕数据中心网络、互联网络及无线接入网等领域,持续推动技术创新与突破,为全球数据传输、存储和处理能力注入强劲动力,加速企业数字化转型与业务革新。同时,腾讯也将携手业界伙伴,共促计算机网络领域的蓬勃发展。

来源:互联网

 

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。