快手向量化引擎 Auron 正式加入 Apache 孵化器

摘要

近期,由快手开源并捐赠的向量化引擎 Auron 项目(原 Blaze 项目)正式进入全球最大开源基金会(ASF)的孵化器,移交到 Apache 软件基金会名下。

近期,由快手开源并捐赠的向量化引擎 Auron 项目(原 Blaze 项目)正式进入全球最大开源基金会(ASF)的孵化器,移交到 Apache 软件基金会名下。这是 Auron 项目及其社区发展的重要里程碑,标志着项目可以依托 ASF 成熟的开源治理范式,融入全球开源共同体,获得更可持续的创新动能与影响力。

1、 Auron介绍

Auron 是基于向量化技术开发的一套 Native 执行引擎,可以充分利用 Native 代码和 SIMD 指令向量化优势,以实现减少资源开销、加速执行的目的。

其核心能力包括:

原生执行:采用 Rust 实现,消除 JVM 开销以取得更好的性能表现;

  • 向量化计算:基于 Apache Arrow 列式格式构建,充分利用 SIMD 指令优化批处理;

  • 可插拔架构:与 Apache Spark 无缝集成,同时设计上支持未来扩展至其他计算引擎;

  • 生产环境强化优化:开发了多级内存管理、优化 Shuffle 格式及自适应执行策略等优化机制,并在生产环境大规模应用落地。

基于 Auron,在 TPC-DS 上相比 Spark 可以取得 2+倍的性能提升:

2、 Auron发展历史与现状

2022 年 1 月,快手大数据 Spark 引擎团队正式启动了 Blaze 项目,项目一开始便选择全面拥抱开源社区,全部代码在 GitHub 上公开可见。历经一年多的迭代,2023 年 9 月,Blaze 在 TPC-H/TPC-DS 等 Beachmark 上取得了显著的性能提升。同时,团队也围绕生产环境进行了大量优化,并在快手内部实现了大规模应用。目前,Blaze 在快手日均运行数十万个任务、处理 EB 级别数据,展现出卓越的性能和稳定性,为快手每年节约数千万元服务器成本。

在社区运营方面,快手于 2024 年 1 月展开了开源社区的管理工作。自 Blaze 开源以来,已累计发布了 10 余个版本,GitHub 上的 Star 数量超过 1.5K。该项目吸引了来自全球的 30 多位开发者积极贡献代码,社区活跃度不断提升。凭借出色的性能、稳定性和易用性,Blaze 被滴滴、携程、汽车之家、58 同城、OPPO 等多个行业的公司广泛使用,并在应用过程中,获得一致好评。

2025 年 8 月,Blaze 项目正式进入 ASF 孵化器,并更名为 Auron(发音: [ˈɔːrɑːn]),其灵感来源 Aura(能量场)。Auron 寓意为大数据引擎所带来的强大性能。未来,Auron 社区也将会提供更多先进功能,如 Flink 引擎、数据湖系统、GPU/DPU 硬件的集成等。

3、 加入 Apache 孵化器

加入 Apache 软件基金会孵化,源于快手团队对开源生态的深刻认同,以及对项目长期可持续发展的考量。目前 Auron 已在多家公司应用落地,验证了其实用价值。然而,开源项目的生命力不仅依赖技术先进性,更需要通过开放的社区治理、多元的贡献者参与和透明的决策机制实现持续进化。我们始终相信,开源的价值在于「共享」与「共创」。

我们将严格遵守 Apache 的治理规范,推动项目代码、文档与社区的全面透明化,吸引更多开发者参与技术迭代,与 Apache 生态中的其他大数据项目(如 Spark/Flink/Celeborn 等)形成技术互补,共同推动大数据领域的技术持续创新。

我们坚信,在 Apache 基金会的指导与社区的支持下,Auron 项目将加速成长为具有全球影响力的开源项目,为技术创新贡献长期价值。

我们诚挚地邀请对 Auron 感兴趣的各位开发者和用户加入开源社区,共同推动项目进一步的发展。您可以通过以下方式关注和了解社区的最近动态,期待您的加入!

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。