
近期,由快手开源并捐赠的向量化引擎 Auron 项目(原 Blaze 项目)正式进入全球最大开源基金会(ASF)的孵化器,移交到 Apache 软件基金会名下。
近期,由快手开源并捐赠的向量化引擎 Auron 项目(原 Blaze 项目)正式进入全球最大开源基金会(ASF)的孵化器,移交到 Apache 软件基金会名下。这是 Auron 项目及其社区发展的重要里程碑,标志着项目可以依托 ASF 成熟的开源治理范式,融入全球开源共同体,获得更可持续的创新动能与影响力。
1、 Auron介绍
Auron 是基于向量化技术开发的一套 Native 执行引擎,可以充分利用 Native 代码和 SIMD 指令向量化优势,以实现减少资源开销、加速执行的目的。
其核心能力包括:
原生执行:采用 Rust 实现,消除 JVM 开销以取得更好的性能表现;
-
向量化计算:基于 Apache Arrow 列式格式构建,充分利用 SIMD 指令优化批处理;
-
可插拔架构:与 Apache Spark 无缝集成,同时设计上支持未来扩展至其他计算引擎;
-
生产环境强化优化:开发了多级内存管理、优化 Shuffle 格式及自适应执行策略等优化机制,并在生产环境大规模应用落地。
基于 Auron,在 TPC-DS 上相比 Spark 可以取得 2+倍的性能提升:
2、 Auron发展历史与现状
2022 年 1 月,快手大数据 Spark 引擎团队正式启动了 Blaze 项目,项目一开始便选择全面拥抱开源社区,全部代码在 GitHub 上公开可见。历经一年多的迭代,2023 年 9 月,Blaze 在 TPC-H/TPC-DS 等 Beachmark 上取得了显著的性能提升。同时,团队也围绕生产环境进行了大量优化,并在快手内部实现了大规模应用。目前,Blaze 在快手日均运行数十万个任务、处理 EB 级别数据,展现出卓越的性能和稳定性,为快手每年节约数千万元服务器成本。
在社区运营方面,快手于 2024 年 1 月展开了开源社区的管理工作。自 Blaze 开源以来,已累计发布了 10 余个版本,GitHub 上的 Star 数量超过 1.5K。该项目吸引了来自全球的 30 多位开发者积极贡献代码,社区活跃度不断提升。凭借出色的性能、稳定性和易用性,Blaze 被滴滴、携程、汽车之家、58 同城、OPPO 等多个行业的公司广泛使用,并在应用过程中,获得一致好评。
2025 年 8 月,Blaze 项目正式进入 ASF 孵化器,并更名为 Auron(发音: [ˈɔːrɑːn]),其灵感来源 Aura(能量场)。Auron 寓意为大数据引擎所带来的强大性能。未来,Auron 社区也将会提供更多先进功能,如 Flink 引擎、数据湖系统、GPU/DPU 硬件的集成等。
3、 加入 Apache 孵化器
加入 Apache 软件基金会孵化,源于快手团队对开源生态的深刻认同,以及对项目长期可持续发展的考量。目前 Auron 已在多家公司应用落地,验证了其实用价值。然而,开源项目的生命力不仅依赖技术先进性,更需要通过开放的社区治理、多元的贡献者参与和透明的决策机制实现持续进化。我们始终相信,开源的价值在于「共享」与「共创」。
我们将严格遵守 Apache 的治理规范,推动项目代码、文档与社区的全面透明化,吸引更多开发者参与技术迭代,与 Apache 生态中的其他大数据项目(如 Spark/Flink/Celeborn 等)形成技术互补,共同推动大数据领域的技术持续创新。
我们坚信,在 Apache 基金会的指导与社区的支持下,Auron 项目将加速成长为具有全球影响力的开源项目,为技术创新贡献长期价值。
我们诚挚地邀请对 Auron 感兴趣的各位开发者和用户加入开源社区,共同推动项目进一步的发展。您可以通过以下方式关注和了解社区的最近动态,期待您的加入!
来源:互联网