破局大数据悖论!云器科技助小红书实现千亿日志的「分钟级实验自由」

摘要

在 AI 智能时代,数据已成为企业发展的核心资产与驱动力,但是企业通常采用的传统数据平台架构存在「不可能三角」——「既要保证实时又要控成本还要寻求高性能」三者无法兼得。

在 AI 智能时代,数据已成为企业发展的核心资产与驱动力,但是企业通常采用的传统数据平台架构存在「不可能三角」——「既要保证实时又要控成本还要寻求高性能」三者无法兼得。业界的共识是,传统的计算系统引擎没办法平衡三者关系:流计算,虽然延迟低,但资源消耗巨大;批处理,成本可控,但时效性差。无数技术团队只能在实时性与控成本之间被迫二选一,最终限制了商业决策的效率,导致商业机会的流失。AI 时代的计算架构亟需一场变革。

「通用增量计算」打破「千亿实时数据不可能三角」悖论

在杭州,这片富有创新土壤的版图上,一颗数据技术新星闪耀升起,2021 年落子杭州的云器科技,凭借 2023 年发布的云器 Lakehouse 产品,并提出的新一代计算模式「增量计算」(Generic Incremental Compute,简称 GIC)跻身「国家高新技术企业」;随后,云器 Lakehouse 于 2025 年开放注册(General Available),并同步发布了「通用增量计算」概念及技术白皮书,倡导「技术普惠」理念,构建开放、共赢的生态系统,成为杭州打造「中国硅谷」的关键拼图,也携手众多生态伙伴共同推动了数据基础设施的创新与发展。

云器科技自成立就将「改变数据的使用方式」确立为企业的使命,大厂工程师背景的创始团队为这家企业高质量发展奠定了根基,团队核心成员来自阿里云、字节跳动、微软、Oracle 等头部企业,技术研发人员占比达到 80%。公司入选工信部信通院「大数据星河奖」优秀企业,同时入选 Gartner 和 IDC 权威榜单,在亚太地区已开服多地,主张「你只管写 SQL,其它的交给云器」,这为数据开发者提供了最前沿且开箱即用的数据创新工具。

小红书实现千亿日志的「分钟级实验自由」,云器助力

「技术突破只需要点亮一座灯塔,而商业化落地却要铺设整个大陆的铁路网」,这句话描述了技术创新者商业化落地的困境。但是云器科技依托 Lakehouse 产品的核心技术优势,目前已经联合长安汽车、销售易等行业领军企业,打造了共赢的战略合作生态。伴随技术迭代,云器科技与小红书技术人员密切交流,最具竞争力的技术成功获得小红书团队的认可和肯定,目前云器科技的「通用增量计算」技术已在小红书平台得以应用,这一案例在数据圈引发了不小的震动,小红书作为国际化的互联网大厂,也发布了使用云器技术的实践,直接成效就是「实现了千亿级日志 C 端『分钟级实验自由』」的落地,这在大数据行业可谓颠覆性成功。

 「在小红书千亿级日志分析场景实现规模化应用」是云器科技实践「通用增量计算」可圈可点的服务案例。云器科技何以在众多技术解决方案中脱颖而出?

 

小红书当时不得不克服「千亿级 C 端数据洪流」场景的挑战。众所周知,小红书是国际化较高的社交媒体平台,日均流量达到千亿级, 上述提到的「数据不可能三角」给小红书数据技术团队带来的挑战尤为明显。在构建实验指标算法链路时,算法工程师需要基于分钟级实验数据进行参数调优,但传统架构无法同时满足「快、省、准」要求,原有实时链路又存在开发复杂、资源消耗高、新增字段难等问题,无法灵活支持算法迭代与多维分析需求。

云器科技引用「通用增量计算」技术,突破了传统数据架构的限制,获得显著成效。通用增量计算技术,为小红书构建了分钟级数据新鲜度、低资源消耗的近实时链路,并支持自助字段扩展。

小红书的技术团队撰文阐述了实践过程,文章详述了小红书技术团队的原有基于 Flink、Clickhouse 等开源方案的实践,以及作出改变事由,多元方案的测试对比,与 Paimon+Iceberg、Starrocks 的 lambda 架构,对比云器科技方案的思考,以及测试和选型的过程。经过测试对比,小红书技术团队最终采用了云器的方案。实现了数据处理资源消耗降至原方案的 36%;指标数据差异降低至 1%,实现高准确性目标;查询延迟压至秒级,满足实时决策需求;支持灵活调整数据更新频率,在成本和时效性间自由平衡;显著提升 BI 分析维度与算法调参效率。经过这次技术升级,可以说,小红书实现了真正的「分钟级实验自由」。算法工程师可以在分钟级延迟内获得准确、全面的实验数据,彻底改变了实验迭代模式。

这是「通用增量计算」技术在千亿级 C 端场景的工业落地,达千亿数据量级的增量计算技术范式的应用实践,在全球范围也属首次,为其他行业提供了可复制的解决方案。在更多广泛的行业,通用增量计算技术同样带来了显著的突破,在汽车行业,云器科技服务了如长安汽车等众多车企,支持车联网数据的实时处理需求的快速增长;在 SaaS/泛互联网行业,云器科技服务了如销售易、探迹等数据源生型企业,支持大规模数据的实时海量处理,并提供给企业的用户使用;在零售行业,云器科技服务了实时库存管理和动态定价需要分钟级数据支撑。

所有这些场景都面临同样的「不可能三角」困境。云器科技的技术突破为这些行业提供了可迁移的解决方案。作为技术破壁者,云器科技用 3 年时间证明了一个重要观点:看似不可能的技术难题,往往需要全新的思维方式来解决。「通用增量计算」不是对现有技术的简单改进,而是对数据处理模式的根本性重构。星辰大海,行则将至。

来源:互联网

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。