如何解决自动驾驶海量数据处理难题?毫末智行采用国产数据库 OceanBase

摘要

应对数十亿数据对象管理难题

面对年增数亿的数据对象,自动驾驶领域的人工智能技术公司毫末智行采用了国产数据库 OceanBase。4 月 25 日,记者了解到,目前毫末智行已经完成数十亿数据表的迁移工作,获得了更强的数据可靠性、可用性、扩展性。

毫末智行成立于 2019 年,今年 2 月刚刚完成超亿元的 B1 轮融资,将用于 AI 自动驾驶技术的研发投入。

自动驾驶旨在通过创建能够准确感知环境、做出智能决策,并在没有人为干预的情况下安全驾驶的车辆,能否取得快速进展在很大程度上依赖于大量数据集。

目前毫末智行拥有数十亿的数据对象,包括车型、硬件型号、雷达位置、图像收集位置等强管理数据库。对于海量数据的采集、处理、管理,给毫末智行带来了很大的技术挑战。整个数据处理过程包括原始数据的采集、分解、打包,数据推理、筛选、分类、自动标注、数据交付等,对时效性、处理效率等要求很高。

毫末智行原本采用的数据库专注于 OLTP 场景,在处理极大量数据时容易遭遇性能瓶颈,且扩展方式复杂,难以满足数据处理阶段对扩展性的要求。此外,毫末智行还搭建在多云环境上,管理难度进一步提升。

作为一款为关键业务负载打造的分布式数据库,OceanBase 既能比主流单机数据库提供更好的性能,也能实现分布式架构下事务处理和实时分析的最佳性能,同时以统一的技术栈最小化管理成本。

毫末智行将数据迁移至 OceanBase 后,对数据进行处理时,即使是超长的慢 SQL,执行时间也能保持在 2-5 秒之间。此外,OceanBase 具备动态扩容的能力,可以实现无感知平滑扩容,在数据量增长或业务调整时能快速响应需求。

OceanBase 还适配了多云平台上基于基础设施的各类存储系统,同时借助 OCP 工具,毫末智行的数据库运维工作人员也得以实现对数据库的图形化管理,实现集中管控,更好地管理和监控各个集群的状态和性能,确保系统的稳定性和可靠性,大大简化运维流程,减少人工干预和操作成本。

毫末智行运维工程师赵国良表示,过去半年,通过 OceanBase 提供的 OMS 数据迁移工具,已经完成了数十亿行数据表的迁移工作,这种大规模的数据迁移需要高度的技术能力和精细管理,进一步证明了 OceanBase 的强大功能和卓越性能。

OceanBase 是蚂蚁集团旗下的自研原生分布式数据库,曾在 2019 年、2021 年接连打破世界纪录,并连续 10 余年稳定支撑双 11。OceanBase 的客户数已经超过 1000 家,其中 30% 将其应用于核心系统。

 

最新文章

极客公园

用极客视角,追踪你不可错过的科技圈.

极客之选

新鲜、有趣的硬件产品,第一时间为你呈现。

张鹏科技商业观察

聊科技,谈商业。