岚图汽车 x Apache Doris : 海量车联网数据实时分析实践

作者:SelectDB技术团队日期:2025/10/5

岚图汽车作为东风汽车集团旗下高端智慧新能源品牌,自 2019 年创立以来,以用户型科技企业为定位,构建了覆盖 SUV、MPV、轿车三大品类的产品矩阵。依托国务院国资委管理,世界 500 强东风集团五十多年的造车积淀与全产业链资源,岚图汽车坚持自研,打造了 ESSA 原生智能电动架构、中央集中式 SOA 电子电气架构等核心技术,旗下岚图 FREE+、梦想家、追光等车型凭借高品质与技术创新,成为最快实现累计产量突破 20 万辆的央国企新能源高端品牌。2025 年连续月销量破万,产品出口覆盖超 40 个国家和地区,以"零碳智造"标杆工厂与"共岚图"全球化战略,持续引领中国高端新能源品牌向上突破。

海量车联网数据分析的挑战

现代汽车作为移动数据中心,每日持续产生巨量、高速且多样化的数据流,形成大数据领域 3V 特性的进阶形态:百亿级数据规模、毫秒级响应需求与多模态数据类型的融合。车辆数据主要包括三类:

  • 车机埋点数据:来自于车辆上类似 pad 的车机,其中会有一些行为埋点数据,采集分析后用于驱动智能座舱的迭代;
  • 车辆信号数据:即车辆元器件产生的信号,比如刹车、速度、里程等各种 IoT 数据,后续会应用于车辆制造和车辆状态的监测等场景;
  • 视频图像:来自于智能驾驶传感器,比如摄像头采集的数据,后续将应用于智能驾驶模型的迭代;

该体系形成“数据采集-分析-应用”的强反馈回路,要求数据管道必须保持零延迟与高保真传输。每日百亿级数据的实时处理能力,已成为构建车辆数字化、智能化生态的关键基础设施,任何数据链路的中断或失真都将直接导致业务效能衰减。

随着岚图汽车销量攀升,每日百亿级数据规模持续膨胀,如何从海量数据中快速提炼有价值信息支撑研发、生产、销售等环节,成为迫切需求。当前数据平台需突破三大核心挑战:

  • 大规模实时数据写入:车辆搭载的数百个传感器持续产生多模态信号(车门、座椅、刹车等),经汇聚处理后形成每秒数十万级 TPS 的吞吐量,单日新增数据量达 10TB 且保持高速增长;
  • 准确的实时数据分析:车联网场景要求近实时数据处理能力,如智能诊断需快速定位故障原因、预警潜在问题。通过实时分析传感器数据与行驶记录,可实现预防性维护,显著提升车辆可靠性与安全性;
  • 存储与计算成本优化:快速增长的全量写入需求与复杂计算任务,导致存储与计算成本攀升。平台需构建低成本存储架构与高效计算引擎,平衡性能与经济性;

岚图汽车车联网数据分析架构演进

01 早期架构的局限性

岚图汽车最早以 Hive、Clickhouse 为核心构建了数据平台架构,车辆数据和车机埋点数据从车端传送至岚图云端网关,然后由网关将数据写入 Kafka。该架构在早期满足数据处理需求,但随着车辆销量不断增长,当需要面对每天百亿级别的数据处理分析工作时,架构的问题逐步暴露出来:

  • 数据导入时效性低: 在处理大规模数据时,hive on tez 计算速度慢,另外占用的资源也大;
  • 数据查询分析延迟高: 对于 10 亿级别以上大规模表查询,Hive on tez 查询性能较慢,且占用资源多;Clickhouse 在 Join 场景下,速度也较慢;
  • 运维难度高: Clickhouse 集群运维比较复杂,没有对应的运维管理工具;

基于以上痛点,岚图汽车必须进行数据平台改造。

02 技术评估与选型

面对上述痛点,岚图汽车对数据平台底层基础架构进行了改造,并开展了全面的技术调研。调研范围涵盖了 Apache Doris、ClickHouse、Trino、StarRocks 以及 Impala 等主流 OLAP 解决方案。岚图汽车采用了一套“决策矩阵”来系统性地评估方案,Apache Doris 最终被选定为岚图汽车的数据分析架构产品。

03 基于 Doris 的新架构和架构选型关注点

经过内部多轮沟通和探索,岚图汽车选择 Apache Doris 作为其核心 OLAP 解决方案,主要基于以下几个关键因素:

  • 卓越的实时分析性能:Doris 能够提供“极速”的数据湖分析、高并发查询和强大的实时分析解决方案,直接解决了岚图汽车面临的关键业务痛点;
  • 全面的 Doris Manager 管理工具:官方的 Doris Manager 提供了一站式的集群安装、监控、告警、扩缩容和配置管理能力,极大地提升了运维效率,弥补了早期架构在运维方面的不足;
  • 社区与文档:Apache Doris 拥有活跃的开源社区和详尽的文档,使得岚图能够在短时间内完成 Doris 的部署与集成;
  • 多样化的数据导入能力:Doris 提供了多种数据导入方式,能够满足岚图汽车离线和实时业务场景;

基于 Apache Doris 的最佳实践

将 Apache Doris 全面替换 Apache Flink 后,有效解决了岚图汽车目前面临的挑战。岚图汽车基于 Apache Doris 打造了统一的实时数仓体系,在多个关键场景中实现了效率提升和能力增强:

01 Doris Manager 巡检提升运维效率

岚图汽车利用社区提供的 Doris Manager 搭建了 Apache Doris 集群。作为 Apache Doris 的原生开源管理工具,Doris Manager 完全免费且深度适配社区版特性,提供了从部署、参数变更管理、告警与监控、日志查看、自动化巡检到 Doris Studio 提供的 SQL 编辑能力。配合 SelectDB Studio 提供的免费可视化 SQL 编辑环境,这些功能使得 70 多台集群的运维工作从繁重的手动操作转变为高效的自动化管理,极大地释放了运维团队的精力,使其能够专注于更高价值的优化工作。

Doris Manager 具备集群巡检能力,可持续优化业务部门使用 Doris 的方式,并对集群的性能和配置进行微调,不断优化业务和优化集群。

未来,岚图汽车计划制定全面的使用指南,为开发人员提供有针对性的培训,指导他们如何合理高效地使用 Doris。

02 软硬资源隔离提高稳定性

为满足各业务线对资源硬隔离和软隔离的需求,岚图汽车利用 Doris 的资源组和工作负载分组机制。通过在 FE 节点和 Observer 节点前架设负载均衡器,各业务线能够使用各自的 FE 角色进行 SQL 解析和执行,确保了不同业务负载之间的互不干扰。

03 冷热数据分层,优化成本与性能

通过 Doris 的冷热数据分层,存储费用降低到原有 1/3,同时可根据实际业务需求进行灵活的配置和调整,以满足不同场景的要求:

  • 热数据:频繁访问且对延迟要求低的核心业务数据,存储在成本较高的 SSD 硬盘上,以确保核心实时业务查询的速度和响应能力。
  • 冷数据:访问频率较低的数据,则逐步迁移到相对低成本的 HDD 硬盘甚至更为,甚至直接迁移到 S3 等对象存储中,以降低整体存储成本。

04 使用 Doris 高并发点查,解决高速查询问题

岚图汽车通过 Apache Doris 实现了高并发点查短路径优化:FE 节点接收请求后直接生成轻量化执行计划,绕过传统 MPP 架构的复杂查询生成与调度流程。该优化使点查性能达到 4 万 QPS/s,精准匹配车联网数据实时分析场景的高并发需求,为智能座舱、故障预警等业务提供亚秒级响应支撑。

05 建设 SQL 熔断机制,保障系统稳定性

当 SQL 语句过于复杂时,数据平台常常面临慢查询的挑战。

SQL 熔断机制保障 Doris 集群稳定性:针对低效 SQL 可能瞬间占满 CPU 资源、威胁核心业务的问题,通过 Doris Manager 的 SQL Profile 分析能力,可清晰拆解查询为 Scan、Exchange、Shuffle 等执行算子并展示各节点耗时,从而精准识别全表扫描、高并发数据修改等不当操作,及时触发熔断限制资源消耗,有效避免集群因过载而影响整体稳定性。

查询熔断是一种保护机制,当查询超过预设的资源或时间限制时,熔断机制会自动终止该查询,以避免对系统性能、资源使用以及其他查询造成不利影响

在 Doris 内,有两种熔断策略:

  • 规划时熔断:即 SQL Block Rule,用于阻止符合特定模式的语句执行。阻止规则对任意的语句生效,包括 DDL 和 DML。通常,阻止规则由数据库管理员(DBA)进行配置,用以提升集群的稳定性。比如,
    • 阻止一个查询扫描过多行的数据;
    • 阻止一个查询扫描过多的分区;
    • 阻止一个修改全局变量的语句,以防止集群配置被意外的修改;
    • 阻止一个通常会占用非常多资源的查询模式;
  • 运行时熔断:即 Workload Policy,它是在运行时,实时监测查询的执行时间,扫描的数据量,消耗的内存,实现基于规则的查询熔断。

目前已经实现 2 分钟 SQL 超时自动熔断,后续计划引入更细粒度的规则,包括扫描行数、扫描分区数和扫描分桶数的阈值。

总结与展望

岚图汽车通过采用 Apache Doris,对实时数据仓库基础设施完成了现代化改造和转型。通过智能数据分层不仅降低了 60% 的储存成本,还提升了应对多样化和高要求工作负载的查询性能,展现了 Apache Doris 在互联汽车数据平台所特有的大规模、高并发和实时环境中所具备的能力和优势。岚图汽车的未来规划与行业更广泛的趋势相符,向更集成的湖仓一体数据平台、更灵活可扩展的存算分离架构发展。

01 探索湖仓一体架构

岚图汽车计划适时引入湖仓一体架构到其数据生态系统中。湖仓一体范式将传统数据仓库(性能、治理)的优势与数据湖(存储原始、多样化数据)的灵活性和成本效益相结合 ,目前处于规划和测试阶段。

02 存算分离架构

岚图汽车正在积极考虑引入存算分离架构。这一重要的架构决策将基于对以下方面的全面评估进行仔细权衡:

  • 成本影响:包括初始投资和潜在的长期运营节约;
  • 人力资源:管理和操作新架构所需的熟练人员的可用性和专业知识;
  • S3 维护专业知识:是否存在专业的团队,专门负责维护和优化对象存储(如 S3),考虑到在这种解耦设置中它将承受巨大的读写压力;

岚图汽车指出,如果这种架构应用后“降本”并且还能实现“增效”,满足关键业务需求时,他们将进行采纳。

03 面向非 SQL 用户的智能 BI

岚图汽车将基于 Doris MCP Server 构建智能 BI 能力,赋能企业内部非 SQL 用户(如售后及座舱开发团队)。这些团队具备业务知识但缺乏 SQL 技能,通过直观的 BI 工具可实现自助数据查询,直接支持产品研发与运营分析,减少对数据团队的临时需求依赖,提升决策与迭代的效率。


岚图汽车 x Apache Doris : 海量车联网数据实时分析实践》 是转载文章,点击查看原文


相关推荐


Linux--权限
L-n72025/10/4

文章目录 Linux权限的概念Linux权限管理文件访问权限的设置file 指令目录的权限总结 Linux权限的概念 Linux下有两种用户:超级用户(root)、普通用户。 超级用户:可以再linux系统下做任何事情,不受限制 普通用户:在linux下做有限的事情。 超级用户:的命令提示符是“#”,普通用户的命令提示符是“$” 命令:su [用户名] 功能:切换用户。 要从root用户切换到普通用户user,则使用suuser。 要从普通用户user切换到root用户则使用su


PostgreSQL LIMIT 语句详解
lly2024062025/10/2

PostgreSQL LIMIT 语句详解 在数据库操作中,LIMIT 语句是一个非常实用的功能,它允许我们限制查询结果的数量。在 PostgreSQL 中,LIMIT 语句同样发挥着至关重要的作用。本文将详细介绍 PostgreSQL 的 LIMIT 语句,包括其用法、语法以及在实际应用中的注意事项。 1. LIMIT 语句的基本用法 LIMIT 语句通常用于限制查询结果的返回行数。其基本语法如下: SELECT column1, column2, ... FROM table_name WH


【1 月最新】前端 100 问:能搞懂 80% 的请把简历给我
程序员依扬2025/10/2

引言 再更新:上微信搜「高级前端面试」小程序,上下班路上刷题,半年突击进大厂! 更新:目前已达到『23K』Star了,谢谢大家的支持,最近折腾了一个博客网站出来,方便大家阅读,后续会有更多内容和更多优化,猛戳这里查看 ------ 以下是正文 ------ 半年时间,几千人参与,精选大厂前端面试高频 100 题,这就是「壹题」。 在 2019 年 1 月 21 日这天,「壹题」项目正式开始,在这之后每个工作日都会出一道高频面试题,主要涵盖阿里、腾讯、头条、百度、网易等大公司和常见题型。得益于大家


AR眼镜在安防领域人脸识别技术方案|阿法龙XR云平台
北京阿法龙科技有限公司2025/10/2

方案基于AR眼镜构建移动安防人脸识别系统,通过端 - 边 - 云协同架构实现实时身份核验,核心内容如下: 数据采集层 采用AR眼镜内置千万像素红外摄像头,支持 1080P@30fps 实时采集,通过畸变校正算法优化鱼眼效应,获取高质量人脸原始数据。 人脸提取层 在 AR 眼镜端部署轻量级人脸检测模型(如 MobileNet-SSD),通过前端人脸抠像技术实现: 基于 MTCNN 算法进行人脸区域快速定位采用自适应阈值分割去除背景干扰通过仿射变换实现人脸姿态归一化(±30° 姿态矫正)输


鸿蒙与iOS跨平台开发方案全解析
i建模10/1/2025

本文深度解析鸿蒙与iOS跨平台开发的六大主流方案,从技术特性到实战策略全面对比。重点介绍了华为官方ArkUI-X(支持三端编译、原生集成分布式能力)和腾讯开源Kuikly(基于Kotlin跨平台、优化GC性能)两大方案,并对比了Flutter和React Native等跨端框架的适配成本。文章详细探讨了平台差异适配策略,包括导航交互、推送服务和UI一致性的实现方法,并给出性能优化实践。最后根据场景需求给出选型建议:新项目推荐ArkUI-X,高性能应用选择Kuikly,现有Flutter项目可扩展插件方案。未


Java HTTP协议(二)--- HTTPS,Tomcat
英雄不问出处~9/30/2025

面试中经典的面试题https加密:(1) 对称加密,加密业务数据(2) 非对称加密,加密对称密钥(3) 中间人攻击(4) 使用证书,来验证服务器的公钥这些相结合,就保证了https的安全性了。


前端读取文件夹并通过 SSH 上传:完整实现方案 ✅
excel2025/10/6

在 Web 应用中,除了单文件上传,很多时候我们还需要用户直接选择整个文件夹,并批量上传到远程服务器。典型场景包括:静态资源部署、文档归档、远程备份等。本文整合了 前端文件夹选择方案(webkitdirectory + File System Access API) 与 Node.js + node-ssh 后端上传,实现端到端的完整流程。 前端部分:选择文件夹并上传 前端的目标是让用户选择目录,遍历其中所有文件,并逐一上传到后端。 方案一:webkitdirectory 这是目前兼容度最好的


基于数据挖掘的在线游戏行为分析预测系统
Python极客之家2025/10/8

温馨提示:文末有 CSDN 平台官方提供的学长 QQ 名片 :)  1. 项目简介         随着在线游戏市场的快速增长,了解玩家行为对于提高用户留存率、优化游戏设计和提升用户体验变得至关重要。本项目旨在开发一个基于数据挖掘的在线游戏行为分析预测系统,利用先进的算法对玩家的行为数据进行分析,预测玩家的行为模式,并提供相应的优化建议。         该系统将涵盖数据收集、预处理、特征工程、模型训练、预测和结果展示等多个环节,旨在为游戏开发者和运营团队提供一个全面的玩家行为分析平台


一款由网易出品的免费、低延迟、专业的远程控制软件,支持手机、平板、Mac 、PC、TV 与掌机等多设备远控电脑!
追逐时光者2025/10/9

前言 在多设备协同日益普及的今天,高效、流畅的远程控制已成为工作与生活的刚需。网易出品的这款免费远程控制软件,凭借低延迟、高画质与跨平台兼容性,轻松实现手机、平板、Mac、PC、TV 乃至掌机对电脑的远程操控,让自由办公与畅快娱乐触手可及。 工具介绍 网易UU远程是一款由网易出品的专业远程控制软件。支持手机、平板、Mac 、PC、TV 与掌机等多设备远控电脑,满足远程游戏、办公和协助需求。凭借高速直连和超低延迟,提供流畅的本地操控体验,支持真彩、 HDR 、4K、144 帧画面显示,支持远程开


Go语言实战案例——进阶与部署篇:使用Docker部署Go服务
程序员爱钓鱼2025/10/11

在现代软件开发中,应用的可移植性和环境一致性至关重要。无论是在开发环境、测试环境还是生产环境,我们都希望 Go 项目能够快速部署、稳定运行。而 Docker 正是实现这一目标的关键工具。 本文将带你从零开始,实战演示如何使用 Docker 构建并部署一个 Go Web 服务。通过这个案例,你将学会将 Go 应用打包成轻量级容器镜像,并在任何地方一键运行。 一 为什么使用 Docker 部署 Go 服务 在未使用 Docker 之前,部署 Go 项目通常需要以下步骤: 1 安装 Go 环境 2

首页编辑器站点地图

本站内容在 CC BY-SA 4.0 协议下发布

Copyright © 2025 聚合阅读