HBase 在新能源汽车监控系统中的应用

  • 时间:
  • 浏览:0

肯能车辆的监控数据非常大,传统关系型数据库(如 Mysql、pg 等)肯能无法胜 任存储工作,只是我门都 儿需用选泽有并不是分布式数据库用于存储车辆实时数据。 我门都 儿在市场上要能找到分布式数据库有MongoDB和 HBase。

中;

2.2 层级系统架构

1.项目背景

3.3 多语言连接什么的问题

2.系统设计

团队使用 Python 语言构建系统,但 HBase 使用 Java 语言编写,原生提供了 Java API,并未对 Python 语言提供直接的 API。我门都 儿使用 happybase 连接 HBase,因 为它提供了更为Pythonic的接口服务。另外我门都 儿也是用QueryServer 作为Python 组件和 Phoenix 连接的纽带。

4.HBase 冷数据存储

3.HBase 使用难点

系统的技术选型对初创公司来说至关重要,只是在设计系统的事先尤为小心。经过仔细分析,我门都 儿要求新系统需用满足以下几个条件:

6.展望

Apache HBase 实战技术总结 – 中国 HBase 技术社区

首先,本文介绍了新能源车辆监控系统的项目背景,随后分析了本项目的项目难 点,并介绍了我门都 儿团队的各种解决方案。针对项目需求,介绍了我门都 儿选泽 HBase 的意味着,及在 HBase 数据库使用过程中的经验和痛点。

3.2 复杂性查询什么的问题

新能源车辆监控系统是另另一个车辆网服务平台,具有高并发、数据量大、实时性要 求高等特点。对车辆监控系统来说最重要的什么的问题只是怎样才能解决车辆产生的海量数 据,我门都 儿估计,当车辆数量增长到 10 万时,每天会产生相当于 2TB 的数据,有并不是 数据不仅需用存储,还需用做到实时可查。本文将介绍项目的背景和系统的基本 架构,随后介绍我门都 儿在开发过程中遇到的各种什么的问题以及解决方案。

目前新能源监控系统中主要使用 Phoenix 实现二级索引,大大增加了数据的查询 使用场景。确实 Phoenix 要能通过二级索引实现较为复杂性的数据查询,但对于更为复杂性的查询与分析需求就显得捉襟见肘。只是我门都 儿选泽了 Spark 等只是数据分析组件对数据进行离线分析,分析后对结果通过接口提供给用户。

5.总结

首先,本文介绍了新能源车辆监控系统的项目背景,随后分析了本项目的项目难 点,并介绍了我门都 儿团队的各种解决方案。针对项目需求,介绍了我门都 儿选泽 HBase 的意味着,及在 HBase 数据库使用过程中的经验和痛点。

重庆博尼施科技有限公司是一家商用车全周期方案服务商,利用车联网、云计算、 移动互联网技术,在物流领域 为商用车的生产、销售、使用、售后、回收各个 环节提供一站式解决方案,其中的新能源车辆监控系统只是由该公司提供的。该 系统主要用于东风轻卡等新能源商用车监控服务,目前该系统正在阿里云线上稳定运行。

未来,我门都 儿会在系统接入多量车辆后,使用 golang 重写高性能组件以满足后期 的并发性能需求。肯能项目初期考虑到开发时间的什么的问题,并未采用服务拆分的方 式进行开发,这限制了系统的可扩展性,后期我门都 儿会根据实际业务需求,将系统 切分成相对独立的模块,增强扩展性可维护性。

经过对这几种数据库的分析,我门都 儿最终选泽 HBase,其满足我门都 儿前面提到的还还有一个 要求,随后还提供 Phoenix 插件用于 SQL 得话的查询。

作为初创公司,我门都 儿的运维能力有限,我门都 儿需用业务的快速落地。只是自建机房 以及运维团队意味着前期较大的投入以及高昂的运维成本,只是我门都 儿决定使用云 方案。

经过比较国内的各大云厂商,我门都 儿最终选泽了阿里云平台,肯能阿里云提供 SaaS 化的 HBase 服务,一起阿里云 HBase 支持很全面的多模式,支持冷数据存贴到 OSS 之中,节约成本;支持备份恢复等形态,做到了真正的 native cloud 的数据库服务。另外,HBase 在阿里实物部署超过 150 台机器,历经 7 年天猫双 11 的考验,有并不是实际数据以及经验增强了我门都 儿对阿里云 HBase 的技术信心,一起满足了我门都 儿的技术和业务需求。

本项目为车联网监控系统,系统由车载硬件设备、云服务端构成。车载硬件设备 会定时下发车辆的各种状态信息,并通过移动网络上传到服务器端。服务器端接收到硬件设备发送的数据首先需用将数据进行解析,校验,随都不将该消息转发 到国家汽车监测平台和地方汽车监测平台,最后将解析后的明文数据和原始报文 数据存储到系统中。车辆的数据和只是数据需用通过 web 页面或 rest API 接口 进行查询访问。要求四天内的数据查询响应时间在毫秒级别内,超过四天的数据 需用贴到 更加低成本的介质上,查询延迟在 3s 以内,有并不是数据的查询频次比较低。系统的主要参数有以下几项:

系统中车辆数据分为热数据和冷数据,热数据需用 HBase 中实时可查,冷数据虽不需用实时可查,但却需用一直保指在磁盘中。阿里云 HBase 支持将冷数据直接存储在 OSS 中,而有并不是数据的转存只需用简单的设置表相关属性,操作非常简单。将冷数据存储在 OSS 之中大大减少了数据的存储成本。

系统采用层级架构以方便后期扩展和维护,现在主要分为以下几层:

另外,车辆数据积累到一定程度后,我门都 儿回会 利用有并不是数据进行大数据分析, 如 车辆的故障诊断,车辆状态预测等,从前就回会 在车辆总出 什么的问题前提前发出预警, 为车主和保险公司解决更大的损失,降低运营成本。

3.1 Row key 设计

2.3 系统架构预览**

最终新能源监控系统的系统下发如下

2.1 缘何选泽 HBase

团队在使用 HBase 事先一直使用 MySQL 关系型数据库,在系统设计之初并这样了考虑 HBase 的形态,只是按照关系型数据库的设计原则设计。经过一段时间的了 解后才知道 HBase 主要使用 Row key 进行数据查询。Row key 的设计至关重要。 目前系统中设计的 Row key 如下

图中最左端为监控的车辆,它会实时下发车辆的各项数据,并把下发到的数据通 过移动互联网发送到平台。平台验证完数据会将其写入到 Kafka 消息队列中。流 式计算服务器从 Kafka 消息队列中取出车辆的原始数据,并对车辆的数据进行解 析、存储、转发等操作。HBase 集群负责存储车辆实时数据,MySQL 负责存储组 织关系数据。一起,我门都 儿都不将超过一定时间(比如四天前)的数据转存到 OSS 存储介质中,以便降低存储成本。Spark ML 会对系统中的各项数据进行分析。终 端用户会从 HBase 中查询只是数据。

确实通过 Row key 的设计回会 解决累积数据查询的需求,随后在面对复杂性需求时难以通过 Row key 直接索引到数据,若索引无法命中,则必须进行大范围或 全表扫描才要能定位数据。只是我门都 儿在使用 HBase 时尽量解决复杂性的查询需求。 但业务方面仍然会有累积较为复杂性的查询需求。针对有并不是需求,我门都 儿主要使用两 种法律依据 来建立二级索引。