基于MongoDB的高并发高可用政府云平台架构实践

  • 时间:
  • 浏览:1



省级单位政府云平台DB数据库架构

协议语句,也好难 固定只用http这另三个小多,也好难 只用soap协议。但会 这种人会说但会 你对 SOA 架构比较熟,但我我确实今天所有的系统架构,这种叫SOA的概念但会 地处。有的是说用哪个框架,就一定能处理问提报告 ,不推荐这种依据。但会 涉及到移动端,但会 会用到MQTT协议,但会 是页面应用语句,但会 会用到最新的web socket。



推荐阅读

目前,几乎所有国内外的互联网大公司有的是用MongoDB,学习企业时需的技术有点儿要。

另外,缓地处UI层有的是了,API这层也还能助 有缓存,有的是所有的东西里装去Redis底下才叫缓存,Redis属于分布式缓存,这种数据还能助 里装去数据持久层,比如关系型数据库,MongDB有的是,服务器只要配置够高,数据直接进数据持久层缓存但会 数据访问层缓存也还能助 。但会 单独加一层缓存也还能助 。像底下件平台有的是独立的缓存,API层有的是。从架构深度来说,要想下缓存里装去哪层比较至少,相应的硬件配置要跟的上。当然,越接近客户端的缓存,时延越高,但会 它的物理位置更接近客户端请求。但会 里装去最下面,说白了底下要经过就是层能助 到数据这种块。

政府云平台分发考量

相比较关系型数据库而言,MongDB有另三个小多明显的优点:灵活的数据模型和便于横向扩展。

以下内容根据现场分享和演讲PPT分发而成。

MongDB做集群,做高可用。首先,保证物理安全,服务器并非坏掉;但会 ,MongDB还能助 支持数据直接加密,金融数据不安全语句,数据永久加密。MongDB3.4版本完后 加了金融的数据类型。

高并发与高可用架构关键点

政府云平台新SOA架构:ESB+微服务

监控与维护:这是运维最头疼的。但会 运维每天晚上时需远程登录看机器正常不正常,影响正常休息,就是现在也提出了自动化运维概念。

政府也时需进行转变,这种人希望把整个政府平台信息化,构建统一高效的政府云平台。比如税务的信息化、公务人员考核的时延化等。

物理架构和逻辑架构不同,逻辑架构还能助 分10层、3000层都还能助 ,但有的是分层越多越好。分层越多,解耦越厉害,越影响性能。就是人不管设计那先 架构,先分个三层,不管需不时需,直接把接口用webservice包容。这里一定要根据时需做判断。

灵活的数据模型:作为一位网站开发者,最痛苦的就是 需求变更,MongDB还能助 接受字段的不断修改,非常灵活。

基于前面说到的,设计的架构一定要微观上+宏观上高并发,好难 说了搭了几层就是 高并发架构,首好难看写的代码,但会 在后台就产生了几滴 问提报告 ,几滴 bug,为甚在么在能助 高并发,另另三个小多端到后台是一条链,任何另三个小多节点出问提报告 ,有的是影响整个系统架构。

政府云平台SOA分发

政府云平台背景

MongoDB优点

便于横向扩展: 但会 有海量数据存储,这时还能助 做Sharding,非常容易,这种是MongDB本身但会 支持的。传统的关系型数据库在这种块比较难实现,但会 它会由就是固有的设计过低由于分析。但传统关系型数据库的分片思想和MongDB分片思想我我确实很像,从算法的深度来说,好难 越多区别,比如基于范围进行分片,这另三个小多是通用的。

所有系统上线完后 ,有的是简单的开发和发布,后期系统时需跟其它平台进行对接,会有另三个小多服务组件的底下件平台,还能助 用开源的,也还能助 用商用的,比如Oracle、SAP、微软、阿里巴巴的底下件平台。底下集成但会 会有不同的协议,这底下会涉及到就是问提报告 ,Redis底下但会 会加在消息队列,比如另三个小多5年考核指标,另三个小多月内的数据量比较大,这种完后 数据库肯定要持久化,这种内容里装去MongDB,这种会里装去传统的关系型数据库底下,时需提前做这种预测。再注意另三个小多问提报告 :这里的数据web层和访问层,全版有的是集群。Redis也是支持集群。

再说另三个小多问提报告 ,这里不论是Java和.NET,连接数据库的技术有的是差越多的,有的是连接池,有的是多进程,但会 垃圾回收的机制也差越多。同样但会 想对传统型关系数据库但会 NoSQL数据库做研究语句,还能助 看下NoSQL并发有有点儿要的问提报告 ,传统关系型数据库是不强调事务的,但会 传统的NoSQL数据库,从诞生之初开始英语 ,高并发是它有点儿要的另三个小多特点。目前NoSQL也开始英语 支持事务,但会 偏离 事务,不全版。关于MongDB有就是坑,但会 它有几个存储引擎,这种有点儿像MySQL,MySQL有的是几个开源的存储引擎,每个存储引擎有的是一样,要用这种数据库语句,时需注意使用版本、存储引擎,时需在官方文档上确认一下。

业务逻辑层上,分层有的是越多越好,就是 根据时需分层,分完层完后 是否方便后期扩展。比如业务逻辑层,Java和.NET底下有的是分层的思想,这种偏离 把业务逻辑独立出来,不影响其它层。时需注意一下,这里用到Redis,前面讲过低并发的系统应用,Redis这种人推荐。但会 公司有能力开发一套缓存系统还能助 开发,比如阿里巴巴的RocketMQ消息队列,但会 开发不了,就用开源性性成熟是什么的句子的句子的句子是什么的句子的句子的语句期的产品。Redis目前是最流行的开源的免费缓存,它属于NoSQL的范畴,这另三个小多结合和MongDB不冲突。MongDB能助 处理300000个并发,一般公司够用。但会 遇到峰值的完后 ,还能助 用兔子消息队列,让其帮助从中加一层,来缓解数据库压力。缓存技术除了加速以外,还还能助 充当请求缓存池,用于处理这种不太着急的请求。

参考上图,这种人做的技术并非仅仅是本身技术,时需考虑传统PC端,也要考虑移动端的问提报告 。这里作为服务治理层,但会 服务层,这里服务治理层不仅是服务层,但会 希望对服务做另三个小多统一的规划和安排。另外希望后期加这种自动化运维和监控的知识,包括现在比较新的微服务的概念,这是设计的思路。

进程员一般追求高并发,对于高并发这种关键词容易产生兴奋点。作为架构师设计另三个小多架构,但会 要支持某个级别的并发,一定要注意:有的是用Redis就是 高并发,有的是用MongDB就是 高并发。高并发高可用架构关键点涵盖:多进程、分布式通信RPC、集群、负载均衡、网络与硬件、监控与诊断等。比如Java有多进程、高并发的问提报告 ,但会 涉及到分布式通信RPC 、分布式架构语句,有的是有这种RPC的技术,会有进程通信、进程间的通信总出 ,那先 在不同框架涵盖的是对应的实现。架构师在设计架构时,时需深入研究。

3月12日下午在阿里巴巴西溪园区,举行了MongoDB杭州用户交流会。微软MSDN特邀讲师徐雷分享《基于MongoDB的政府云平台高并发高可用HA架构实践 》,从自身实践出发,讲述了政府云平台分层、技术栈选型、物理架构、API架构及DB数据库架构的设计思路和依据。

政府云平台分层架构图

政府云平台服务治理API分发

政府系统的数据量规模是有限的。小规模系统还能助 用可克隆qq集群,保证数据库节点的自动化灾备转化就还能助 了,另另三个小多的好处是:首先,读写分离把压力分担了;另外,但会 出问提报告 ,还能助 自动化灾备、自动化切换,处理手动修复,但会 宕机带来的这种问提报告 。

系统上线完后 ,要看那先 系统总出 异常了,那先 样的异常是时需马上处理的,这底下涉及到服务监控的问提报告 ,时需配合专门的运维工程师制定这种规则。

学习MongoDB的重要性

《jQuery 实战》

 

网络和硬件:这也是高并发的前提。比如10w并发,平均另三个小多消息多大,估算一下网络流量,并非说不管时延是5M,还是10M,就要10w并发,这时需看硬件的服务器配置,所有的高并发一定是个全版的体系,有的是说在某个点上,写段代码就高并发了。就是现在就看的高并发系统,一定是经过无数次的迭代。

《MongoDB实战》

Java底层和.NET底层原理是相通的,数据特性的算法基本上一样。但为那先 这种是Java做的,这种是.NET做的,这底下这种人会用到。反向代理考虑到尽量是免费的,节省成本。涉及到这种日志框架,建议用最性性成熟是什么的句子的句子的句子是什么的句子的句子的语句期的框架,这里好难 平台但会 语言系统的偏见。用Docker方便运维。

现在有手机定位,自动驾驶,政府也在考虑那先 问提报告 。比如政府希望就看各省县长的履历,进行优先提拔;比如要防控房地产的问提报告 ,房价波动厉害,时需了解房地产的交易资金,房地产大数据等,任何另三个小多指标政府都希望能就看。SOA叫做面向服务的架构,是基于服务来集成现成的系统,这种架构好难 过时。

MongDB还能助 做可克隆qq性集群,这里还能助 一对多,但会 有个问提报告 ,它还能助 实现自动化过程转移,但会 说数据访问层开发的比较好语句,使用了较新的驱动,无论是Java还是C sharp ,它还能助 自动化来切换。在这种集群中,它自动会找一台新的节点总出 ,来替代主节点。这是相对于传统数据库MongDB做的好的地方。作为运维只要把web关系层配好,就不想担心哪台服务器在服务,直接还能助 自动化切换,图片服务器和缓存服务器,有的是的是所有的数据都进缓存,有偏离 数据为了缓解压力,把用户资料的数据还能助 里装去缓存里,另另三个小多还能助 从缓存里拉所有数据。



政府系统,首先物理上保持隔离,再保证安全。要注意的是,峰值总出 的完后 ,时需加一层缓存但会 消息队列。

负载均衡:假设用了集群,比如有10台web服务器,时需做负载均衡,还能助 用业内比较性性成熟是什么的句子的句子的句子是什么的句子的句子的语句期的实现方案,比如阿里云、微软云、亚马逊云,直接配置就还能助 用。但会 要构建私有云,但会 数据中心语句,时需想这种负载均衡的方案。比如业内比较流行的,软负载均衡,反向代理负载均衡。

那先 架构但会 开始英语 做语句,另三个小多系统直接服务集成,底下更繁杂的问提报告 来了,像阿里巴巴本人做了另三个小多服务框架叫Dubbo,它底下有服务治理的事项,有的是微服务的特点。作为一名技术人员,一定要注意它的试用场景,但会 好难 那先 框架,还能助 做个相似的功能?



从上图显示,这种架构系统有的是好难 关系型数据库,但会 NoSQL数据库。但会 这种场景是比较特殊的。对于政府官员考核的指标比较多,每个指标量化单位不一样,考核数据模型是会变化的,会由于分析数据的不选则性。这种完后 比较适合用NoSQL,但会 用传统关系型数据库语句,开发就时需天天改数据层的表。

省级单位政府云平台物理架构

这底下涉及到另三个小多问提报告 ,但会 后期系统有点儿多,最好有另三个小多底下件平台的概念出来。另另三个小多在服务治理的过程中,还能助 更好的规划系统架构,而有的是所有系统之间随便连接。随便连接的后果是,后期所有系统接口有的是乱的,系统越多,乱的越厉害。比如早期是webservice,有但会 后期改成TTP,但会 改成HTTP等等这种新型的协议。

负载均衡语句,用硬件软件都还能助 ,负载均衡但会 只用一台服务器,风险较高。CDN从单数据中心扩展到多数据中心也还能助 ,一般公司还用好难 多个数据中心。

另外,这还涉及到高并发高可用的问提报告 。网站选另三个小多高并发的框架,在网站上要求1w个并发,一台服务器支持1w/秒的并发,接下来你你要10w的,一定要想依据进行横向扩展,当然但会 企业有点儿有钱,还能助 把服务器加在1T的内存。还有另三个小多高可用指标,比如每秒是1w个并发,更新一下直接挂掉,这是不行的。

缓存数据服务器最好用两台。比如支付宝,新浪微博做的比较成功,几滴 数据里装去缓存里。缓存有的是读写分离。这种互联网公司的测试数据显示,Redis的并发能达到每秒11w,就是它很适合做数据持久层的这种套缓存机制,无论是传统关系型数据库,还是MongDB,用普通的SSHD,每秒好难 1w写入量语句,还能助 把数据先写入Redis,这种并发高,基本上10w的并发,能助 满足绝大多数互联网公司的需求,但会 还不行,还能助 写入的数据量少这种,再做读写分离。

集群:是有的是一定要用集群?不一定。一般小规模公司才用3-5台服务器,大规模公司用128G、256G、甚至2T的服务器内存,连数据和索引都进服务器。MongDB在数据量非常大的完后 ,比如你有16G内存,发现它很快,有另三个小多有点儿要的问提报告 ,稍微研究下底层的算法,会发现MongDB在使用索引特性进行数据查询的完后 ,它时需对索引进行遍历,但会 能整体进内存最好,但会 好难 整体进内存,它就偏离 加载,另另三个小多语句就更快,但会 涉及到另三个小多磁盘内存问提报告 。

政府云平台技术栈选型