编辑推荐: |
文章介绍了分析型数据库MySQL,经典实时数仓场景,实时计算清洗回流场景,ETL清洗回流场景希望对您有所帮助。
本文来自csdn,由火龙果软件Delores编辑、推荐。 |
|
随着企业IT和互联网系统的发展,产生了越来越多的数据。数据量的积累带来了质的飞跃,使得数据应用从业务系统的一部分演变得愈发独立。物流、交通、新零售等越来越多的行业需要通过OLAP做到精细化运营,从而调控生产规则、运营效率、企业决策等。
在业务系统中,我们通常使用的是OLTP数据存储,例如MySQL,PostgreSQL等。上述关系数据库系统擅长事务处理,能够很好的支持频繁数据插入和修改。一旦需要计算的数据量过大,例如数千万甚至数十亿条,或者需要进行非常复杂的计算,此时OLTP数据库系统便力不从心了。这个时候,我们便需要OLAP系统来进行处理。
分析型数据库MySQL版是云端托管的PB级高并发实时数据仓库,是专注于服务OLAP领域的数据仓库。在数据存储模型上,采用关系模型进行数据存储,可以使用SQL进行自由灵活的计算分析,无需预先建模。利用云端的无缝伸缩能力,分析型数据库MySQL版在处理百亿条甚至更多量级的数据时真正实现毫秒级计算。
分析型数据库MySQL版支持通过SQL来构建关系型数据仓库。具有管理简单、节点数量伸缩方便、灵活升降实例规格等特点,而且支持丰富的可视化工具以及ETL软件,极大的降低了企业建设数据化的门槛。
分析型数据库MySQL版为精细化运营而生,实时洞现数据价值,持续推进企业数据化变革转型。
(分析型数据库(AnalyticDB),是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力,能让用户在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统为终端客户提供分析服务。)
产品优势:
分析型数据库MySQL版是云端托管的大规模并行处理(MPP)的PB级数据仓库。相对于业内其他数据仓库或者OLAP引擎解决方案,分析型数据库MySQL版作为一款SQL数据仓库,有如下产品优势:
快
分析型数据库MySQL版运用新一代超大规模的MPP+DAG融合引擎,采用行列混存技术、自动索引、智能优化器,在瞬间即可对千亿级别的数据进行即时的多维度分析透视,快速发现数据价值。分析型数据库MySQL版对复杂SQL查询速度相比传统的关系型数据库快10倍。此外,分析型数据库MySQL版还可以快速扩容至数千节点的超大规模,进一步提升查询响应速度。
灵活
分析型数据库MySQL版极度灵活的存储和计算分离架构,您可以随时调整节点数量和动态升降配实例规格。分析型数据库MySQL版同时支持在大存储SATA节点和高性能的SSD节点灵活切换。例如,您可以从8个C4升到12个C8,或从12个C8降到8个C4,企业可以真正做到灵活控制成本。
易用
分析型数据库MySQL版作为云端托管的PB级SQL数据仓库,全面兼容MySQL协议和SQL:2003,通过标准的SQL和常用的BI工具、以及ETL工具平台即可轻松使用分析型数据库MySQL版。分析型数据库MySQL版旨在帮助企业降低实时数据化运营的建设门槛。
超大规模
分析型数据库MySQL版是全分布式结构,无任何单点设计,使得数据库实例支持ECU节点动态线性扩容至数千节点。您可以通过横向扩容来大幅度提升查询SQL响应速度、以及增加SQL处理并发。
高并发写入
您可以从最小规模的10万TPS写入能力,通过横向扩容节点提升至200万+TPS的写入能力。实时写入数据后,约1秒左右即可查询分析。单个表最大支持2PB数据,十万亿记录。传统的数据仓库通常是离线Load数据模式,不具备实时高并发写入能力。而正是由于分析型数据库MySQL版具备实时写入能力,才使得分析型数据库MySQL版数据分析时效性非常高。
使用场景:
分析型数据库MySQL版具有高并发TPS的实时写入能力、以及面向SQL的海量数据快速分析能力。对于企业客户来说,只需要将您的数据接入分析型数据库MySQL版,即可用标准SQL或者可视化工具轻松分析与挖掘数据价值,而分析型数据库MySQL版最核心的优势就是查询速度快。分析型数据库MySQL版常见使用场景如下:
经典实时数仓场景
您可以通过数据传输DTS将关系型数据库的业务表实时镜像一份到分析型数据库MySQL版,通过Quick?BI(简称QBI)拖拽式轻松生成报表,或者通过DataV快速定制您的企业实时数据大屏。
实时计算清洗回流场景
客户通常将流计算清洗结果数据回流至MySQL等单机数据库,作为报表库来查询使用。当单机数据量或者单表数据量非常大时,传统的关系型数据库会出现报表查询卡顿的问题。分析型数据库MySQL版能够很好地解决卡顿的问题,支持实时计算单表数据数千亿条,快速查询分析PB级别的实时报表,无需分库分表。
ETL清洗回流场景
大数据离线计算平台MapReduce、SparkSQL、Hadoop、E-MapReduce等平台产品在清洗完数据后,由于报表查询条件依然很复杂,运营报表需要钻取,导致单机数据库无法支撑性能,此时需要一个像分析型数据库MySQL版这样非常强大的报表查询引擎完成数据查询工作。常见的回流数据工具有数据集成和业内开源产品Datax.。
名词解释:
数据库:分析型数据库的实例单位和租户单元,不同数据库之间的计算资源、用户权限、用户配额完全隔离,不同数据库独立计量计费
ECU:弹性计算单元,分析型数据库中,计算资源切分的单位。ECU亦是计量计费的最小单元。
|