HTAP趋势下,PingCAP选择构建一栈式数据服务平台资讯

时间:2021-07-14 20:51:45    来源:网络整理    编辑:互联网

飞象网讯(马秋月/文)近日PingCAP正式发布面向企业级核心场景的TiDB 5.0版本。

与TiDB 4.0相比,TiDB 5.0在性能、稳定性、易用性等方面均取得了巨大进步,并在事务处理、高可用与容灾、安全合规等方面新增多项企业级特性,通过引入MPP(MassivelyParallelProcessing,即大规模并行处理)架构成为具备完整HTAP能力的分布式数据库,为高成长企业和数字化创新场景提供一栈式数据服务平台。

TiDB已经走过最危险的开源鸿沟 HTAP数据库将成重要发展趋势

PingCAP联合创始人兼CTO黄东旭在接受媒体采访时表示:“TiDB包括PingCAP已经走过了最危险的开源鸿沟,至少现在已经是一个死不了产品了。”

2020年以来,无论是从国家政策还是企业内部需求,都使得数字化转型之路加速了,行业数字化场景爆发式增长,数据呈现出海量、实时、在线等趋势。数据显示:2020年全球数据量高达40ZB,同比增长22.5%。同时,随着视频、物联网等发展,数据不断产生。以及5G发展态势必会带来数据量和复杂度的进一步上升。

随着企业对数据实时性和可靠性的要求越来越高,传统通过数据库、中间件、大数据等多组件协同的异构数据栈暴露出上线难、维护成本极高等问题,严重阻碍企业数字化进程。

我们知道,HTAP(HybridTransactional/AnalyticalProcessing,即混合事务/分析处理)数据库能够在一份数据源上同时支撑在线事务处理(OLTP)和在线分析处理(OLAP)场景,避免了传统架构中在线与离线数据库之间大量的数据交互。权威调研机构Gartner认为,HTAP数据库将成为数据库领域的重要发展趋势,一个集成的数据平台将会加速数字化转型。

由PingCAP创立的分布式数据库TiDB同时支持OLTP和OLAP,为企业关键业务打造,具备“分布式强一致性事务、在线弹性水平扩展、故障自恢复的高可用、跨数据中心多活”等企业级核心特性,帮助企业最大化发挥数据价值,充分释放企业增长空间。

据了解,OLTP是TiDB的核心应用场景,在产品性能、成熟度、稳定性、可拓展性、灵活性等方面具备极强的竞争力。在面对业务快速增长、数据量剧增或者并发量高且即将分库分表的企业客户时,TiDB及生态组件可实现数据库平滑迁移,最大程度节省时间和成本,对业务逻辑频繁改动的项目非常友好。

而传统OLAP通常基于数仓实现,但数仓T+1的特性无法满足企业对数据实时分析的需求。针对有较大数据写入且需要实时分析的场景,TiDB集群只需要构建一个数据库平台、一套接口便可做到在增加少量存储成本的情况下,实现联机交易处理、实时数据分析,避免ETL过程。TiDB集群的HTAP可支持高并发的数据写入和更新、轻中量级的查询、重量级的复杂分析,可覆盖企业绝大部分数据分析场景。

作为一款领先的企业级分布式数据库产品,TiDB早在1.0版本就实现了OLTPScale(在线事务处理的规模化扩展),4.0版本已经实现初步的HTAP能力,5.0版本在原有HTAP引擎TiFlash的基础上引入MPP架构,提供与存储匹配的分布式计算引擎,进一步提升海量数据下的并行计算与分析能力。通过与TiDB-Server共享SQL前端,实现解析器(Parser)和优化器的共享,TiDB向业务提供一体化的入口,能够自动选择单机执行或MPP模式,并且将事务型和分析型的负载隔离,使得双方在高并发量压力下互不干扰。场景实测显示:在相同硬件配置和数据量下,MPP有着数倍于Greenplum的执行速度。

与此同时,TiDB 5.0基于分布式架构,支持云原生与多云,可以弹性扩展吞吐或存储,轻松应对高并发、海量数据场景,实现一栈式数据服务。企业级用户和互联网用户都可以通过一套TiDB系统构建数字场景应用,而不必关注底层架构。SaaS厂商和独立软件开发商也可以通过简化的TiDB技术栈获得敏捷开发、易于运维的数据底座。

因此,TiDB 5.0就是一个里程碑版本,具备完整的HTAP能力,用户业务无论是事务型还是分析型,只要一套TiDB系统就可以应对数字化转型过程中“海量、实时、在线”的业务需求。

迈向企业级核心场景的TiDB 5.0

近日,PingCAP正式发布面向企业级核心场景的TiDB 5.0版本。相比TiDB 4.0,TiDB 5.0。

相比于TiDB 4.0,TiDB 5.0在性能方面取得了巨大的进步,通过提供聚簇索引、异步提交事务、TiFlashMPP等功能,在Sysbench和TPC-C等OLTP的基准测试中,获得均值50%的性能提升。例如:排查用户在排查SQL语句性能问题时,需要详细的信息来判断原因。而TiDB 5.0通过EXPLAIN可查看日志、监控等详细信息,帮助用户提升排查问题的效率。基于100GB数据量TPC-H查询的结果显示:TiDB 5.0在同等资源下,MPP引擎的总体性能是Greenplum6.15.0与ApacheSpark3.1.1两到三倍之间,部分查询可达8倍性能差异。如下是在一些通用性能测试场景下面的数据:

 

在稳定性方面,TiDB 5.0通过优化调度过程中对I/O、网络、CPU、内存等资源的占用,大幅减少因为资源被抢占而出现QPS(每秒查询量)抖动问题,在TPC-COLTP的基准测试中,衡量TPC-CtpmC抖动标准差的值小于等于2%。

与此同时,TiDB 5.0还增加多个数据迁移、数据导入、数据共享组件,方便用户在异构环境使用TiDB。

另外,TiDB 5.0具备更加开放的用户生态。PingCAP成立之初就以开源作为核心战略,高度活跃的开源社区为TiDB产品发展带来了飞轮效应,目前TiDB的研发能力、工程质量、迭代速度都已处于世界领先水平。TiDB还是一个生态友好型的数据库,TiDB 5.0集成了更丰富的大数据生态,新增Kafka连接器、支持S3存储服务,并提供多个数据迁移、导入与共享组件,方便用户在异构环境使用TiDB。

TiDB凭借领先的技术能力及完善的商业服务支持体系,帮助金融、互联网、零售、物流、制造、公共服务等行业用户构建面向未来的数据服务平台。目前,PingCAP已经向包括中国、美国、欧洲、日本、东南亚等国家和地区,超过1500家企业提供服务,涉及金融、运营商、制造、零售、互联网、政府等多个行业。

企业级数据库要“三心”:省心放心不担心

在黄东旭看来,一个真正的企业级数据库厂商应该把自己放在用户的角度去思考,无论是一个企业去购买数据库应对数字化挑战,还是一个工程师去面对数百台的数据库集群维护,我认为他们需要的就是“省心、放心、不担心”。“因此,一个真正的企业级数据库需要具备‘三心’,即省心放心不担心。”

首先,是省心。“每个购买以及使用数据库的用户,并不一定都对数据库有透彻的了解,我们就要站在用户的角度思考问题,帮助用户省心地使用数据库。”黄东旭说。

其次,放心。据介绍,一个用着放心的数据库应该是:数据不会错、数据不会丢、性能无抖动、维护不愁人。

第三,不担心。目前,世界有太多种不同的数据库,这导致数据孤岛,而在数字化转型的过程中,就是要打破这种数据孤岛带来的麻烦。

“在做公司或者产品的时候,永远不要总想着行业趋势怎么变,而是去投资在那些不会变的东西上。你不应该问自己明年会发生什么变化,而应该问明年有什么东西是不变的。数据库也是一样,比如我们做产品一个核心的出发点就是,假设我是一个用户,我五年之后有什么需求是仍然存在的。”黄东旭补充说。

总而言之,用户一定会想用一个稳定的数据库,没有人会想用一个不稳定的数据库;用户一定会想要一个数据不会错的数据库,没有人会想要一个数据弱一致性的数据库;用户一定会用一个整合的数据库,不会用分散的数据库。


  本网站转载文章仅为传播更多信息之目的,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证信息的正确性和完整性,且不对因信息的不正确或遗漏导致的任何损失或损害承担责任。

1
3