分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比

这篇具有很好参考价值的文章主要介绍了分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者:深耕行业的 SmartX 金融团队 张德敏

近年来随着金融行业的高速发展,经营决策者及监管机构对信息时效性的要求越来越高,科技部门面临诸多挑战。例如,不少金融机构使用数仓业务系统,为公司高层提供日常经营报表,同时支持监管报送等应用。该业务系统通常是 I/O 密集型应用,对 IT 基础架构的性能有极高的要求。

在《Oracle 数据仓库在超融合架构下的跑批性能验证》文章中,我们分享了金融机构利用 SmartX 超融合优化 Oracle 数据仓库跑批效率的实践经验。超融合部署架构如下:

​编辑

本期,我们将进一步验证 SmartX 分布式存储 SMTX ZBS 对数仓业务系统的支持能力,通过金融客户的实际测试,对比 SmartX 分布式存储与全闪集中式存储执行数仓跑批任务的效率。部署架构方式请参考下文。

测试背景

某金融机构使用传统架构支撑数仓业务系统,其中存储使用 EMC PowerStore 全闪存储,虽然现阶段可满足经营决策者及监管机构对信息时效性的要求,但科技部门认为该架构仍然面临一些挑战:

  • 全闪中高端集中式存储成本居高不下。
  • 集中式存储弹性扩展能力有限,无法做到容量及性能同步线性增长。
  • 新旧集中式存储替换带来庞大的数据迁移工作和开销,且无法保证业务零中断

得益于分布式的架构和弹性扩展能力,分布式存储能很好地解决以上问题。但让科技部门顾虑的是:分布式存储性能能否对标全闪中高端集中式存储?能否有效支撑数仓业务系统对报表输出时效性的要求?为此,该金融客户使用 SmartX 分布式存储在测试环境部署数仓业务系统,进行了相关课题的验证。

测试架构

​编辑

测试架构如图所示:

  • 计算端采用裸金属(Intel x86 服务器)部署 Oracle 数据库,测试环境使用一台 2 路服务器 ,当前生产环境使用一台 4 路服务器。
  • 网络端测试环境使用以太网交换机和 NVMe over RDMA 协议,当前生产环境使用光纤交换机和 FC 协议。
  • 存储端测试环境使用 SMTX ZBS 分布式存储和 3 台通用 Intel x86 服务器(混闪),当前生产环境使用 1 套 PowerStore 1000T 全闪存储。

软硬配置

​编辑

测试过程与结果

  1. 将生产数据导入到测试环境,导入数据量为 3.9TB。
  2. 数仓业务系统跑批的内容是 Oracle 执行一系列存储过程集,通过 linux 脚本自动化运行。
  3. 从所有数据里分别提取和处理 4、5、6 三个月的数据,记录每个月从执行开始到结束的时间,时间越短越好。

结果显示,相比生产环境,SmartX 分布式存储执行全部存储过程集,3 个月平均跑批时间缩短 45%;其中,某耗时最长存储过程,3 个月平均跑批时间缩短 55%,其他存储过程集 3 个月平均跑批时间缩短 31%

​编辑

数仓业务跑批期间统计了 SMTX ZBS 在该业务下的负载峰值,与 SMTX ZBS 基准性能做了进一步对比。从数据可以看出,SMTX ZBS 除了支撑该数仓工作负载外,仍有很大的余力。

​编辑

注:
基准数据指 SMTX ZBS 在该硬件配置下的最佳性能。
本次测试数据指数仓业务跑批期间 SMTX ZBS 的负载峰值。
绿色数据表示受限于网卡带宽,SMTX ZBS 存储实际的能力没有完整发挥出来。

测试结论

本次测试由客户全程自己操作完成,从测试结果看,SMTX ZBS 分布式存储已经具备承载客户现有的数仓应用的能力。这意味着,客户可以在不改变上层数仓应用的情况下,通过优化基础架构设施进一步提升跑批的效率,缩短跑批时间,从而以更少的成本带来更大的应用价值的提升。

更多应用场景持续探索中

科技产品价值终究要提升业务支撑价值。目前,SmartX 已联合多家来自银行、保险、证券、基金、期货、资管等金融细分行业的头部企业,针对超融合在 TA 注册登记、估值、BI 报表、O32、柜台交易系统等多种金融核心业务系统下的表现,开展全方位评测与验证。欲了解更多金融应用场景探索实践,请阅读往期文章:

  • 金融场景探索|以分布式存储驱动金融资管估值系统效率提升
  • 空中换发动机:中信建投如何实现超融合操作系统“0”业务停机的信创转换
  • 金融客户基于超融合信创平台构建微分段防护的实践及验证
  • Oracle 数据仓库在超融合架构下的跑批性能验证
  • 金融信创场景下 SmartX 超融合存储性能评测与支撑业务综述
  • SmartX 超融合金融行业数据库支撑评测合集与长期落地案例综述

您还可扫描下方二维码,获取《金融核心生产业务场景探索文章合集》,全面了解超融合如何支持金融核心业务系统、数据库、IT 基础架构云化转型与信创转型。

分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比,分布式,金融,数据仓库

近期,我们将为您带来更多金融行业场景探索和验证文章,敬请期待!文章来源地址https://www.toymoban.com/news/detail-734131.html

到了这里,关于分布式存储 vs. 全闪集中式存储:金融数据仓库场景下的性能对比的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ansible安装lnmp(集中式)

    2024年02月14日
    浏览(24)
  • 首发 | FOSS分布式全闪对象存储系统白皮书

    1. 当前存储的挑战   随着云计算、物联网、5G、大数据、人工智能等新技术的飞速发展,数据呈现爆发式增长,预计到2025年中国数据量将增长到48.6ZB,超过80%为非结构化数据。 同时,数字经济正在成为我国经济发展的新引擎,数据已经成为企业的核心生产要素,数据即价值

    2024年02月12日
    浏览(14)
  • VMware vCenter Server 8.0U1 发布 - 集中式管理 vSphere 环境

    请访问原文链接:VMware vCenter Server 8.0U1 - 集中式管理 vSphere 环境,查看最新版。原创作品,转载请保留出处。 作者主页:sysin.org 2023-04-18, VMware vSphere 8.0U1 发布。 详见:VMware vSphere 8 Update 1 新增功能 VMware vCenter Server 是一款高级服务器管理软件,提供了一个集中式平台来控制

    2024年02月05日
    浏览(16)
  • 【金猿案例展】智谱AI——基于全闪分布式并行文件存储打造高速大模型训练平台...

    ‍ 焱融科技案例 本项目案例由焱融科技投递并参与“数据猿年度金猿策划活动——2023大数据产业年度创新服务企业榜单/奖项”评选。 大数据产业创新服务媒体 ——聚焦数据 · 改变商业 自 ChatGPT 爆火以来,中国的 AI 产业已经进入名副其实的“百模大战”。《中国人工智能

    2024年02月02日
    浏览(18)
  • [设计模式Java实现附plantuml源码~创建型] 集中式工厂的实现~简单工厂模式

    前言: 为什么之前写过Golang 版的设计模式,还在重新写Java 版? 答:因为对于我而言,当然也希望对正在学习的大伙有帮助。Java作为一门纯面向对象的语言,更适合用于学习设计模式。 为什么类图要附上uml 因为很多人学习有做笔记的习惯,如果单纯的只是放一张图片,那

    2024年01月19日
    浏览(16)
  • 【分布式】分布式存储架构

    说到分布式存储,我们先来看一下传统的存储是怎么个样子。 传统的存储也称为集中式存储, 从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的 EMC 存储就需

    2024年02月10日
    浏览(18)
  • 【分布式技术】分布式存储ceph之RBD块存储部署

    目录 创建 Ceph 块存储系统 RBD 接口 服务端操作 1、创建一个名为 rbd-demo 的专门用于 RBD 的存储池 2、将存储池转换为 RBD 模式 3、初始化存储池 4、创建镜像 5、在管理节点创建并授权一个用户可访问指定的 RBD 存储池 6、修改RBD镜像特性,CentOS7默认情况下只支持layering和stripin

    2024年01月18日
    浏览(22)
  • 云存储、云计算与分布式存储、分布式计算是一回事吗?

    随着互联网的蓬勃兴起,大数据、人工智能、物联网、云计算与云存储等这些专业词汇在大众视野内出现的频率越来越高,再加上近几年分布式技术异军突起,更使得分布式存储、分布式计算等成为热词。然而,很多人对这些名词都一知半解,所以本文将主要和大家聊一聊,

    2024年01月25日
    浏览(32)
  • 分布式键值存储是什么?(分布式键值存储大值)

    分布式键值存储是一种分布式数据存储系统,它将数据存储为键值对的形式,并将这些键值对分散在多个节点上。每个节点都可以独立地处理一部分数据,从而实现高可用性和可扩展性。分布式键值存储通常具有以下特点: 简单:数据以键值对的形式存储,操作简单,易于使

    2024年02月03日
    浏览(15)
  • 【分布式技术】分布式存储ceph之RGW接口

    目录 1、对象存储概念  2、创建 RGW 接口 //在管理节点创建一个 RGW 守护进程 #创建成功后默认情况下会自动创建一系列用于 RGW 的存储池  #默认情况下 RGW 监听 7480 号端口  //开启 http+https ,更改监听端口 #更改监听端口 ​          //创建 RadosGW 账户 客户端测试 OSD 故障模拟

    2024年01月19日
    浏览(20)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包