RisingWave 在超百亿管理规模对冲基金公司中的应用

这篇具有很好参考价值的文章主要介绍了RisingWave 在超百亿管理规模对冲基金公司中的应用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 公司背景

XX 私募基金(应客户需求,我们对其公司名称做了保密处理)是一家专注于量化投资的超百亿对冲基金公司,成立之初主要以自营期货高频交易为主。目前公司成员近百人,投研团队占比 70%。团队内主要成员大多来自清华、北大、中科大、普林斯顿大学、哥伦比亚大学、宾夕法尼亚大学等国内外知名高校,均为计算机、电子、数理专业等行业高精尖人才。公司发展迅速,管理规模逾百亿

2. 使用 RisingWave 之前的情况

随着公司业务的快速发展,管理的基金产品越来越多,每天需要处理的账户交易数据规模也在不断增加。在量化交易领域,低延时是非常关键的因素,实时分析市场行情和交易流水可以更迅速地提供进一步的决策,更好的抓住交易机会。早在 2021 年,我们使用 ksqlDB 来做实时预警功能,很快我们发现其设计上的一些功能限制无法应用到更多的场景中。后来我们引入了业内成熟的流处理引擎 Flink 来串连不同的数据系统做 ETL 实时计算,流处理编程接口 DataStream API 通过命令式的语言来描述流计算,其灵活性和丰富的组件可以实现更复杂的数据处理逻辑,但对于非 JVM 技术栈的开发人员来说,也带来了较大的学习和开发运维成本。虽然 Flink 可以满足我们目前的需求,但是考虑到以下几方面问题使得我们继续寻求更适合自身业务场景的流计算系统。

2.1 学习成本

我们公司有着研究员,交易员,系统开发等不同角色的小伙伴,大都并没有 JVM 编程功底,因此从易用性上来说,流计算系统的学习成本就非常重要,这使得 Flink 很难在公司业务线上全面推广。

2.2 资源成本

在实际交易的 Colocation 机房 (在量化交易领域这个词通常表示是服务器托管在离交易所比较近的机房)环境下,硬件资源是非常稀缺的。因此更少的资源占用,更低的部署复杂度都是我们需要考量的因素。

2.3 可观察性

metrics 监控系统状态可查询功能是在做延时调优和系统调试过程中非常得力的助手,一次微小的逻辑变动都可能会让 CPU 和内存占用发生巨大的变化,因此一个完备的可视化监控系统和状态可查询功能尤其关键。

2.4 技术支持

对于流计算的初学者来说,会遇到很多技术和概念上的困惑,尤其在项目 PoC 阶段,技术团队高效率的沟通和给予高质量的响应支持可以快速地加深对系统的使用了解。

3. 为什么选择 RisingWave

在实时流计算系统的选型上,我们没有历史包袱。经过对 ksqlDB 到 Flink 的使用,我们明白其各自特点和优势,但我们从没停止寻找更优秀更适合自身业务场景的流计算系统,直到 RisingWave 的出现,通过深度使用发现这是一个极其现代化的流计算系统,如同官网上宣传语一样,在某种意义上来讲,它确实重新定义了流计算。其有如下几个特点吸引着我们:

3.1 PostgreSQL

最为打动我们的是 RisingWave 从一开始就选择使用 PostgreSQL 来表达流计算,SQL 作为声明式语言可以说是受众最广的表达方式之一,其简洁、易于理解、高层次的抽象语法使得开发者可以更专注的关注业务逻辑的本质,极大降低学习开发成本,从而提高开发效率。因为其兼容了 Postgres 协议,Postgres 生态中的技术栈均可以应用到 RisingWave 中来,无形之中增添了不少能力。从我们的实践来看,SQL 的表达能力已经可以覆盖绝大部分的业务场景,对于极其复杂个性化的数据处理我们可以通过 UDF 或者其它命令式的语言来实现。

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

3.2 低延时

天下武功,唯快不破。前面也提到,在量化交易领域,在满足业务功能的前提下,低延时会是非常重要的技术选型考量因素,抛开一些极其苛刻的超低延时场景,我们使用 RisingWave 在对成交流水与维度表实时扩宽、实时仓位累计等场景其端到端延时可以达到 5~10ms 级别,一些更复杂的实时查询如账户盈亏(Profit & Loss)计算和其它监控指标计算也可以在百毫秒内完成。

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

3.3 数据集成

RisingWave 提供了非常丰富的 source 和 sink connector。从主流的消息队列到 OLTP 和 OLAP 数据库,再到数据湖存储引擎,都提供了非常好的支持。在编码方式上也提供了主流的 JSON,Avro,Protobuf,这样可以非常方便且低成本地将现有的业务数据系统集成到 RisingWave 中。如果说 Kafka 是流处理市场最大的赢家,那么 RisingWave 也可以称得上是流计算领域的瑞士军刀。

3.4 丰富算子

在我们进入生产环境的项目中有 50+个表、物化视图、以及与外部系统交互的 source/sink connectors,独有 temporal join、interval join、temporal filter、TopN 算子、实时增量计算提高新鲜度的 materialize view、时间窗口函数、支持乱序处理的水位线机制、以及支持 PostgresSQL 中绝大部分语法比如 common table expression,`DISTINCT ON`等。 可以满足维表拓宽事实表、多路 stream 聚合、实时 ETL、窗口指标统计等场景的应用

3.5 可观察性

RisingWave 为流作业带来了非常友好完善的可观察性。首先该平台通过 Grafana 仪表板提供了一系列不同粒度的指标,非常适合调优和生产上的指标监控。其次,流作业的内部状态像一张表一样是可以用 SQL 查询的,这对于 debug 非常有帮助。此外由于其是兼容了 Postgres 协议,因此 Postgres生态的工具都可以直接连接 RisingWave,大大简化了 SQL 调试和数据相关问题的排查

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

3.6 技术支持

RisingWave 的同学们非常的专业、热情、耐心,在我们初期使用的过程中,给予了我们非常高效和快速细心的解答帮助,让我们更深入地了解 RisingWave 和流计算,在 POC 阶段顺利完成了一些业务的落地。

4. RisingWave 的实施情况

我们和 RisingWave 的合作始于数月前。当时在一些交易场景下,出现了大量需要非常高效低延时的扩宽表,多个数据流实时的聚合,实时指标计算以及和多种数据系统如消息队列和数据库交互的场景。起初使用 Flink 来实现并没有达到预期便捷的效果,同时也希望避免使用其它命令式的语言来开发,这主要是开发运维成本上的考量。在 RisingWave 同学们的悉心指导下,我们仅使用 SQL 声明式的语言就完成了以下业务的开发并应用到了生产环境。

  • 从消息队列摄入实时交易成交流水,基于维度表对其拓宽后并sink到下游数据系统

  • 基于成交实时累计账户持仓并 sink 到下游数据监控系统

  • 基于成交和持仓实时计算账户盈亏 (Profit & Loss) 并 sink 到下游监控系统

  • 对行情与交易流水等多个事件流进行实时聚合出衍生消息并 sink 到下游数据系统                                    

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

                                   

5. 总结与展望

经过几个月对 RisingWave 深入学习与实践,我们已经成功将 RisingWave 应用到实盘交易生产环境,并稳定运行。RisingWave 作为冉冉新星,以独特的视角重新定义流计算,以兼容 PostgreSQL 为核心思想,便捷地将多种数据系统集成到一起来简化数据流。不仅有丰富的功能组件,在易用性,低延时,低学习成本,低部署运维成本方面有着巨大的优势和吸引力,同时也在不断学习与成长。RisingWave 的出现,解决了我司之前遇到的痛点。从某种意义上来说,也拓宽了流计算的边界,使得我们在面对更创新、更复杂、具有挑战性的业务时都可以从容面对。

关于 RisingWave 

RisingWave 是一款基于 Apache 2.0 协议开源的分布式流数据库,致力于为用户提供极致简单、高效的流数据处理与管理能力。RisingWave 采用存算分离架构,实现了高效的复杂查询、瞬时动态扩缩容以及快速故障恢复,并助力用户极大地简化流计算架构,轻松搭建稳定且高效的流计算应用。

RisingWave 始终聆听来自社区的声音,并积极回应用户的反馈。目前,RisingWave 已汇聚了近 150 名开源贡献者和近 3000 名社区成员。全球范围内,已有上百个 RisingWave 集群在生产环境中部署。

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

RisingWave 在超百亿管理规模对冲基金公司中的应用,客户案例,数据库,rust,开源软件,基金量化,RisingWave,流数据库

往期推荐

技术内幕

新手入门教程

深入探索 RisingWave 中的高可用性与容错机制

深入理解 RisingWave 流处理引擎(三):触发机制

深入理解 RisingWave 流处理引擎(二):计算模型

深入理解 RisingWave 流处理引擎(一):总览

用户案例

视源股份(CVTE)IT 流计算应用历程

尘锋 SCRM 如何使用 RisingWave 实时打宽

龙腾出行如何通过 RisingWave 实现实时数据分析

金融科技领导者如何使用 RisingWave 革新欺诈检测

金融科技公司 Kaito 使用 RisingWave 实现实时智能化文章来源地址https://www.toymoban.com/news/detail-794490.html

到了这里,关于RisingWave 在超百亿管理规模对冲基金公司中的应用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://blog.csdn.net/weixin_61169526/article/details/135622953

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 金融专题 | 对复杂的金融工具进行设计、定价和对冲分析

    金融行业使用 Financial Instruments Toolbox™ 执行现金流建模和收益率曲线拟合分析、计算价格和敏感度、查看价格演变,并使用普通股权和固定收益建模方法执行对冲分析。 借助该工具箱,您可以创建新的金融工具类型,使用参数拟合模型和息票剥离法根据市场数据拟合收益率

    2024年02月04日
    浏览(8)
  • 日志管理中的云计算和大数据方案:支持大规模日志数据的管理和分析

    作者:禅与计算机程序设计艺术 1.1. 背景介绍 随着互联网技术的快速发展,各种信息系统与应用程序如雨后春笋般涌现出来。这些系统与应用程序在运营过程中产生了大量的日志数据,然而,这些日志数据往往分散在各个系统之间,缺乏统一的管理和分析,难以为系统的运维

    2024年02月16日
    浏览(9)
  • 当 AI 遇到流计算:如何在 RisingWave 的数据上训练 AI 模型

    想象一下,一个数据工程团队在多年的投入下,构建了一套实时流计算链路,数据仓库体系,以及数不清的报表。但随着业务的增长,他们开始不局限于传统的指标,而是希望用 AI/ML 来提供更加深入的数据分析。 MindsDB 就是填补这个需求的桥梁,它将数据库与模型训练串联起

    2024年02月19日
    浏览(7)
  • 不同规模的测试团队分别适合哪些测试用例管理工具?测试用例管理工具选型指南

    随着软件系统规模的持续增大,业务复杂度的持续增加,软件测试的复杂度也随之越来越大。软件测试工作的复杂性主要体现在测试用例的编写、维护、执行和管理方面。而创建易于阅读、维护和管理的测试用例能够显著减轻测试工作的复杂性。 本篇文章将较为系统的探讨测

    2024年02月11日
    浏览(11)
  • Flink与Cassandra:如何在大规模数据处理中存储与管理数据

    作者:禅与计算机程序设计艺术 1.1. 背景介绍 随着大数据时代的到来,数据处理的需求也越来越大。在实际工作中,我们常常需要处理海量数据,如何高效地存储与管理数据成为了我们必须面对的问题。 1.2. 文章目的 本文旨在探讨如何在大型数据处理环境中使用 Flink 和 Ca

    2024年02月13日
    浏览(13)
  • 仅5天注册用户超百万,爆火ChatGPT究竟是什么?

    作者:qizailiu,腾讯 IEG 应用研究员,来自腾讯技术工程 OpenAI 近期发布聊天机器人模型 ChatGPT,迅速出圈全网。它以对话方式进行交互。以更贴近人的对话方式与使用者互动,可以回答问题、承认错误、挑战不正确的前提、拒绝不适当的请求。高质量的回答、上瘾式的交互体

    2023年04月25日
    浏览(11)
  • 大规模 IoT 边缘容器集群管理的几种架构-6-个人体验及推荐

    大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portainer 大规模 IoT 边缘容器集群管理的几种架构-4-K

    2024年02月11日
    浏览(7)
  • KargoBot自动驾驶卡车超百台,新能源占比超60%

    日前,2023世界新能源新材料大会在鄂尔多斯召开。KargoBot负责人韦峻青出席大会,并在现场首次展示了KargoBot研发的L4级新能源自动驾驶卡车。他表示,KargoBot正在大力推进新能源化,在KargoBot已经部署的100多台自动驾驶卡车中,新能源车占比已经超过60%。 2023世界新能源新材料

    2024年02月13日
    浏览(8)
  • 超百万人用它生成3D头像,这项技术刚刚中选了SIGGRAPH Asia 2022

    如何才能做一个和真人一样的 3D 头像? 先上传一张照片:   变成这样:   换一个人的照片:     再看一个例子:   眼镜也可以放进来:       在此基础上,还可以换上各种各样的发型、饰品,眼睛、帽子、发色、胡须,皆可编辑。         这效果,是不是可以做一套自

    2023年04月09日
    浏览(13)
  • FVM链的Themis Pro(0x,f4) 5日IDO超百万美元,领Filecoin重回高点

    交易一直是 DeFi 乃至web3领域最经久不衰的话题,也因此催生了众多优秀的去中心化协议,如 Uniswap 和 Curve。这些协议逐渐成为了整个系统的基石。 在永续合约方面,DYDX 的出现将 WEB2 时代的订单簿带回了web3。其链下交易的设计,仿佛回到了中心化交易所畅快交易的时代。 不

    2023年04月17日
    浏览(6)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包