无需图数据库的知识图谱和分析,为Gen-AI提供解决方案

引言

在当前人工智能革命的推动下,图形比以往任何时候都更加重要和有用。工程师们正在思考与Gen-AI相关的机遇,利用开放的Gen-AI解决方案,如动态提示、数据基础和掩码,从而进一步思考知识图谱等有效解决方案。

例如工程师张三正在解决一个数据基础问题,并考虑为工作中的个性化产品推荐AI解决方案构建它们的知识图谱,并开始思考以下问题:

  • 如何构建这些图谱?

  • 在哪里存储它们?

  • 如何与来自不同数据库、数据仓库和数据湖的大量数据集成?

张三的关切似乎非常合理。如果他现在必须编写应用程序逻辑来生成图形,并连接到新的图数据库以存储它们,这将带来一系列挑战,如集成、安全性、成本、可靠性和技术学习等。

然而,张三可以通过简单而强大的原生图分析引擎应用来克服这些麻烦的问题。

是的,今天可以在现有数据上实现图查询,而无需物化图形或使用图数据库。

你是否想知道如何在现有的数据库、数据仓库和数据湖中原生地实现图分析和图查询呢?让我们偷窥一下。

图与图分析

在软件工程中,图是用于建模和表示实体之间关系的数据结构。它们由节点(vertices)和关系(edges)组成,这些节点和关系相互连接,可以是有向或无向的、加权或非加权的。

图分析是一种强大的新兴数据分析形式,用于分析基于图的数据,帮助企业理解各种数据实体之间的复杂关系。它有助于理解、可视化并从复杂关系中获得有意义的见解。

图分析与传统SQL分析的比较


图分析传统SQL分析
性能更高的性能较低的性能
灵活性更加灵活和可扩展相对较少的灵活性和可扩展性
可扩展性更容易处理大型图数据集处理大型数据集相对困难
关系导向性通过关系导向的查询更好地理解数据实体之间的复杂关系通过表查询来理解数据实体之间的关系
智能分析对于智能和AI分析更具相关性不太适用于智能和AI分析

从上表可以看出,图分析在智能和AI分析方面的效果更好,具有更高的性能、灵活性、可扩展性和关系导向性。

如何实现图分析

目前,大多数企业为了利用图分析而生成图形并将其存储在图数据库中。Neo4j、TigerGraph、Amazon Neptune和OrientDB是业界广泛采用的图数据库。

图分析

然而,原生图分析引擎是一种新的范式,可以直接在现有的关系型/SQL数据上实现图查询和可视化,无需使用图数据库,并且仍然可以利用图分析和传统分析方法带来的所有优势。

这似乎是一个非常强大的工具,具有许多与图分析相关的机会,可以完全抛弃冗余的图数据库,并转向这种新的原生图分析范式。

 从流程中删除图形数据库

 从流程中删除图形数据库

最终用户流程图

最终用户流程图

通过移除流程中的图数据库,我们可以同时实现以下三个目标:

  1. 零ETL:无需复制、迁移或ETL数据,即可构建和存储图形。也不需要从一个数据湖复制基本关系数据到另一个数据湖。你可以在运行时进行实时查询的虚拟层。

  2. 不需要新的图数据库:无需物化和存储图格式的数据,可以在运行时实时执行。无需引入新的图数据库,也无需担心集成、成本和安全限制。

  3. 高性能:同时实现图查询对关系型数据的所有性能优势。

业界正在迅速跟进这种新方法,已经有一些相关的参与者。

开源开发库

  • Apache Spark GraphX:GraphX是Spark的一个新组件,用于图形和图并行计算,包含了越来越多的图算法和构建器,以简化图分析任务。

  • Apache Flink Gelly:Gelly是Apache Flink的图处理API和库。Flink对迭代的本地支持使其成为大规模图分析的适当平台。

提供原生支持的现成产品/引擎

  • PuppyGraph:使用PuppyGraph,你可以在仓库、数据湖和数据湖屋中以无缝的无ETL集成的方式进行图查询。支持以下开放表格式:

    还支持以下数据库的关系型数据:

    • MySQL

    • PostgreSQL

    • Apache Iceberg

    • Apache Hudi

    • Apache Hive

    • Delta Lake

  • Timbr.ai:Timbr的语义图平台是一个SQL原生知识图,可以将你的数据库转换为推理机,因此我们可以在数据上应用优化的图形,如SQL查询。它支持与符合SQL / ANSI SQL标准或可通过SQL查询的任何关系型数据库的完全后端集成。连接可以通过JDBC或ODBC连接器建立,无需ETL。

    支持的关系型数据库:MySQL、MariaDb、SqlServer、PostgreSQL、SAP Hana、Aurora Oracle

    支持的NoSQL数据库:MongoDB

    支持的数据湖:S3、GCS、Microsoft ADLS

    支持的数据仓库:RedShift、BigQuery、Snowflake、Databricks、Synapse、Athena

    支持的引擎:Apache Spark、Presto、Trino

    支持的数据格式:Parquet/JSON/CSV文章来源地址https://www.toymoban.com/diary/system/651.html

到此这篇关于无需图数据库的知识图谱和分析,为Gen-AI提供解决方案的文章就介绍到这了,更多相关内容可以在右上角搜索或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://www.toymoban.com/diary/system/651.html

如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用
探索是否可以利用人工智能驱动的云服务增强银行业的反洗钱
上一篇 2024年01月01日 16:36
下一篇 2024年01月01日 17:52

相关文章

  • 自学笔记——利用python开展Neo4j图数据库知识图谱构建和统计分析

    前言: 在上《高级统计学》时,老师提到结合所学知识点自行设计任务,并利用所学完成。 近期正好在学习python的编程和利用neo4j开展知识图谱构建,于是在征得老师同意下,尝试完成任务:“统计近6年社科基金,并构建知识图谱。”   入门小白自学笔记,请高手勿喷。

    2024年02月16日
    浏览(19)
  • 数据库管理员知识图谱

     初入职场的程序猿,需要为自己做好职业规划,在职场的赛道上,需要保持学习,并不断点亮自己的技能树。  成为一名DBA需要掌握什么技能呢,先让Chat-GPT为我们回答一下: 数据库管理系统 (DBMS)知识:深入了解不同类型的数据库管理系统,例如关系型数据库(如MySQL,

    2024年02月14日
    浏览(21)
  • JanusGraph图数据库的应用以及知识图谱技术介绍

    目录 JanusGraph介绍 JanusGraph 的主要优势 JanusGraph的应用: JanusGraph 的行业应用: 架构概览 分布式技术应用 横向扩展能力 程序与janus的交互 Janus与图数据库相关概念 结构化存储 图结构存储 实体关系存储 知识存储技术 JanusGraph 是一个开源的、分布式的、基于属性图的数据库,

    2024年01月24日
    浏览(21)
  • 从LangChain+LLM的本地知识库问答到LLM与知识图谱、数据库的结合

    过去半年,随着ChatGPT的火爆,直接带火了整个LLM这个方向,然LLM毕竟更多是基于过去的经验数据预训练而来,没法获取最新的知识,以及各企业私有的知识 为了获取最新的知识,ChatGPT plus版集成了bing搜索的功能,有的模型则会调用一个定位于 “链接各种AI模型、工具”的

    2024年02月12日
    浏览(24)
  • 6月《中国数据库行业分析报告》已发布,首发空间、搜索引擎数据库【全球产业图谱】

    为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》, 持续传播数据技术知识、努力促进技术创新与行业生态发展 ,目前已更

    2024年02月13日
    浏览(27)
  • 【知识图谱】图数据库Neo4jDesktop的安装图文详解(小白适用)

    neo4j 的安装需要有jdk环境的支持。因此在安装Neo4j之前,需要安装Java JDK。 参考文章https://blog.csdn.net/weixin_41824534/article/details/104147067?spm=1001.2014.3001.5502 进入Neo4j官网 选择下载中心 下滑选择Neo4j Desktop,点击Download 填写注册信息后点击下载桌面版 接下来显示秘钥页面,将左侧框中

    2024年02月14日
    浏览(18)
  • 知识图谱构建:图数据库Neo4j的节点和关系的新增、删除

    目录 1、新增节点和节点属性,批量添加属性 2、节点显示信息修改 3、新增关系 4、同时新增两个节点与节点关系 5、删除节点 6、删除关系 7、同时删除节点和关系 CREATE(n:节点名称 {属性1:\\\'属性值\\\', 属性2:\\\'属性值\\\',  ......} ) return n 其中,n只在此语句运行时代表创建的节点

    2024年02月10日
    浏览(15)
  • 8月《中国数据库行业分析报告》已发布,聚焦数据仓库、首发【全球数据仓库产业图谱】

    为了帮助大家及时了解中国数据库行业发展现状、梳理当前数据库市场环境和产品生态等情况,从2022年4月起,墨天轮社区行业分析研究团队出品将持续每月为大家推出最新《中国数据库行业分析报告》, 持续传播数据技术知识、努力促进技术创新与行业生态发展 ,目前已更

    2024年02月10日
    浏览(23)
  • 知识图谱:Neo4j数据库的基本使用——创建张学良的关系谱

            知识图谱(Knowledge Graph)是人工智能的重要分支技术,它在2012年由谷歌提出,是结构化的语义知识库,用于以符号形式描述物理世界中的概念及其相互关系,其基本组成单位是“实体—关系—实体”三元组,以及实体及其相关属性—值对,实体间通过关系相互联

    2024年02月04日
    浏览(28)
  • 再相逢【知识图谱】中文医学知识图谱CMeKG,中文产科医学知识图谱COKG | 附:图数据库Neo4j下载安装教学(遇到问题并解决) + Neo4j基本操作

      无论结果如何,请相信那些你努力游向岸的日子都有它的意义。   🎯 作者主页 : 追光者♂ 🔥          🌸 个人简介 : 计算机专业硕士研究生 💖、 2022年CSDN博客之星人工智能领域TOP4 🌟、 阿里云社区特邀专家博主 🏅、 CSDN-人工智能领域新星创作者 🏆、 预期20

    2024年02月14日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包