Elasticsearch：向量数据库的真相

这篇具有很好参考价值的文章主要介绍了Elasticsearch：向量数据库的真相。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Elasticsearch：向量数据库的真相,Elasticsearch,AI,Elastic,数据库,搜索引擎,serverless,elasticsearch,大数据,全文检索

通过工作示例了解什么是向量数据库、它们如何实现 “相似性” 搜索以及它们可以在明显的 LLM 空间之外的哪些地方使用。除非你一直生活在岩石下，否则你可能听说过诸如生成式人工智能和大型语言模型（LLM）之类的术语。除此之外，你很有可能听说过向量数据库，它为 LLMs 的查询提供上下文。有没有想过它们是什么以及它们在明显的 LLM 领域之外有何用处？好吧，请继续阅读以了解这项令人兴奋的新技术，构建您自己的向量数据库并思考如何在你的项目中利用它，包括但不限于 LLMs。

以值匹配为中心的搜索的局限性

首先，让我们看看到底缺少什么而引发了对不同类型数据库技术的需求。这是与搜索数据有关。当你在数据库中听到 “搜索” 这个词时，你可能会立即想到正常的以数值或关键字为中心的搜索，例如：

相等：其中 customer_id = 123
比较：年龄大于 25 岁
通配符：客户名称以 “Mc” 开头，例如 “McDonald”

有时，这些以价值为中心的搜索也相互依存，例如

其中年龄 (age) > 25 且邮政编码 (zipcode) = ‘12345’

现代数据库技术在过去几十年中不断发展，提高了此类搜索的效率，我将其称为 “以值为中心的搜索”，其中评估特定值以在查询中进行过滤。虽然它们在许多情况下都可以工作，可以说在几乎所有与业务相关的应用程序中，但请考虑如下：

给我找一个像丽莎 (Lisa) 一样的客户

请注意所使用的过滤器：它并没有询问姓名为 “Lisa” 的客户；只是像她这样的人，即与 Lisa 相似的人。相似是什么意思？这是一个很难回答的问题。这不是名字，因为类似的客户可能被命名为 Alice、Bob 或 Charlie。难道是他们的年龄？可能吧。假设丽莎的年龄是 40 岁。40 岁的顾客最相似。 25 岁的客户相似度会降低，55 岁的客户也同样不相似。

让我们思考一下。考虑这三位顾客各自的年龄。

如果我们画一个图表，将 Lisa 的余额放在中间，然后绘制其他的图表，它将如下图所示。他们的年龄与 40 岁（丽莎的年龄）的距离显示了他们距离该目标有多远。在本例中，我们表明 Bob 最相似，Charlie 最不相似，而 Alice 更相似一些。

Elasticsearch：向量数据库的真相,Elasticsearch,AI,Elastic,数据库,搜索引擎,serverless,elasticsearch,大数据,全文检索

年龄只是客户的一方面。在寻找 “像丽莎” 这样的人时，我们可能会想到更多的属性；不只是一个。其中一个属性可以是客户的净资产，如下所示，添加到原始表中：

如果 Lisa 的净资产是10万，这些客户之间会有什么新的相似之处？我们可以创建一个以年龄和净资产为两个轴的二维图表，如下图所示。

然而，由于后者以千为单位，而前者以两位数为单位，因此图表将不成比例。为了获得相同的比例，我们需要将这些绝对值转换为一些相对值以进行比较。年龄从 20 岁到 80 岁不等，即相差 60 岁。因此，Alice 与 Lisa 的年龄距离为 (40–20)/60 = 0.33。同样，净资产的分布范围为 50 到 200，即 150。同样，Bob 的净资产距离为 (200–100)/150 = 0.67。

我们发现 Bob 的档案不再与丽莎 “相似”。为了找到复合距离，我们可以在二维图上计算它们之间的距离，例如：

Composite Distance = Square Root of (Square of (Age Distance) + Square of (Net Worth Distance))

使用该公式，我们计算与 Lisa 的复合距离。

我们可能会发现 Alice 距离 Lisa 的距离可能比 Bob 要近，而且和 Charlie 距离是最远。只需添加一个维度即可显着改变相似性。考虑添加另一个维度，例如 “孩子的数量”，使其成为 3 维图，这可能会进一步改变物体与丽莎的距离。实际上，对象有数百个属性可供比较。将所有这些都写在纸上是不可能的。但希望你能了解多维空间中两点之间的距离。距离越小，点越相似，0 表示在所有维度上完全相同。

点的属性被捕获为向量。在上面的例子中，向量的维度将是 [Age，Net Worth]；所以我们将按如下方式表示这些值。

Elasticsearch：向量数据库的真相,Elasticsearch,AI,Elastic,数据库,搜索引擎,serverless,elasticsearch,大数据,全文检索

代表 Lisa 的向量是 [40,100000]。点之间的距离通常表示为欧几里德距离，如下面二维空间的函数 d() 所示。资料来源：维基百科。

Elasticsearch：向量数据库的真相,Elasticsearch,AI,Elastic,数据库,搜索引擎,serverless,elasticsearch,大数据,全文检索

运用 Elasticsearch 作为向量数据并计算距离

在上面，我们通过一个详细的例子描述了如何把数据转换为向量，并计算向量直接的距离。事实上，如果我们通过手动的方式来计算，就显得非常麻烦。Elasticsearch 作为全球下载量最多的向量数据库，我们可以很方便地利用它来帮我们进行计算向量之间的相似性。下面，我们来通过 Elasticsearch 来实现向量之间的相似性。

首先，我们为向量的索引定义一个 mapping：

PUT my-index
{
  "mappings": {
    "properties": {
      "my_vector": {
        "type": "dense_vector",
        "dims": 2,
        "similarity": "l2_norm"
      },
      "name" : {
        "type" : "keyword"
      }
    }
  }
}

请注意，在上面，我们定义了一个叫做 dense_vector 的数据类型。这个就是我们的向量数据类型。它的维度为 2。我们可以详细参考 Elastic 官方文档来了解这个数据类型。my_vector 的相似性，我们使用 l2_norm 来定义 similarity，它表明是欧几里得距离。请详细参阅文档。

我们通过如下的命令来写入数据到 Elasticsearch：

POST my-index/_bulk?refresh=true
{ "index" : { "_id" : "1" } }
{ "name" : "Alice", "my_vector": [20,100000] }
{ "index" : { "_id" : "2" } }
{ "name" : "Bob", "my_vector": [40,200000] }
{ "index" : {"_id" : "3" } }
{ "name" : "Charlie", "my_vector": [80,50000] }

我们可以通过如下的命令来查看写入的数据：

GET my_index/_search?filter_path=**.hits

上面的命令返回的响应为：

  "hits": {
    "hits": [
      {
        "_index": "my_index",
        "_id": "1",
        "_score": 1,
        "_source": {
          "name": "Alice",
          "my_vector": [
            20,
            100000
          ]
        }
      },
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 1,
        "_source": {
          "name": "Bob",
          "my_vector": [
            40,
            200000
          ]
        }
      },
      {
        "_index": "my_index",
        "_id": "3",
        "_score": 1,
        "_source": {
          "name": "Charlie",
          "my_vector": [
            80,
            50000
          ]
        }
      }
    ]
  }
}

我们可以通过 Elasticsearch 来计算我们搜索对象 Lisa 的距离。搜索的结果将返回在我们的向量数据库中最近的向量。它们是按照距离的大小进行排序的。在上面的向量中，我们想找到一个最相近的 Lisa，而它的向量为 [40, 100000]。我们可以通过如下的方法来搜索我们的向量：

接下来，我们使用 Elasticsearch 的 knn search 端点来进行搜索：

POST my-index/_search?filter_path=**.hits
{
  "knn": {
    "field": "my_vector",
    "query_vector": [40, 100000],
    "k": 10,
    "num_candidates": 100
  }
}

上面的搜索结果是：

{
  "hits": {
    "hits": [
      {
        "_index": "my-index",
        "_id": "1",
        "_score": 0.0024937657,
        "_source": {
          "name": "Alice",
          "my_vector": [
            20,
            100000
          ]
        }
      },
      {
        "_index": "my-index",
        "_id": "3",
        "_score": 3.9999976e-10,
        "_source": {
          "name": "Charlie",
          "my_vector": [
            80,
            50000
          ]
        }
      },
      {
        "_index": "my-index",
        "_id": "2",
        "_score": 1e-10,
        "_source": {
          "name": "Bob",
          "my_vector": [
            40,
            200000
          ]
        }
      }
    ]
  }

如上所示，我们看到的结果是 Alice 排名是第一的，而紧随其后的是 Charlie。而我们之前认为的 Bob 是排在最后的一个。Bob 的距离是最远的，这个和之前的推送方法有一定的误差，比如相对计算的方法不同。

更多有关 Elasticsearch 向量搜索的内容，请详细阅读文章 “AI”。文章来源地址https://www.toymoban.com/news/detail-759531.html

到了这里，关于Elasticsearch：向量数据库的真相的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！