LangChain教程 - 支持的向量数据库列举

本地部署：FAISS、Chroma、Milvus 适合需要在本地进行开发和测试的项目。云托管解决方案：Pinecone、Weaviate、Zilliz Cloud 等适合需要高可用性和大规模分布式部署的应用。实时应用：Redis 通过其低延迟的特性，适合需要快速响应的应用场景。根据你的需求选择合适的向量数据库，与 LangChain 集成构建高效的检索增强生成系统。

花千树-010

1381人浏览 · 2024-09-22 14:25:21

花千树-010 · 2024-09-22 14:25:21 发布

系列文章索引
LangChain教程 - 系列文章

向量数据库是现代自然语言处理应用中不可或缺的组件，它们可以高效地存储、索引和检索嵌入向量，支持大规模的相似性搜索任务。LangChain 是一个强大的框架，允许开发者轻松将大型语言模型与向量数据库结合，构建智能问答系统、推荐系统和检索增强生成（RAG）应用。

在本教程中，我们将详细介绍 LangChain 支持的 10 多种向量数据库，包括它们的优缺点及适用场景，帮助你选择最适合的数据库来支持你的应用。

1. FAISS (Facebook AI Similarity Search)

优点：

高效且开源。
支持 CPU 和 GPU 加速。
适用于本地部署和研究项目。

缺点：

缺乏内置的持久化存储功能。
不适合大规模分布式部署。

适用场景：
FAISS 适用于需要在本地快速处理大规模嵌入数据的项目，尤其是研究和开发环境。它对小规模的 RAG 系统非常理想。

FAISS 代码示例

pip install faiss-cpu

from langchain.vectorstores import FAISS
from langchain.embeddings.openai import OpenAIEmbeddings

embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = FAISS.from_texts(texts, embedding_model)
docs = vectorstore.similarity_search("这是查询")
print(docs)

2. Pinecone

优点：

云托管服务，支持自动扩展。
高效处理大规模向量数据，支持实时查询。

缺点：

云服务依赖网络。
成本相对较高。

适用场景：
Pinecone 非常适合需要云端扩展、高可用性和持久存储的大规模应用，如实时推荐系统和语义搜索系统。

Pinecone 代码示例

pip install pinecone-client

import pinecone
from langchain.vectorstores import Pinecone
from langchain.embeddings.openai import OpenAIEmbeddings

pinecone.init(api_key="your-pinecone-api-key", environment="us-west1-gcp")
index_name = "example-index"
pinecone.create_index(index_name, dimension=1536)
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Pinecone.from_texts(texts, embedding_model, index_name=index_name)
docs = vectorstore.similarity_search("这是查询")
print(docs)

3. Weaviate

优点：

开源并支持知识图谱集成。
支持基于向量和属性的混合搜索。
支持多种嵌入模型。

缺点：

需要较复杂的配置。
对初学者来说学习成本较高。

适用场景：
Weaviate 适用于需要语义搜索、知识图谱功能的高级应用，例如构建复杂的企业知识管理系统。

Weaviate 代码示例

pip install weaviate-client

import weaviate
from langchain.vectorstores import Weaviate
from langchain.embeddings.openai import OpenAIEmbeddings

client = weaviate.Client("http://localhost:8080")
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Weaviate(client, embedding_model)
docs = vectorstore.similarity_search("这是查询")
print(docs)

4. Chroma

优点：

开源且轻量级，易于本地部署。
专门为检索增强生成 (RAG) 应用设计。

缺点：

目前功能较为基础。
缺乏大规模分布式支持。

适用场景：
Chroma 适合用于开发和测试阶段的小型项目或个人应用。它的轻量化使其在开发环境中快速迭代十分便利。

Chroma 代码示例

pip install chromadb

from langchain.vectorstores import Chroma
from langchain.embeddings.openai import OpenAIEmbeddings

embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Chroma.from_texts(texts, embedding_model)
docs = vectorstore.similarity_search("这是查询")
print(docs)

5. Milvus

优点：

开源并且支持 GPU 加速。
能处理大规模数据，适合工业应用。

缺点：

需要额外的基础设施配置。
初期设置和管理较为复杂。

适用场景：
Milvus 适合大规模工业级别的向量检索任务，尤其是需要处理海量数据和高并发请求的企业级应用。

Milvus 代码示例

pip install pymilvus

from pymilvus import connections, FieldSchema, CollectionSchema, DataType, Collection
from langchain_community.vectorstores import Milvus
from langchain_community.embeddings import OpenAIEmbeddings

connections.connect("default", host="localhost", port="19530")
fields = [
    FieldSchema(name="id", dtype=DataType.INT64, is_primary=True),
    FieldSchema(name="vector", dtype=DataType.FLOAT_VECTOR, dim=1536)
]
schema = CollectionSchema(fields)
collection = Collection(name="example_collection", schema=schema)
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
embeddings = embedding_model.embed_documents(texts)
ids = list(range(1, len(texts) + 1))
collection.insert([ids, embeddings])
collection.flush()
query = "这是查询"
query_embedding = embedding_model.embed_query(query)
vectorstore = Milvus(collection, embedding_model)
docs = vectorstore.similarity_search(query)
print(docs)

6. Qdrant

优点：

开源且实时，支持高效的向量检索。
提供托管服务和本地部署选项。

缺点：

功能相对其他数据库稍显基础。

适用场景：
Qdrant 适合实时语义搜索应用，如推荐系统和智能聊天机器人，尤其是需要快速响应的场景。

Qdrant 代码示例

pip install qdrant-client

from qdrant_client import QdrantClient
from langchain.vectorstores import Qdrant
from langchain.embeddings.openai import OpenAIEmbeddings

client = QdrantClient(url="http://localhost:6333")
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Qdrant.from_texts(texts, embedding_model, client)
docs = vectorstore.similarity_search("这是查询")
print(docs)

7. ElasticSearch

优点：

广泛应用的全文搜索引擎，支持向量检索。
与其他 Elastic 产品高度集成。

缺点：

性能在大规模向量检索时可能有所限制。
需要一定的学习成本。

适用场景：
ElasticSearch 非常适合那些已经依赖全文检索并且希望引入向量搜索功能的应用，如内容管理系统、电子商务平台等。

ElasticSearch 代码示例

pip install elasticsearch

from elasticsearch import Elasticsearch
from langchain.vectorstores import ElasticSearch
from langchain.embeddings.openai import OpenAIEmbeddings

client = Elasticsearch("http://localhost:9200")
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = ElasticSearch(client, embedding_model, index_name="example_index")
docs = vectorstore.similarity_search("这是查询")
print(docs)

8. Azure Cognitive Search

优点：

由 Microsoft Azure 提供托管服务，支持扩展和全球可用性。
与 Azure 生态系统集成紧密，适合企业使用。

缺点：

依赖 Azure 云服务，成本较高。
针对小型项目可能显得过于复杂。

适用场景：
Azure Cognitive Search 适合大型企业和需要高度集成 Azure 服务的应用，尤其是需要全球可用性和高可扩展性的情况。

Azure Cognitive Search 代码示例

from langchain.vectorstores import AzureCognitiveSearch
from langchain.embeddings.openai import OpenAIEmbeddings

service_name = "your_service_name"
index_name = "your_index_name"
api_key = "your_api_key"
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = AzureCognitiveSearch.from_texts(texts, embedding_model, service_name, index_name, api_key)
docs = vectorstore.similarity_search("这是查询")
print(docs)

9. Redis with RediSearch

优点：

内存数据库，提供快速的实时搜索。
低延迟

，适用于高性能应用。

缺点：

数据存储在内存中，适合处理的数据量受内存大小限制。
需要安装 RediSearch 模块。

适用场景：
Redis 非常适合需要低延迟和高性能的实时应用，如实时推荐系统和会话管理系统。

Redis 代码示例

pip install redis

import redis
from langchain.vectorstores import Redis
from langchain.embeddings.openai import OpenAIEmbeddings

client = redis.Redis(host="localhost", port=6379)
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Redis.from_texts(texts, embedding_model, redis_url="redis://localhost:6379")
docs = vectorstore.similarity_search("这是查询")
print(docs)

10. Zilliz Cloud

优点：

基于 Milvus 的托管服务，具有企业级扩展能力。
云端解决方案，支持大规模数据处理。

缺点：

依赖云服务，可能带来网络延迟。

适用场景：
Zilliz Cloud 适合企业级别的大规模向量检索应用，特别是那些需要快速上线并希望减少基础设施管理的项目。

Zilliz Cloud 代码示例

pip install pymilvus

from pymilvus import connections
from langchain.vectorstores import Zilliz
from langchain.embeddings.openai import OpenAIEmbeddings

connections.connect("default", uri="your_zilliz_cloud_uri")
embedding_model = OpenAIEmbeddings()
texts = ["这是一个例子", "另一个例子"]
vectorstore = Zilliz.from_texts(texts, embedding_model)
docs = vectorstore.similarity_search("这是查询")
print(docs)