基础设施
向量数据库
一种专门的数据库,存储高维向量嵌入(embedding)并通过近似最近邻算法基于语义相似度进行检索;驱动语义搜索、推荐系统以及现代 RAG 系统的核心基础设施。
向量数据库是一种用于存储和搜索高维向量的系统——这些向量通常是神经网络从文本、图像、音频或代码中产生的嵌入向量。它不再使用传统的精确匹配或关键词搜索,而是根据余弦相似度或欧氏距离等度量,返回与查询 语义相似 的条目。
技术核心是 近似最近邻(ANN) 搜索,使用 HNSW、IVF、ScaNN 或 DiskANN 等索引。如果没有 ANN,在数百万向量中查找对于交互式应用来说将慢得无法接受。
为什么它在 2024–2026 年至关重要:
- 向量数据库是 检索增强生成(RAG) 系统的基础构件——LLM 在生成回答之前,从数据库中检索相关文档
- 它们驱动语义搜索、推荐系统、重复检测以及「按语义」搜索图像
- 市场包括专门系统(Pinecone、Weaviate、Qdrant、Milvus、Chroma)以及现有数据库的扩展(PostgreSQL 的 pgvector、MongoDB 的 Atlas Vector Search、Redis Vector)
选型时的关键考量:托管 vs 自建、搜索性能 vs 成本、混合搜索(向量 + 关键词)、按元数据过滤以及对删除/更新的支持。对大多数 RAG 项目而言,pgvector 是不错的首选;当向量达到数千万规模并对延迟有严格要求时,专门的向量数据库才更划算。