Infrastruktur
Vektordatenbank
Eine spezialisierte Datenbank, die Vektor-Embeddings speichert und mittels semantischer Ähnlichkeit durchsucht — die Grundlage moderner RAG-Systeme.
Eine Vektordatenbank ist ein System zur Speicherung und Suche hochdimensionaler Vektoren — meist Embeddings, die ein neuronales Netz aus Text, Bildern, Audio oder Code erzeugt. Statt klassischer Suche nach exakter Übereinstimmung oder Schlüsselwörtern liefert eine Vektordatenbank Elemente zurück, die der Anfrage semantisch ähnlich sind, gemessen an Metriken wie Kosinusähnlichkeit oder euklidischer Distanz.
Der technische Kern ist die approximate nearest neighbor (ANN)-Suche unter Verwendung von Indizes wie HNSW, IVF, ScaNN oder DiskANN. Ohne ANN wäre die Suche unter Millionen von Vektoren zu langsam für interaktive Anwendungen.
Warum es 2024–2026 wichtig ist:
- Vektordatenbanken sind der grundlegende Baustein von Retrieval-Augmented Generation (RAG)-Systemen — ein LLM ruft relevante Dokumente aus der Datenbank ab, bevor es eine Antwort generiert
- Sie treiben semantische Suche, Empfehlungssysteme, Duplikaterkennung und „bedeutungsbasierte” Bildsuche an
- Der Markt umfasst dedizierte Systeme (Pinecone, Weaviate, Qdrant, Milvus, Chroma) und Erweiterungen bestehender Datenbanken (pgvector für PostgreSQL, Atlas Vector Search für MongoDB, Redis Vector)
Wichtige Entscheidungen bei der Auswahl: Managed vs. Self-Hosted, Suchperformance vs. Kosten, hybride Suche (Vektor + Schlüsselwörter), Filterung nach Metadaten und Unterstützung für Löschen/Aktualisieren. Für die meisten RAG-Projekte ist pgvector eine gute erste Wahl; spezialisierte Datenbanken lohnen sich bei zig Millionen Vektoren und strengen Latenzbudgets.