Google gibt GA von gemini-embedding-2 bekannt: Erstes multimodales Embedding-Modell mit 5 Modalitäten in einem Raum

Google hat die allgemeine Verfügbarkeit von gemini-embedding-2 bekanntgegeben, dem ersten multimodalen Embedding-Modell, das fünf Modalitäten in einen einheitlichen Vektorraum abbildet: Text, Bilder, Video, Audio und PDF-Dokumente. Das Modell befand sich seit dem 10. März 2026 in der Preview-Phase und ist nun für alle über die Gemini API verfügbar.

Die Ankündigung markierte einen wichtigen Meilenstein bei Embedding-Modellen, da die bisherige Arbeit hauptsächlich Text oder Text-Bild-Paare abdeckte. Nur sehr wenige Modelle haben Audio und Video konsistent abgedeckt, und PDF als erstklassige Modalität ist nahezu Neuland.

Was ist ein Embedding und warum ist es wichtig?

Ein Embedding ist eine numerische Darstellung einer Eingabe in Vektorform — eine Reihe von Zahlen, die die Bedeutung des Inhalts beschreiben. Embeddings werden für semantische Suche, RAG-Systeme (Retrieval-Augmented Generation), Klassifizierung, Duplikaterkennung und Empfehlungen verwendet.

Der Kerngedanke ist, dass ähnliche Eingaben im Vektorraum nahe beieinander liegen. Bisher war das hauptsächlich Text zu Text oder Bild zu Bild. Ein multimodales Embedding in einem einheitlichen Raum bedeutet, dass die Textanfrage „springende Katze” ein Foto einer Katze, einen Videoclip einer Katze und eine Audioaufnahme des Miauens finden kann — alles ohne spezielle Konvertierung.

Welche Eingaben werden unterstützt?

Das Modell unterstützt fünf Arten von Eingaben:

• Text — die klassische Embedding-Quelle, typischerweise für Suche und RAG
• Bilder — Fotos, Screenshots, Grafiken
• Video — kurze Clips oder längere Aufnahmen
• Audio — Sprache, Musik, Klangereignisse
• PDF — vollständige Dokumente mit einer Mischung aus Text, Bildern und Tabellen

Die Tatsache, dass PDF eine erstklassige Modalität ist, bedeutet, dass Nutzer nicht manuell Text und Bilder aus Dokumenten extrahieren müssen. Das Modell erledigt das intern und produziert einen einzigen Vektor, der das gesamte Dokument beschreibt.

Was sind die praktischen Anwendungen?

Die offensichtlichste Anwendung ist die erweiterte semantische Suche über heterogene Inhalte. Eine Organisation mit einer Mischung aus Dokumenten, Bildern und Meeting-Aufnahmen kann alles in denselben Vektorindex indizieren und beliebige Medien mit beliebigen Anfragen durchsuchen.

Für Entwickler und Unternehmen, die RAG-Anwendungen erstellen, vereinfacht multimodales Embedding die Architektur. Statt einer Pipeline, die Text aus einem PDF extrahiert, Bilder durch ein separates Modell und Audio durch ein drittes schickt, kann alles durch einen einzigen API-Aufruf gehen.

Es sei darauf hingewiesen, dass ein GA-Release nicht automatisch bedeutet, dass das Modell für jeden Anwendungsfall perfekt ist — die Genauigkeit hängt von konkreten Daten und Domänen ab. Es wird empfohlen, das Modell mit eigenen Datensätzen zu testen, bevor eine gesamte Produktions-Pipeline migriert wird.