Google Photos Auto Frame nutzt 3D-Modelle und Diffusion zur Bildrahmenerweiterung

Google Research stellte Auto Frame vor — eine neue Funktion in der Google Photos-App, die automatisch alternative Kompositionen vorhandener Fotos anbietet. Hinter dem einfachen Button verbirgt sich eine Kombination aus 3D-Szenenrekonstruktion und generativen Modellen.

Wie wandelt Auto Frame ein 2D-Foto in eine 3D-Szene um?

Der erste Schritt in der Pipeline ist die geometrische Rekonstruktion. ML-Modelle analysieren das 2D-Foto und schätzen daraus Tiefe, räumliche Struktur und Kameraparameter — Winkel, Brennweite und Position in der Szene. Dieser Prozess verwendet 3D-Punkt-Mapping, um für jeden Pixel seine räumliche Position zu bestimmen.

Das Ergebnis ist ein internes 3D-Modell der Szene, das dem System ermöglicht, über den Bildrahmen als virtuellen Raum nachzudenken, nicht nur als Pixelraster. Diese Darstellung ist entscheidend für den nächsten Schritt: das Ändern des Winkels, des Zooms oder das Verschieben des Rahmens über die ursprünglichen Grenzen hinaus.

Ohne 3D-Verständnis würde jede Rahmenerweiterung flach und unüberzeugend an den Übergängen zwischen Original- und generierten Inhalten wirken.

Wie werden Inhalte außerhalb des ursprünglichen Rahmens generiert?

Sobald die Szene in 3D rekonstruiert ist, muss das System Teile des Rahmens füllen, die nie aufgenommen wurden. Dafür verwendet Google latente Diffusionsmodelle — generative Technologie, die die Verteilung der visuellen Welt aus großen Bilddatensätzen lernt und glaubwürdige Inhalte basierend auf dem Kontext synthetisieren kann.

Das Diffusionsmodell füllt nicht nur die Lücke, es muss auch Perspektive, Beleuchtung und Stil des Originalfotos respektieren, damit der Übergang nicht sichtbar ist. Genau deshalb ist die Kombination aus 3D-Punkt-Mapping (für geometrische Konsistenz) und Diffusion (für fotorealistischen Inhalt) entscheidend.

Originalpixel bleiben unberührt; das System ergänzt nur die Ränder oder enthüllt Bereiche außerhalb des ursprünglichen Rahmens.

Was bedeutet das für Google Photos-Nutzer?

Nutzer erhalten alternative Kompositionen desselben Fotos, ohne manuelle Eingriffe in Photoshop oder ein ähnliches Tool. Eine einzige Aufnahme kann in mehrere Varianten resultieren — ein breiterer Rahmen, eine andere Position des Hauptmotivs, ein verändertes Seitenverhältnis.

Praktisch ist die Funktion nützlich, wenn der ursprüngliche Bildausschnitt zu nah am Motiv ist oder wenn der Nutzer das Bild für ein anderes Format anpassen möchte (zum Beispiel von 4:3 auf 16:9). Auto Frame ist in der Google Photos-App als Teil der vorhandenen Bearbeitungsoberfläche verfügbar.