Google DeepMind: AI Pointer bringt Gemini-gesteuerte Mausbefehle in Chrome und Googlebook

Google DeepMind stellte am 12. Mai 2026 AI Pointer vor — einen experimentellen, Gemini-gesteuerten Mauszeiger, der Nutzern ermöglicht, auf ein Bildschirmelement zu zeigen und einen kurzen Befehl auszusprechen, statt einen detaillierten Prompt einzutippen. Der Feature ist in Chrome sofort verfügbar; Magic Pointer für das neue Googlebook-Laptop kommt „bald.”

Wie verändert AI Pointer die Mensch-Computer-Interaktion?

AI Pointer liest den visuellen und semantischen Kontext um die Cursor-Position und kombiniert ihn mit einem Sprachbefehl. Statt „Nimm dieses Bild, entferne den Hintergrund und platziere es im leeren Bereich links” zu tippen, kann ein Nutzer auf das Bild zeigen und „Fix this” oder „Move that” sagen. Gemini interpretiert die Zeiger-Position als deiktische Geste — ein Zeigen, das Mehrdeutigkeit ohne Texterklärung auflöst.

In der Chrome-Version deckt der Feature auch E-Commerce-Szenarien ab: „Wähle einige Produkte auf einer Seite aus und bitte um Vergleich” oder „Zeige, wo du ein neues Sofa visualisieren möchtest” — direkt auf der Webseite, ohne Inhalte in separate Anwendungen zu wechseln.

Was kommt mit dem Googlebook-Laptop?

Magic Pointer ist die tief integrierte Googlebook-Implementierung, die Google bald auf den Markt bringen möchte. DeepMind zielt auf nahtlose KI-Assistenz über mehrere Anwendungen hinweg „without workflow interruption” — was auf Systemzugang hindeutet, nicht nur ein Browser-Plugin.

Zwei experimentelle Demo-Apps sind bereits in Google AI Studio verfügbar: ein Bildbearbeitungstool und eine kartenbasierte Standortsuche. Beide teilen das „Zeigen und Sprechen”-Muster und dienen als Playground für Entwickler, die erkunden möchten, wie die Gemini API visuellen Kontext und Sprachbefehle in eigenen Anwendungen verbindet.

Einordnung im KI-Ökosystem

AI Pointer folgt einer Welle von 2026er Produkten, die klassische UI-Elemente rund um große Sprachmodelle neu gestalten — Google AI Mode in der Suche, Microsoft Copilot in Windows, Anthropic Computer Use im Claude-API. Der Mauszeiger war bisher zustandslos und verhielt sich in jeder Anwendung identisch; DeepMind wandelt ihn in ein kontextbewusstes Eingabegerät um, das den Inhalt unter dem Cursor versteht.