Google DeepMind: AI Pointer로 Gemini가 Chrome과 Googlebook에서 마우스 명령을 처리

Google DeepMind는 2026년 5월 12일 AI Pointer를 발표했습니다. Gemini 모델로 구동되는 실험적 마우스 포인터로, 사용자가 상세한 프롬프트를 입력하지 않고도 화면의 객체를 가리키며 짧은 명령을 말할 수 있습니다. 이 기능은 Chrome에서 즉시 사용 가능하며, Googlebook 노트북의 Magic Pointer는 “곧” 출시될 예정입니다.

AI Pointer는 컴퓨터와의 상호작용을 어떻게 바꿉니까?

AI Pointer는 커서 위치 주변의 시각적·의미론적 컨텍스트를 읽어 음성 명령과 결합합니다. “이 이미지를 가져와서 배경을 제거하고 왼쪽 빈 공간에 배치해”라고 입력하는 대신, 사용자는 이미지를 가리키며 “Fix this” 또는 “Move that”이라고 말하면 됩니다. Gemini는 포인터 위치를 지시적 제스처로 해석합니다——텍스트 설명 없이 모호함을 해소하는 가리키기입니다.

Chrome 버전에서는 이커머스 시나리오도 지원합니다: “페이지에서 몇 가지 제품을 선택하고 비교를 요청”하거나 “새 소파를 놓을 위치를 가리키면” 됩니다. 모든 작업이 웹 페이지 내에서 직접 실행되며, 별도의 앱이나 탭으로 전환할 필요가 없습니다.

Googlebook 노트북에서는 무엇이 제공됩니까?

Magic Pointer는 Google이 곧 출시할 Googlebook에 깊이 통합된 구현입니다. DeepMind는 “워크플로 중단 없이” 여러 앱에 걸쳐 원활한 AI 지원을 목표로 합니다——이는 브라우저 플러그인이 아닌 시스템 수준 접근을 시사합니다.

두 가지 실험적 데모 앱이 이미 Google AI Studio에서 사용 가능합니다: 이미지 편집 도구와 지도 기반 위치 찾기 도구. 두 앱 모두 “가리키고 말하기” 패턴을 따르며, Gemini API를 사용해 자체 애플리케이션에서 시각적 컨텍스트와 음성 명령을 연결하는 방법을 탐구하려는 개발자를 위한 플레이그라운드 역할을 합니다.

더 넓은 AI 생태계에서의 위치

AI Pointer는 2026년 대규모 언어 모델을 중심으로 기존 UI 요소를 재편하는 제품의 물결을 따릅니다——Google 검색의 Google AI Mode, Windows의 Microsoft Copilot, Claude API의 Anthropic Computer Use. 마우스 포인터는 지금까지 “무감각”했고 모든 앱에서 동일하게 동작했습니다. DeepMind는 이를 커서 아래의 콘텐츠를 이해하는 상황 인식 입력 장치로 변환하고 있습니다.