AWS: AgentCore Browser dobiva OS-level akcije — 8 novih primitivki

Što je AWS objavio?

Amazon Web Services je 5. svibnja predstavio OS Level Actions za Amazon Bedrock AgentCore Browser, novu sposobnost koja agentima omogućuje izlazak izvan granica DOM-a i interakciju s nativnim sučeljem operativnog sustava. Funkcionalnost je dostupna svim korisnicima AgentCore Browsera bez dodatne konfiguracije.

DOM (Document Object Model) je strukturirana reprezentacija HTML stranice koju preglednik nudi automatizacijskim alatima poput Playwrighta.

Zašto je ovo važno za agente?

Dosad su agenti mogli upravljati samo HTML elementima kroz Playwright. Kada bi se pojavio sistemski dijalog — print prozor, certifikat ili sigurnosni prompt — agent bi efektivno “stao”. Mogao ga je vidjeti na screenshotu, ali nije imao mehanizam da klikne nešto što ne pripada DOM-u.

Novi set akcija premošćuje upravo taj jaz, otvarajući agentima radne tijekove koji prelaze granicu preglednika.

Koje primitivke uvodi novi set?

Osam akcija pokriva tipkovnicu, miš i screenshot:

• mouseClick, mouseMove, mouseDrag, mouseScroll za pokazivačke geste
• keyType, keyPress, keyShortcut za unos teksta i kombinacije tipki
• screenshot koji snima cijeli OS desktop (ne samo viewport preglednika)

Snimak desktopa ključan je za agente — daje im potpunu sliku stanja stroja.

Kako izgleda obrazac rada?

Uzorak je action-screenshot-reaction petlja: agent šalje akciju, AgentCore je izvodi nad operativnim sustavom, agent traži screenshot, vision model analizira novo stanje, a zatim odlučuje sljedeću akciju. Ciklus se ponavlja dok zadatak ne završi.

Ovaj pristup tretira računalo kao stanje koje se opaža i mijenja, sličan obrazac kakvim računalo koristi i čovjek.