arXiv:2606.00914: Neprijateljski feedovi mogu preokrenuti odluke AI agenata

Novi rad na arXivu, naslova “Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults” autora Rane Muhammada Usmana, istražuje koliko sadržaj i redoslijed informacijskih feedova utječu na odlučivanje LLM agenata.

Kako je provedeno istraživanje?

Studija drži nepromijenjenima model, personu, temu i prompt odluke, a mijenja isključivo sadržaj feeda tijekom desetokružne faze “skrolanja”. Ispitivanje je obuhvatilo 2.785 rolloutova, odnosno pojedinačnih izvođenja odluke, na četiri moderna open instruct LLM modela iz tri neovisna laboratorija. Rollout je ovdje jedan potpuni prolaz agenta kroz scenarij do donošenja odluke.

Kako feed mijenja odluku?

Autori identificiraju tri režima odgovora: neprijateljsku kapitulaciju, zasićenje zadanim stavom i asimetriju u smjeru zadanog stava. Ključni nalaz jest asimetrija: jednostrani feed može pomaknuti odluku oko koje je model genuino nesiguran, u najjasnijim slučajevima s 5% na 100%, ali ne može pomaknuti odluku koju model već zastupa ili drži čvrsto. Statistička značajnost efekta dosegla je razine snažne kao p = 3 × 10⁻¹⁰.

Što je praktična kontrolna površina?

Autori opisuju rangere informacija kao “praktičnu, zadano-ograničenu kontrolnu površinu za LLM agente”. Kontrolna površina je sloj sustava preko kojeg se može oblikovati ponašanje agenta. Budući da preporučni sustavi odlučuju koje informacije agent uopće vidi i u kojem redoslijedu, oni postaju moćna poluga utjecaja, ali samo unutar granica koje postavlja zadana sklonost modela.

Što ovo znači za sigurnost?

Glavna implikacija jest da se sigurnosne evaluacije ne smiju ograničiti na ispitivanje finalnog prompta u izolaciji. Potrebno je revidirati i sloj rangiranja informacija, jer upravo on može usmjeriti agenta prije nego dođe do same odluke. Efekt je preživio zamjenu generatora, generalizirao se kroz različite domene odlučivanja, uključujući sigurnosno relevantne izbore, te se pokazao djelomično ublaživim jednostavnim obranama.