AWS uvodi rDPO — selektivno zaboravljanje za Amazon Nova modele

Svaki veliki jezični model nosi u sebi obrasce ponašanja koji su nužni za sigurnu, etičnu primjenu — ali ponekad ti isti obrasci blokiraju legitimne poslovne slučajeve. Sigurnosni analitičar koji mora razraditi phishing kampanju ili medicinski stručnjak koji pristupa kliničkim podacima redovito se suočava s upravo tim problemom. Amazon Web Services objavio je rješenje: Reverse Direct Preference Optimization (rDPO), tehnika selektivnog zaboravljanja namijenjena Amazon Nova modelima.

Zašto klasični pristup nije dovoljan?

Standardni fine-tuning cijelog modela skup je, dugotrajan i riskantan: svaka nova konfiguracija zahtijeva puno re-treniranje, a pogrešno pripremljeni podaci mogu trajno narušiti korisnost modela. Dosadašnji pokušaji odučavanja (machine unlearning) uglavnom su se temeljili na Negative Preference Optimization (NPO) — pristupu koji samo potiskuje neželjeno ponašanje bez aktivnog vođenja modela prema kvalitetnim alternativama. Rezultat je bio nepouzdan: model bi izbjegavao temu, ali bez jamstva da ostaje koristan u istom području.

Kako rDPO funkcionira

rDPO okreće temeljni DPO cilj naopačke. Umjesto da definira isključivo što je loše i potiskuje to, istovremeno vodi model prema visokokvalitetnim odgovorima u ciljanoj domeni i potiskuje neželjene obrasce — kao da se paralelno otvara nova staza i zatvara stara.

Implementacija se temelji na LoRA adapterima (Low-Rank Adaptation): laki dodaci treniraju se zasebno i primjenjuju na zamrznuti bazni model. Nema punog re-treniranja. Prilagođene varijante modela identificiraju se jedinstvenim Amazon Resource Names (ARN-ovima) unutar Bedrockа, a pristup se ostvaruje standardnim Converse API pozivima — što znači da se integracija u postojeći sustav svodi na zamjenu jednog parametra. rDPO dostiže trenažnu točnost blizu 100% već u koraku 30, što je dramatičan napredak u odnosu na NPO koji ne konvergira s jednakom pouzdanošću.

Mjerljivi rezultati po RAI stupu

AWS mjeri uspješnost kroz četiri RAI (Responsible AI) stupa i za svaki bilježi pad stope neželjenog odbijanja (deflection rate). Svaki stup dobiva zasebni LoRA adapter koji se može selektivno aktivirati neovisno o ostalima:

• Safety (opasne aktivnosti, oružje, kontrolirane supstance): pad s 86,51% na 32,77% — smanjenje od 53,74 postotnih bodova
• Security (malware, zlonamjeran sadržaj): pad s 91,61% na 45,73% — smanjenje od 45,88 pp
• Sensitive Content (vulgarnosti, golotinja, uznemirujući sadržaj): pad s 79,02% na 33,58% — smanjenje od 45,44 pp
• Fairness (pristranost, kulturološka osjetljivost): pad s 51,84% na 23,83% — smanjenje od 28,01 pp

Granularnost je ključna prednost ovog dizajna: organizacija može aktivirati isključivo Safety adapter koji dopušta analizu prijetnji sigurnosnom timu, bez ikakvog utjecaja na Sensitive Content ili Fairness filtere koji ostaju netaknuti.

Korisnost ostaje gotovo nepromijenjena

Kritičan argument za praktičnu primjenu jest zanemariv pad standardnih benchmark rezultata nakon primjene adaptera:

• Instruction Following: s 94,12% na 92,57% — pad od svega −1,55 pp
• Math Mini: s 86,40% na 85,20% — pad od −1,20 pp
• MBXP Python (kodiranje): s 74,80% na 73,00% — pad od −1,80 pp

Ovi rezultati potvrđuju da rDPO kirurški uklanja ciljana ponašanja, dok ostatak modela funkcionira gotovo identično kao bazna verzija. Kompromis između prilagodbe i korisnosti ostaje izuzetno povoljan.

Primjene u poslovnom okruženju

Amazon identificira četiri ključna scenarija koji ilustriraju poslovnu vrijednost:

Kibernetička sigurnost: Timovi koji generiraju phishing simulacije za obuku zaposlenika ili analiziraju stvarne napade trebaju model koji razumije metode prijetnji — no zadani sigurnosni filtri upravo takve upite tretiraju kao opasne i odbijaju ih bez konteksta.

Medicina i kliničke primjene: Klinički sadržaj — doze lijekova, opisi simptoma, kirurški postupci — nužan je u medicinskom kontekstu, ali zadane sigurnosne postavke ga tretiraju kao osjetljiv materijal i blokiraju odgovore koji bi liječnicima bili svakodnevno potrebni.

Mediji i pravna struka: Novinski arhivi, forenzički materijal i pravni spisi redovito sadržavaju sadržaj koji bi standardni model odbio analizirati, a profesionalni kontekst zahtijeva upravo takvu analizu bez obzira na oblike koji aktiviraju zadane filtere.

Regulatorno usklađivanje: Poduzeća koja moraju nadzirati vlastite AI sustave mogu kreirati revizorske varijante s precizno definiranim opsegom ponašanja — bez punog re-treniranja za svaku promjenu interne politike.

rDPO nije univerzalno rješenje za sve izazove enterprise prilagodbe, ali za organizacije kojima treba precizna kontrola nad specifičnim domenama ponašanja bez troška i rizika punog re-treniranja, pruža konkretnu i izmjerenu opciju — dostupnu odmah putem Amazon Bedrockа.