arXiv:2607.15267: 포럼을 통한 계산 선전으로 언어 모델 사전학습 데이터 오염시키기

이번 새 연구는 데이터 오염에 관해 무엇을 밝혀냈는가?

앨런인공지능연구소(Allen Institute for AI)와 워싱턴 대학교 인근의 연구팀 — Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo — 은 사전학습 데이터(pretraining data, 어떤 미세조정 이전에 언어 모델이 학습하는 텍스트 코퍼스)가 포럼과 댓글 섹션 같은 공개 토론 인터페이스를 통한 오염에 취약하다는 것을 보여줍니다. 이는 사이트 소유자가 아닌 제3자가 작성한 콘텐츠인 “제3자 웹페이지 콘텐츠”에 관한 것으로, 지금까지 공격 경로로서 체계적으로 연구된 적이 없었습니다.

HalfLife 방법

다섯 명의 저자는 주입된 악성 텍스트가 최종 사전학습 데이터셋에 들어가기 전에 웹 크롤링과 데이터 큐레이션(수집된 데이터를 필터링하고 정제하는 과정)의 전체 사슬을 견뎌내는지 측정하는 분석 방법인 HalfLife를 도입합니다. 최종 결과만 관찰하는 대신, HalfLife는 원본 크롤링부터 중복 제거, 품질 필터링에 이르기까지 각 처리 단계를 거치는 콘텐츠를 추적합니다.

포럼과 위키피디아 — 차이는 어디에 있는가?

위키피디아와 유사한 통제된 출처는 게시 전에 편집 검토와 검수를 거치므로 악성 텍스트를 삽입하기가 더 어렵고 더 빨리 발견됩니다. 포럼 댓글에는 이러한 통제 계층이 없습니다. 누구나 텍스트를 게시할 수 있고, 그 후 크롤러가 저자나 의도를 확인하지 않은 채 페이지의 나머지 부분과 함께 이를 수집합니다.

이것이 언어 모델 안전성에 왜 중요한가

지금까지의 데이터 오염 연구는 주로 통제되거나 반자동화된 출처에 초점을 맞춰왔습니다. 이 연구는 초점을 “계산 선전”(computational propaganda) — 조작을 목적으로 조율되고 소프트웨어의 도움을 받는 콘텐츠 확산 — 으로 옮기며, 댓글 작성자를 걸러낼 중개자 없이 개방된 웹에서 직접 학습하는 모델에 독을 주입하는 현실적인 경로로 제시합니다.