OpenAI: 장기 지속형(long-horizon) AI 모델 안전성에서 얻은 교훈과 새로운 보호 조치

long-horizon AI 모델이란 무엇인가?

long-horizon 모델은 단일 요청에 응답하고 상호작용을 끝내는 기존 모델과 달리, 더 긴 기간에 걸쳐 자율적으로 작업을 수행하도록 설계된 AI 시스템입니다. OpenAI는 이러한 모델의 실제 활용에서 얻은 교훈을 개괄적으로 공개했습니다.

새로운 안전 위험과 확인된 결함

OpenAI는 에이전트의 자율성이 길어질수록 단기 작업에서는 나타나지 않는 안전 위험이 발생한다고 지적합니다—작업이 길어질수록 원하는 행동에서 벗어날 여지도 커집니다. 이 회사는 이러한 모델의 실제 운영 중 관찰된 구체적인 결함(failures)을 언급했지만, 공개된 요약본에는 상세한 수치가 제시되어 있지 않습니다.

출처에는 결함 발생 빈도에 관한 수치가 나와 있지 않지만, 논리는 명확합니다. 더 오래 작동하는 모델은 한 번 응답하고 멈추는 모델보다 오류가 누적될 기회가 더 많습니다.

작업 길이에 비례해 강화되는 보호 조치

이에 대응해 OpenAI는 강화된 보호 조치(safeguards)—모델이 장시간 자율적으로 행동하는 동안 유해한 행동을 방지하는 감시 및 제한 메커니즘—를 제시합니다. 단기 작업과의 비교에서 하나의 패턴이 드러납니다. 위험은 자율성의 시간 범위에 비례해 커지며, 따라서 보호 조치 또한 그에 비례해 강화되어야 한다는 것입니다.

참고: OpenAI의 이번 발표 전문은 현재 확인할 수 없어, 본 기사는 공식 요약본에서 확인된 내용만을 다룹니다.