arXiv:2606.07929: 의료 LLM 스트레스 테스트가 숨겨진 안전성 병리를 드러내다

arXiv는 2026년 6월 6일 AI-MASLD를 도입하는 논문(식별자 arXiv:2606.07929, 버전 v1)을 공개했다. 이는 임상(의료) 대규모 언어 모델을 평가하기 위한 스트레스 감사 프레임워크다. 이 프레임워크는 간장학(간을 다루는 의학 분야)의 대사 스트레스 테스트에서 빌려왔으며, 표준 테스트로는 보이지 않는 안전성의 약점을 드러낸다.

AI-MASLD란 무엇이며 어디에서 왔는가?

AI-MASLD는 의료 모델을 이상적인 조건에서만 측정하는 것이 아니라 통제된 “스트레스”에 노출시키는 방법론적 프레임워크다. 그 발상은 간장학에서 가져온 것으로, 그곳에서는 대사 스트레스 테스트가 안정 상태에서는 보이지 않는 숨겨진 장애를 발견하는 데 쓰인다.

대규모 언어 모델(LLM)로 옮겨도 논리는 같다. 표준 테스트에서 믿을 만해 보이는 모델도 조건이 바뀌면 무너질 수 있다. 그래서 이 프레임워크는 단순한 정확도 척도가 아니라 감사로 설계되었다.

실험은 어떻게 수행되었는가?

저자들은 240개의 임상 사례에서 7개 모델을 검증했다. 각 사례는 6개의 서사적 섭동 프로브를 거쳤는데, 이는 의학적 사실 자체는 바꾸지 않으면서 임상적 이야기를 전달하는 방식을 변형하는 것이다.

결과는 metabolic index, perturbation flip rate(섭동에 의한 반전율), counterfactual fairness index(반사실적 공정성 지수)의 세 지표로 측정되었다. 이 지표들은 입력이 미묘하게 재구성될 때 모델이 얼마나 안정적이고 공정한지를 함께 기술한다.

서사적 스트레스 아래에서 무슨 일이 일어나는가?

핵심 패턴은 명확하다. 모든 모델은 베이스라인(baseline) 조건에서 동등하게 우수하지만, 서사적 스트레스 아래에서 크게 갈라진다. 다시 말해, 모델 간의 차이는 부하를 주기 전까지는 보이지 않는다.

특히 우려되는 발견은 양자화 모델(자원 절약을 위해 정밀도를 낮춘 모델)이 숨겨진 기능 저하를 보인다는 점이다. 이 저하는 표준 측정으로는 드러나지 않으므로, 모델이 비표준적으로 표현된 사례를 만나기 전까지는 알아채지 못할 수 있다.

의료용 파인튜닝은 해로운가?

이 논문의 가장 중요한 결론 중 하나는 의료용 파인튜닝이 안정성과 공정성을 체계적으로 저하시킨다는 것이다. 신뢰성을 높여야 할 도메인 적응이 이 측정에 따르면 실제로는 서사적 스트레스에 대한 저항성을 낮춘다.

이는 직관에 반하지만 안전성 측면에서 의미 있는 발견이다. 모델을 임상 용도로 특화하는 것 자체가 안전의 보장이 되지 않으며, AI-MASLD 같은 추가 감사가 필요함을 경고한다.

가장 좋은 결과를 보인 모델은 무엇인가?

논문은 고무적인 결과도 제시한다. 한 오픈웨이트 모델(가중치가 공개된 모델)이 모든 안전성 차원에서 독점적 대안과 같거나 그를 능가하는 것이다. 이를 통해 오픈 모델이 까다롭고 안전에 민감한 임상 시나리오에서도 경쟁력을 가질 수 있음이 드러난다.

모델별 구체적 수치는 요약이 아니라 전체 34쪽 논문에 있다. 저자들은 이 프레임워크의 목적이 모델이 실제 임상 응용에 이르기 전에 약점을 발견하는 것이라고 강조한다.