arXiv:2607.09415：자기 유도 테스트 시간 훈련으로 장문맥 LLM 최대 15% 향상

무작위 테스트 시간 훈련의 문제

테스트 시간 훈련（TTT）은 추론 중에 테스트 입력 자체에서 모델의 파라미터를 업데이트하는 것입니다——모델은 유사한 데이터에서 사전 훈련 없이 처리하고 있는 구체적인 문서에 일시적으로 적응합니다. 아이디어는 직관적으로 매력적입니다: 모델이 질문에 답하기 전에 문서를 「연구」한다면 더 정확해야 합니다.

문제는 무엇을 정확히 훈련할지 선택하는 것입니다. 연구자들은 무작위 텍스트 범위——긴 문서에서 무작위로 선택된 단락——에서의 TTT가 실제로 성능을 해친다는 것을 보였습니다. 모델이 무관한 정보를 흡수하고 파라미터에 노이즈를 도입하기 때문입니다. 반대로 정확히 관련된 증거를 포함하는 『oracle』 범위에서의 TTT는 크게 도움이 됩니다. 무작위와 oracle 접근법 사이의 격차가 S-TTT 방법 개발을 동기부여했습니다.

S-TTT는 어떻게 그 격차를 해소하는가?

자기 유도 테스트 시간 훈련（S-TTT）은 보조 모델 없이, 추가 파라미터 없이 문제를 해결합니다: 모델이 적응 전에 긴 문서 내의 증거 범위를 자율적으로 식별합니다. 첫 번째 단계에서 모델은 주어진 질문에 어떤 단락이 가장 관련성이 높은지 평가합니다. 두 번째 단계에서 그 선택된 범위에서만 훈련하고, 그 후에 답변을 생성합니다.

방법은 Qwen3-4B-Thinking-2507과 Llama-3.1-8B-Instruct 두 모델에서 테스트되었으며, 이는 접근법이 특수화된 모델뿐만 아니라 다양한 아키텍처에 적용 가능함을 시사합니다. 테스트 작업은 수십만 토큰 길이의 문서 이해가 필요한 LongBench-v2와 LongBench-Pro 세트에서 왔습니다.

최대 15%의 상대적 개선

연구자들은 TTT 적응 없는 기준 모델과 비교하여 LongBench-v2와 LongBench-Pro에서 최대 15%의 상대적 성능 개선을 보고합니다. 참고로: 확립된 장문맥 추론 작업에서 이 범위의 개선은 특히 모델 아키텍처나 훈련 데이터셋에 아무런 변경 없이 이루어졌다는 점에서 유의미합니다.

S-TTT 방법의 핵심 장점은 단순성입니다: 별도의 검색 모델이 필요 없고, 새로운 훈련 가능한 파라미터도 없으며, 단일 추론 기간을 넘어 모델을 수정하지 않습니다. 적응은 일시적입니다——각 새 입력마다 파라미터가 재설정되므로 쿼리 간 오류 누적이 없습니다.