Text-to-SQL 벤치마크 연구: 4KB 시맨틱 레이어가 정확도 17~23퍼센트 포인트 향상, 모델 선택이 결정적 요소 아니다

Michael Rumiantsau와 Ivan Fokeev는 2026년 4월 28일 신뢰할 수 있는 LLM 기반 데이터 분석을 위한 시맨틱 레이어: 세 가지 프런티어 모델에 걸친 정확도와 환각의 대조 벤치마크 ArXiv 프리프린트를 발표했습니다. 연구는 단순하지만 강력한 질문을 던집니다: text-to-SQL 정확도에서 모델은 얼마나 ‘중요’하고, 맥락(시맨틱 레이어)은 얼마나 중요합니까?

실험 설정

저자들은 세 가지 프런티어 모델을 테스트합니다: Claude Opus 4.7, Claude Sonnet 4.6, GPT-5.4. 벤치마크는 100개의 자연어 질문으로 구성되며, ClickHouse의 Cleaned Contoso 소매 데이터셋 위에서 SQL 쿼리로 변환됩니다. 각 모델은 두 번 실행됩니다: 한 번은 시맨틱 레이어 없이, 한 번은 데이터셋의 “지표·규약·모호성 해소 규칙”을 설명하는 4KB 마크다운 문서와 함께.

결과

결과는 놀랍도록 명확합니다:

• 시맨틱 레이어 없음: 세 모델 모두 45.5%~50.5% 정확도
• 시맨틱 레이어 있음: 세 모델 모두 67.7%~68.7% 정확도
• 향상 폭: +17~+23 퍼센트 포인트

두 조건 각각에서 모델은 통계적으로 구별 불가능합니다. 다시 말해, 동일한 맥락을 사용한다면 Opus 4.7은 Sonnet 4.6이나 GPT-5.4보다 통계적으로 유의미하게 우수하지 않습니다.

핵심 메시지

저자 인용: “시맨틱 레이어 문서의 존재가 사실상 모든 유의미한 분산을 설명한다; 동일 티어 내 모델 선택은 중요하지 않다.”

엔터프라이즈 실무에 있어 메시지는 명확합니다: 동일 티어 내 더 좋은 프런티어 모델은 더 나은 데이터셋 문서화를 대체할 수 없습니다. 지표 정의·명명 규약·동음이의어 해소 규칙이 담긴 4KB 마크다운이 17~23 퍼센트 포인트를 제공합니다——이는 동일 티어 내 어떤 모델 업그레이드보다 유의미합니다.