Google Research: Vantage — AI 아바타와의 대화를 통해 비판적 사고와 창의성을 평가하는 AI 플랫폼

Google Research와 뉴욕대학교(NYU)가 생성형 AI를 활용하여 전통적으로 객관적 측정이 거의 불가능했던 역량 — 비판적 사고, 협업 능력, 창의성 — 을 평가하는 혁신적인 플랫폼 Vantage를 개발했습니다.

Vantage의 작동 방식

시스템은 학습자를 토론 준비나 창의적 피칭과 같은 협업 과제를 시뮬레이션하는 AI 아바타와의 동적 대화에 배치합니다. 두 가지 핵심 AI 컴포넌트가 평가를 수행합니다:

Executive LLM은 교육학적 루브릭을 사용하여 아바타의 응답을 유도하고, 아이디어에 대한 이의 제기나 모의 갈등 상황 도입과 같은 목표 지향적 도전을 제시합니다 — 학습자가 자신의 역량을 발휘할 기회를 만듭니다.

AI Evaluator는 동일한 루브릭에 따라 대화 기록을 분석하고, 시각적 평가와 구체적인 개선 조언이 포함된 상세한 피드백을 생성합니다.

결과 검증

NYU에서 188명의 참가자(18~25세)를 대상으로 한 연구에서, AI 평가는 전문가 간 상호 일치도와 비슷한 수준으로 인간 전문가와 일치했습니다. 창의적 멀티미디어 과제를 사용한 또 다른 연구에서는 AI와 인간 평가 간 피어슨 상관계수가 0.88에 달했습니다.

교육적 잠재력

Vantage는 교육 과정에 통합된 “역량 레이어”의 가능성을 열어줍니다. 학생들은 콘텐츠 지식과 핵심 역량 개발 모두에 대해 이중 피드백을 받을 수 있습니다. 이는 AI 시대에 교육 기관이 “소프트 스킬”을 평가하는 방식을 혁신할 수 있습니다.