Google Research：Vantage——通过与AI虚拟角色对话评估批判性思维和创造力的AI平台

Google Research和纽约大学（NYU）开发了Vantage，一个创新性平台，利用生成式AI来评估传统上几乎无法客观衡量的技能——批判性思维、协作能力和创造力。

Vantage如何工作

系统将学习者置于与AI虚拟角色的动态对话中，模拟协作任务，如准备辩论或创意提案展示。两个关键AI组件驱动评估过程：

执行LLM使用教学评分标准来引导虚拟角色的回应并引入有针对性的挑战——如质疑想法或模拟冲突——以便学习者展示其技能。

AI评估器根据相同的评分标准分析对话记录，生成包含可视化评分和具体改进建议的详细反馈。

结果验证

在纽约大学开展的一项涉及188名参与者（18-25岁）的研究中，AI评分与人类专家的一致性与专家之间的相互一致性相当。在另一项涉及创意多媒体任务的研究中，AI与人类评分之间的皮尔逊相关系数高达0.88。

教育潜力

Vantage开辟了在课程计划中集成”技能层”的可能性，学生可以获得双重反馈——既涵盖内容知识，也涵盖关键能力的发展。这可能改变教育机构在AI时代评估”软技能”的方式。