arXiv:2607.16122：CRAFT方法聚类评分标准并揭示语言模型的薄弱环节
Vipul Gupta及合作者提出CRAFT，一种将rubric-based评估数据转化为针对具体模型能力缺陷诊断的方法，通过将评分标准聚类为层级化的能力树来实现。该方法在4个模型、2个领域和13个基准上进行了测试，CRAFT在金融领域的4个模型上均取得最强平均成绩，在法律领域4个模型中的3个取得最强成绩。
本文由人工智能基于一手来源生成。
CRAFT如何诊断语言模型的薄弱环节？
Vipul Gupta及合作者在论文《CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data》（arXiv:2607.16122）中提出了一种方法，将现有的rubric-based评估数据转化为针对具体模型的诊断结果。评分标准（rubric）是定义模型回答须包含哪些内容才能被判为正确或完整的评判依据。CRAFT将这些标准聚类为层级化的能力树，因此不再只给出单一的汇总分数，而是准确揭示出该树中对特定模型而言最薄弱的节点。
从诊断到有针对性的微调数据
在识别出最薄弱的节点后，CRAFT会为这些节点生成有针对性的微调数据——即在一组专门设计用来弥补该薄弱环节的窄范围示例上对模型进行额外训练。该方法在4个开源模型、2个专业领域（金融与法律）以及13个held-out基准上进行了测试，这些基准是模型在训练过程和评分标准创建过程中都未曾见过的测试集。
金融4/4对比法律3/4
CRAFT在全部4个测试模型中，于金融领域均取得最强的平均成绩，而在法律领域中，4个模型里有3个取得最强成绩。这一差异表明，评分标准聚类方法在金融领域表现更为一致，无论选用何种模型；而在法律领域，则有一个模型偏离了其余模型所遵循的规律。
常见问题
- CRAFT如何找出LLM的薄弱能力？
- CRAFT将rubric-based评估数据中的评分标准（即评分依据）聚类为层级化的模型能力树，然后针对每个模型识别出该树中最薄弱的节点，并为这些节点有针对性地生成微调数据。
- 为什么CRAFT在金融领域比在法律领域表现更好？
- 在13个held-out基准上，CRAFT在全部4个测试的开源模型中，金融领域均取得最强的平均成绩；而在法律领域，4个模型中有3个取得最强成绩，这提示两个领域在评分标准结构上存在差异。
来源
📬 AI 新闻直达您的邮箱
按您的方式定制每日摘要——自选主题、来源和频率，一键退订。