AWS、Self-Distilled ReasoningでAmazon Nova 2の数学的精度をファインチューニング後6%から約68%へ回復

Self-Distilled Reasoningとは何か、どんな問題を解決するのか?

AWSは、訓練データにchain-of-thought(思考の連鎖、最終的な回答に至るまでにモデルがたどる推論ステップ)が含まれない状況下でのAmazon Nova 2モデルの教師ありファインチューニング(supervised fine-tuning、ラベル付けされた例でモデルをさらに訓練すること)手法として、Self-Distilled Reasoning(SDR)を発表しました。このようなデータは実務上よくあることです。企業は質問と回答のペアは持っていても、その推論の経路は記録していないことが多く、これがモデルに自律的な推論を訓練させることを難しくしています。

なぜ素のファインチューニングは全般的な性能を損なうのか?

推論トレースを含まない狭いデータで直接モデルをファインチューニングすると(素のSFT)、モデルの全体的な数学性能はベースモデルの70%からわずか6%まで低下します——これはcatastrophic forgetting(破滅的忘却)と呼ばれる現象で、狭すぎる事後訓練によって以前に習得した能力が失われることを指します。モデルは狭いタスクでは優れた性能を示すようになりますが、以前持っていた数学問題を解く能力を失ってしまいます。

SDRはモデル自身に訓練データを生成させる

AWSが提案する解決策は、ベースのNova 2 Liteモデルを用いて、chain-of-thoughtトレースが欠けている既存の訓練データに対してそれを自律的に生成させ、人手によるアノテーションを不要にするというものです。こうして強化されたデータは、その後、対象モデルのファインチューニングに使用されます。結果として、SDRは対象タスクにおいて6.5%を超える相対的な性能改善を達成すると同時に、全体的な数学的精度を6%から約68%へと回復させます——この差は、ファインチューニング中に推論能力を維持することが、モデルの他のスキルへの巻き添え被害をどれだけ軽減するかを示しています。

3つの異なるベンチマークでテスト

AWSはこの手法を、異なる領域の3つのベンチマークでテストしました。MedMCQA(医療関連の質問)、CoCoHD、Invoice-OCR(請求書処理)です。3つの無関係なタスクにわたって一貫した結果が得られたことは、SDRが単一のデータタイプに限定された狭い解決策ではなく、元のデータに推論トレースが単純に存在しない場合のファインチューニングに対する汎用的なアプローチであることを示唆しています。