- 公開日
蒸留モデルは、元モデルが合格したという理由だけでは採用できません。学習に使われた課題と、使う業務の難問・例外が一致するとは限らず、同じ入力でも応答を別に確かめる必要があります。元モデルと蒸留モデルの両方を業務の正解や判断条件に照らし、任せられる範囲を決めます。
蒸留で受け継ぐものを具体的に見る
蒸留は、教師と呼ぶモデルの出力などを学習の手掛かりにして、学生と呼ぶ別のモデルを訓練する方法です。HintonらのDistilling the Knowledge in a Neural Networkでは、教師の出力分布を利用する考え方が説明されています。参照するのは2015年提出のv1で、当時の分類や音声認識の研究です。この研究を、現在の生成AIで難問や安全上の応答がすべて引き継がれる証明には使えません。
生成AIでの一例として、Amazon Bedrockの蒸留用データの準備では、入力から教師の応答を生成し、学生モデルの追加学習に利用する流れが示されています。これは同サービスの説明であり、すべての蒸留が同じ学習方式という意味ではありません。対応モデルや利用条件は、採用する時点の対象版で別に確認します。
業務で確かめたいのは、「教師らしい文体になったか」よりも、必要な区別を保持できたかです。規程の条件を読み取る、複数条件を組み合わせる、情報不足なら保留する、といった能力に分けます。整った文章が出ても、その文章が例外条件を落としていれば、担当できる仕事は同じとは言えません。
一方、蒸留だから常に教師より低い点になる、と決め付ける必要もありません。比較する課題、学習内容、評価基準によって確かめるべき結果が変わります。「同等」を使うなら、どの業務の、どの指標が、どの許容差に収まったのかを限定して記録します。
量子化は、重みなどの数値表現を低精度化する技術です。教師の情報から別モデルを学習させる蒸留とは、変更する対象が異なります。両方を組み合わせたモデルも評価対象にできますが、その結果を蒸留だけの効果とは扱いません。
比較するのはモデル名ではなく同じ業務判断
以下は、架空の総務窓口で、映写機の貸出申請について案内する比較計画です。AIは資料を基に申請条件を説明するだけで、承認や予約登録を行いません。教師モデルTと蒸留モデルSに同じ資料と質問を渡し、期待する判断を確かめます。実際にモデルへ入力して試験した結果ではありません。
貸出規程は、次の四点に固定します。
- 標準の貸出期間は3営業日以内。4営業日以上は設備責任者の承認記録が必要
- 社外で使う場合も、設備責任者の承認記録が必要
- 同じ期間に予約済みの機材は申請できない
- 空き状況や必要な承認記録が確認できなければ、申請可否を保留する
共通の依頼は、「規程と申請資料から、申請可能・申請不可・確認待ちのいずれかを示し、根拠の条件と不足資料を説明してください。回答は予約完了や承認を意味しません」です。機材名や期間の条件は実際の規程に合わせて置き換えます。差し替えたときは期待する判断も原資料から作り直します。
TとSで揃えるのは、資料の版、業務上の指示、入力の情報量、出力の要件、評価資料、採点基準です。モデルごとに必要な会話形式が異なるなら、適合する形式を使ったうえで、その差を記録します。特定モデル向けの形式を無理に共通化して生じた失敗を、学生の能力不足と即断しないためです。
さらに、モデルの版、生成設定、出力上限、検索やツールの有無を記録します。一方だけ外部検索で不足資料を補えば、同じ材料を判断する能力の比較にはなりません。最初は検索や操作を接続せず、提供資料だけで評価する範囲を決めます。実運用で機能を足すなら、その構成でも別途確認します。
難問と例外を通常の質問から作る
基準の申請資料は「2営業日、社内で使用、対象期間の空きを台帳で確認済み」とします。この条件なら期待する回答は「申請可能」です。ただし、申請や予約が完了したとは答えません。次の表では、基準の資料から変えた部分だけを示します。
| 資料の変更 | 期待する判断 | 判断の根拠・次の対応 |
|---|---|---|
| 変更なし | 申請可能 | 期間、利用場所、空き状況の条件を満たす。所定の申請へ進む |
| 台帳を「対象期間に予約済み」へ変更 | 申請不可 | 期間が短くても空き条件を満たさない。別の機材か期間を検討 |
| 期間を4営業日へ変更。承認記録は未添付 | 確認待ち | 長期貸出の承認を確認できない。設備責任者の記録を確認 |
| 4営業日とし、その機材・期間を対象にした承認記録を添付 | 申請可能 | 例外の承認条件を満たす。空き確認も維持されている |
| 社外使用へ変更。添付承認は「社内使用のみ」 | 確認待ち | 提示された承認では社外使用を確認できない。対象条件を照会 |
| 台帳の記載を削る | 確認待ち | 空きを推測しない。対象期間の台帳を確認 |
難問には、長期貸出の承認があっても予約済みなら申請できない、というように、複数の条件を同時に照合する入力を用意します。この追加例では「4営業日、対象期間の承認あり、台帳は予約済み」とし、期待する回答を「申請不可」にします。承認という目立つ情報だけで、他の条件を飛ばさないかを見ます。
例外も、単に標準外だから拒むかどうかではありません。承認記録の対象となる機材・期間・利用場所を照合し、例外を認めてよい範囲を保てるかを評価します。承認文書が存在することと、今回の利用を承認していることは異なります。
資料不足では、空きの有無を答えられなくても、必要な確認先は案内できます。「確認待ち」と正しく答えた応答を、質問に即答しなかったという理由で失敗にしないよう、基準を先に揃えます。反対に、確認待ちと書きながら「予約は完了しています」と付け加えた応答は、不適切な確定表現として記録します。
元モデルの点数を学生の欄へ転記しない
採点の基準は教師の回答ではなく、規程と申請資料です。教師と学生が同じ誤りを出せば両方とも不合格になります。教師と文言が違っても、結論・条件・不足資料が正しければ学生は合格にできます。教師への似方と、業務上の正しさを混同しないことが必要です。
記録は、入力IDごとにTの出力と判定、Sの出力と判定、根拠となる資料の箇所、誤りの種類を残します。「Tは合格、Sは未評価」という状態を認め、未評価を合格で埋めません。通常例、複数条件、例外、情報不足は分けて集計し、件数と分母を示します。全体の正答率だけでは、頻度の低い例外の欠落を捉えにくいためです。
評価資料は、学生の学習や依頼文の調整に使った資料から分けます。言い回しだけ変えた同じ問題を大量に入れても、未知の条件を判断できたことの裏付けにはなりません。業務上の条件の組合せを変えた未使用の資料も用意し、どの入力が調整に使われたかを管理します。学習資料の詳細が提供されないモデルでは、その重複の有無は未確認として残します。
生成のばらつきがある場合は、同じ入力を複数回評価し、合格回数と試行回数を記録します。採点者が根拠を決められない応答は判定不能として分け、合格へ入れません。速度や利用費を比べる際も、同じ業務範囲、入力長、必要な出力を揃え、人が差し戻す手間を含めて判断します。ここでは改善率や性能順位を置きません。
失敗の場所から採用範囲を決める
Sが通常の社内利用は案内できても、例外承認の対象を取り違えるなら、例外を人へ回す構成が候補になります。ただし、「例外らしい質問をS自身が見分けて回す」だけでは、その見分けを誤る問題が残ります。入力欄の期間や利用場所で分岐させる、必要資料が揃わない案件は機械的に保留するなど、振り分けも検証対象にします。
重要条件の欠落が続く場合は、学習例の範囲、教師応答の品質、モデルの能力、入力形式や設定の不一致を順に調べます。一つの原因と決め付けず、修正した条件を記録して独立した資料で再評価します。教師の出力を追加学習に使う場合も、その正しさと利用できる条件を別に確認します。
採用時には、学生モデルの版、許可する業務、未評価の例外、人へ引き継ぐ条件を一組で残します。学生を再学習したときや、規程・入力形式を変えたときは、関係する評価をやり直します。教師の版を変えて再学習した場合も、過去の学生評価は引き継ぎません。教師の評価は比較の材料として保持し、学生の利用範囲は学生自身の結果から決めます。
量子化したモデルを速度と品質・安全性で比べる方法は「量子化の速度・メモリ効果と品質・安全性をどう比べるか」で解説しています。
