Fine-tuning・最適化・モデル運用
34語
モデルを目的に合わせて調整・最適化する手法と、その運用に関わる用語です。Fine-tuningやLoRA系の効率的な調整、RLHFやDPOなどの選好学習、合成データ、自動プロンプト最適化、モデルの更新と比較を扱います。
この分野を読むポイント
追加学習は強力ですが、データの品質、評価方法、モデル更新のたびの再検証といった負担が伴います。まずプロンプトや検索（RAG）で解決できるかを確かめ、必要な場合に調整を検討する順序が実務では現実的です。
この分野に関連する記事
用語一覧
- Fine-tuning
- 追加データでモデルの重みを調整し、特定の挙動・タスクへ適応させる方法。
- DSPy
- プロンプトやLLMパイプラインを評価指標に基づいて最適化するためのフレームワーク。
- 自動プロンプト最適化
- 評価結果を使ってプロンプトを機械的・反復的に改善する手法。評価データへ過剰適合すると本番で性能が落ちるため、別の検証データで確認する。
- 動的最適化
- 入力・環境・結果に応じてプロンプトやモデル選択を変える最適化。
- モデル更新
- モデルのバージョンや内部仕様が変更されること。提供者側の更新で出力の傾向や形式が変わることがあるため、更新の告知を確認し、Evalで回帰テストを行う。
- モデル廃止・提供終了（Deprecation / Retirement）
- 提供者がモデルの新規利用を非推奨とし（Deprecation）、告知した期日以降にAPI等での提供を終了する（Retirement）こと。期日後は呼び出しが失敗するため、移行先モデルでの再評価と切替計画が必要。
モデル廃止・提供終了（Deprecation / Retirement）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- モデル固定（Pinning / Snapshot）
- 自動更新されるエイリアス名ではなく、日付等で特定されたモデルバージョン（スナップショット）を明示指定して利用すること。挙動の再現性を保てる一方、提供終了日の管理が必要。
- モデル比較
- 複数モデルを精度・速度・コスト・機能等の軸で比べること。公開ベンチマークではなく、自社業務の代表的なデータで精度・速度・コストを同条件で比べる。
- Post-Training
- 事前学習済みモデルに対し、指示追従・安全性・好み・特定タスクへの適応などを目的として追加で行う学習・調整工程。
- Synthetic Data
- 実世界から直接取得するのではなく、ルール・シミュレーション・AI等によって人工的に生成したデータ。
- Model Collapse
- AI生成データを再帰的・偏った形で学習へ使うことで、出力の多様性や分布の再現性、性能が劣化していく現象。
- Preference Data
- 複数の回答や行動について、どちらが望ましいか等の選好情報を付与した学習・評価データ。
- DPO
- Direct Preference Optimizationの略。選好データを用いて、望ましい回答を直接学習するための最適化手法。
- RLHF
- Reinforcement Learning from Human Feedbackの略。人間のフィードバックや選好を利用してモデルの振る舞いを調整する手法。
- SFT（Supervised Fine-Tuning）
- 事前学習済みモデルを、入力と望ましい出力の組など教師付きデータで追加学習し、特定タスクや指示追従へ適応させる手法。
SFT（Supervised Fine-Tuning）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- Instruction Tuning
- 多様な指示と応答例を用いて追加学習し、自然言語の指示に従う能力を高める調整手法。
- 報酬モデル（Reward Model）
- 回答や行動の望ましさをスコア化し、強化学習や候補選択の報酬信号として利用するモデル。
- RLAIF
- Reinforcement Learning from AI Feedbackの略。人間の代わりにAIから得た評価・選好等を利用してモデルを強化学習する手法。
- RLVR
- Reinforcement Learning with/from Verifiable Rewardsの略。正解判定やルール検証など機械的に確認可能な報酬を使ってモデルを強化学習する手法。
- GRPO
- Group Relative Policy Optimizationの略。複数の生成結果をグループ内で相対比較した報酬を利用し、方策を更新する強化学習手法。
- Continual Pretraining
- 既存の事前学習済みモデルに対し、新しい時期・領域・言語等の大量データで事前学習を継続し、知識や分布を適応させる方法。
- Mid-training
- 初期の大規模事前学習と最終的なPost-Trainingの間で、特定能力・データ分布・長文対応等を強化する追加学習工程を指す実務上の総称。
- Process Reward / Outcome Reward
- 推論途中の各ステップを評価する報酬と、最終結果だけを評価する報酬の区別。複雑な推論学習で信用割当の設計に影響する。
Process Reward / Outcome Rewardの定義を見る · Fine-tuning・最適化・モデル運用の全体像
- PEFT
- Parameter-Efficient Fine-Tuningの略。モデル全体ではなく一部の追加・限定パラメータを学習し、計算・メモリ負荷を抑えて適応させる手法群。
- QLoRA
- 量子化した基盤モデルを固定し、LoRAの追加パラメータを学習することで、メモリ使用量を抑えてFine-tuningする手法。
- DoRA（Weight-Decomposed Low-Rank Adaptation）
- 重みの大きさと方向を分け、方向側へLow-Rank Adaptationを適用することでLoRAの適応性能向上を狙うPEFT手法。
DoRA（Weight-Decomposed Low-Rank Adaptation）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- ORPO（Odds Ratio Preference Optimization）
- SFT LossとPreference Optimizationを一つのObjectiveで組み合わせ、Reference Modelを使わずにInstruction TuningとAlignmentを同時に行う手法。
ORPO（Odds Ratio Preference Optimization）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- SimPO（Simple Preference Optimization）
- Reference Modelを使わず、Length-normalizedな平均Log ProbabilityとMarginを用いてPreferenceを直接最適化する手法。
SimPO（Simple Preference Optimization）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- KTO（Kahneman-Tversky Optimization）
- Pairwise Preferenceがなくても、望ましい／望ましくないResponseのBinary SignalからPreferenceを学習するAlignment手法。Prospect Theoryに着想を得ている。
KTO（Kahneman-Tversky Optimization）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- LoRA+ / rsLoRA
- LoRAの学習効率や高Rank時の安定性を改善する派生手法。LoRA+はAdapter Matrix間でLearning Rateを調整し、rsLoRAはRankに応じたScalingを見直す。
- Test-time Training（TTT）
- Inference時に入力や一時的なSignalを使ってModelの一部を更新・適応させ、Taskごとに性能向上を狙う手法。Test-time Computeとは区別される。
- Reinforcement Fine-Tuning（RFT）
- Modelの出力をGraderやReward Signalで評価し、その結果を使って特定Task・Domain向けに追加学習するFine-tuning方式。検証可能な正解や明確な評価基準を持つTaskと相性がよい。
Reinforcement Fine-Tuning（RFT）の定義を見る · Fine-tuning・最適化・モデル運用の全体像
- Self-Play Reinforcement Learning
- ModelやAgentが自ら相手・問題・解答候補等を生成し、自己対戦・自己評価を繰り返して能力を高める強化学習の考え方。
Self-Play Reinforcement Learningの定義を見る · Fine-tuning・最適化・モデル運用の全体像
- STaR（Self-Taught Reasoner）
- ModelがReasoning付きの解答を生成し、正解した推論例を学習Dataへ取り込みながら反復的にReasoning能力を高めるSelf-improvement手法。
STaR（Self-Taught Reasoner）の定義を見る · Fine-tuning・最適化・モデル運用の全体像