基礎・モデル・プロンプト
106語
2ページ目：51〜100語目を掲載しています。 分野の概要と最初の用語は1ページ目
用語一覧
- 教師あり学習
- 入力と正解ラベルの組を用いて、未知の入力に対する予測や分類を学習する方式。
- 強化学習
- 環境との相互作用から得られる報酬を手掛かりに、長期的な報酬を高める行動方針を学習する方式。
- 過学習
- 学習データには高い性能を示す一方、未知データへの一般化性能が低下した状態。
- 汎化（Generalization）
- 学習データに含まれない未知のデータに対しても適切に予測・生成できる能力。過学習はこの汎化性能が低下した状態。
- 訓練データ・検証データ・テストデータ
- モデル学習に使う訓練データ、調整や選択に使う検証データ、最終性能の評価に使うテストデータを分離して扱う考え方。
- AGI
- Artificial General Intelligenceの略。幅広い知的課題へ汎用的に対応できるAIを指す概念で、厳密な定義には統一見解がない。
- ASI（Artificial Superintelligence）
- ほぼすべての知的領域で人間を大きく上回る能力を持つと想定される、仮説上のAIを指す概念。AGIの先に位置付けられることが多く、厳密な定義や到達時期に統一見解はない。米国連邦政府用語の「SI（Super Intelligence）」とは別概念。
- スケーリング則
- モデル規模、学習データ量、計算量などと性能の間に観測される経験的な関係を表す法則・傾向。
- 損失関数
- モデルの予測と正解との差を数値化し、学習時に最小化する対象となる関数。
- 交差エントロピー（Cross-Entropy）
- 予測確率分布と正解分布の差を測る損失関数。LLMの次トークン予測学習で標準的に用いられ、評価指標のPerplexityは平均交差エントロピーを指数変換した値に相当する。
- 勾配降下法
- 損失関数の勾配を使ってパラメータを反復更新し、損失を小さくする代表的な最適化手法。
- ハイパーパラメータ
- 学習率、バッチサイズ、層数など、学習で自動推定される重みとは別に事前設定する値。
- エポック
- 訓練データ全体をモデルが一通り学習する単位。多すぎると過学習、少なすぎると学習不足になりやすく、検証データでの性能を見て調整する。
- 転移学習
- あるデータやタスクで学習したモデルの知識を、別の関連タスクへ再利用する学習方法。
- 教師なし学習
- 正解ラベルを与えず、データの構造・分布・類似性などを学習する方式。
- クラスタリング
- 類似したデータを自動的にグループへ分ける教師なし学習の代表的手法。クラスタ数や前処理で結果が大きく変わり、得られたグループの意味付けは人間の解釈に依存する。
- Self-Attention
- 同一系列内の各要素が他の要素との関係を重み付けし、文脈を取り込むAttention機構。
- Multi-Head Attention
- Attentionを複数のHeadで並列に計算し、異なる観点の関係性を同時に捉えてから統合する仕組み。Transformerの中核構成要素。
- 位置エンコーディング（Positional Encoding）
- Attention自体は語順を区別しないため、トークンの位置情報をモデルへ与える仕組みの総称。正弦波による絶対位置表現、学習型埋め込み、RoPE等の相対位置表現がある。
- Softmax
- 複数の数値を合計1の確率分布へ変換する関数。分類や次トークン候補の確率化に使われる。
- 活性化関数
- ニューラルネットワークの各層で非線形変換を加える関数。ReLU、GELU、SwiGLU等があり、非線形性がないと多層化しても複雑な関係を表現できない。
- ロジット（Logit）
- Softmax等で確率へ変換する前の、モデルが出力する未正規化スコア。
- BPE（Byte Pair Encoding）
- 頻出する文字・バイト列の組を反復的に統合し、サブワード単位の語彙を作る代表的なTokenizer方式。
- GQA / MQA
- Grouped-Query Attention / Multi-Query Attentionの略。Query側のHead数に対してKey・Value側を共有し、KV Cacheのメモリ使用量や推論負荷を抑えるAttention方式。
- RoPE
- Rotary Position Embeddingの略。回転変換を用いてトークン位置情報をAttentionへ組み込む位置表現方式。
- MLA
- Multi-head Latent Attentionの略。Key・Value等を低次元の潜在表現へ圧縮し、推論時のメモリ負荷を抑えるAttention方式。
- FlashAttention
- Attention計算時のGPUメモリアクセスを最適化し、高速化と省メモリ化を図るアルゴリズム。
- 自己回帰（Autoregressive）
- 過去に生成したトークンを条件として次のトークンを逐次予測・生成するモデル方式。多くのLLMの基本的な生成方法。
- Decoder-only Transformer
- TransformerのDecoder側を中心に構成し、主に自己回帰的な次トークン予測で文章を生成するモデル構造。GPT系LLMで広く使われる。
- Encoder-Decoder Transformer
- 入力をEncoderで表現し、Decoderがその表現を参照して出力を生成するTransformer構造。翻訳・要約等で広く使われる。
- BERT / Encoder-only
- Transformer Encoderのみで構成され、文全体を双方向に参照して表現を学習するモデル構造と、その代表例であるBERT。文章生成より分類・抽出・Embedding・Reranker等に用いられることが多い。
- 次トークン予測
- それまでの入力・生成履歴から次に現れるトークンの確率分布を予測する学習・生成の基本タスク。
- In-context Learning（ICL）
- モデルの重みを更新せず、プロンプト内の指示・例・文脈からその場でタスクのパターンを捉えて応答する能力・現象。
- 創発的能力（Emergent Abilities）
- モデル規模や学習量の増加に伴い、ある条件を境に新たな能力が目立って現れるように見える現象。評価方法や連続的な性能向上との関係には議論がある。
- Cross-Attention
- ある系列のQueryが別の系列のKey・Valueを参照するAttention機構。Encoder-Decoderやマルチモーダル統合等で使われる。
- Causal Mask / Causal Attention
- 未来のトークンを参照できないようAttentionを制限し、自己回帰生成を成立させるためのマスク・Attention方式。
- 誤差逆伝播（Backpropagation）
- 出力側の誤差から勾配を逆向きに計算し、ニューラルネットワークのパラメータ更新に必要な情報を求める学習手法。
- 学習率（Learning Rate）
- 勾配に基づいてモデルのパラメータを1回の更新でどの程度変化させるかを決めるハイパーパラメータ。
- バッチサイズ（Batch Size）
- 1回のパラメータ更新でまとめて処理する学習データ数。学習速度、メモリ使用量、最適化特性に影響する。
- 正則化（Regularization）
- 過学習を抑え一般化性能を高めるため、重み・学習・データ等へ制約やノイズを加える手法の総称。
- 破滅的忘却（Catastrophic Forgetting）
- 追加学習や継続学習によって、新しい知識を獲得する一方で以前に学習した能力・知識が大きく失われる現象。
- Chinchilla則 / Compute-Optimal Scaling
- モデル規模と学習トークン量を計算予算に応じて適切に配分することが性能向上に重要だとするスケーリング研究・考え方。
Chinchilla則 / Compute-Optimal Scalingの定義を見る · 基礎・モデル・プロンプトの全体像
- State Space Model（SSM）
- 状態の時間発展を数理的に表現し、系列データを処理するモデル系統。長系列を効率的に扱うためTransformerの代替・補完として利用される。
- Mamba
- 選択的State Space Modelを用いて長い系列を効率的に処理するニューラルネットワークアーキテクチャ。
- Adam / AdamW
- 勾配の一次・二次モーメントを利用して学習率を適応的に調整する代表的な最適化手法と、そのWeight Decay処理を改良した派生手法。
- PPO（Proximal Policy Optimization）
- 方策更新幅を制約しながら安定した強化学習を行う代表的なPolicy Optimization手法。RLHF等でも用いられる。
- Sovereign AI（ソブリンAI）
- 自国・地域の法制度、言語、文化、データ主権、計算資源、産業政策等を踏まえ、AIの開発・運用能力を域内で確保しようとする考え方・政策領域。
- LLM-jp
- 国立情報学研究所の大規模言語モデル研究開発センターが主宰する研究者コミュニティ兼、日本発LLM開発プロジェクト。日本語に強いオープンなモデル、コーパス、ツール等を公開している。
- tsuzumi
- NTTが開発する日本語処理に強みを持つ軽量LLM系列。オンプレミスやプライベートクラウド等の企業利用も想定され、2025年以降はtsuzumi 2が提供されている。〔時点依存〕
- PLaMo
- Preferred Networksグループが国内でゼロから開発する日本語LLMブランド。商用向けPLaMo Prime、軽量版、翻訳特化モデル等を展開する。〔時点依存〕