推論パラメータ・Long Context・Memory
84語
2ページ目：51〜84語目を掲載しています。 分野の概要と最初の用語は1ページ目
用語一覧
- Sequence / Context Parallelism
- 長い系列のTokenやAttention計算を複数デバイスへ分割し、長文処理時のメモリ・計算負荷を分散する並列方式。
Sequence / Context Parallelismの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- FSDP（Fully Sharded Data Parallel）
- Model Parameter、Gradient、Optimizer State等を複数Workerへ分割保持し、大規模モデル学習のMemory負荷を減らす分散学習方式。
FSDP（Fully Sharded Data Parallel）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- ZeRO（Zero Redundancy Optimizer）
- 分散学習でOptimizer State、Gradient、Parameter等の重複保持を段階的に削減し、Memory効率を高める手法。
ZeRO（Zero Redundancy Optimizer）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- 混合精度（Mixed Precision / BF16）
- 計算の大部分を低精度（BF16・FP16等）で行い、精度が必要な部分だけ高精度（FP32等）を用いて、高速化と省メモリ化を図る学習・推論手法。BF16はFP32と同じ指数部の幅を持つため数値範囲が広く、学習が安定しやすい。
混合精度（Mixed Precision / BF16）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- FP8
- 8bit浮動小数点形式を学習・推論へ利用し、対応Hardwareで計算量・Memory・Throughputを改善する低精度計算方式。
- INT8 / INT4
- Model WeightやActivation等を8bit・4bit整数へ量子化し、Memory使用量や推論計算量を減らす低精度表現。
- KV Cache Quantization
- KV Cacheを低bit表現へ量子化し、Long Contextや高並列推論時のMemory使用量を削減する手法。
KV Cache Quantizationの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Disaggregated Prefill / Decode
- PrefillとDecodeを別のGPU PoolやServerへ分離し、それぞれの計算特性に合わせて資源配置・Scalingを最適化するServing構成。
Disaggregated Prefill / Decodeの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- KV Cache Offload
- KV Cacheの一部をGPU以外のCPU MemoryやStorage等へ退避し、GPU Memory不足を緩和するServing手法。
- SGLang
- LLMやVLMの高速ServingとAgentic workload向けRuntimeを提供するオープンソースの推論基盤。
- TensorRT-LLM
- NVIDIA GPU向けにLLM推論のKernel、量子化、並列化等を最適化する推論ライブラリ・Serving基盤。
- TGI（Text Generation Inference）
- Hugging Faceが提供するLLM向けのオープンソース推論Serving toolkit。Batching、Streaming、量子化等を扱う。
TGI（Text Generation Inference）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- RadixAttention
- 共通Prefix等のKV CacheをRadix Treeで管理・再利用し、複数Requestや複雑なPrompt workloadのPrefill負荷を減らすキャッシュ技術。
- Medusa
- 一つのLLMへ複数の追加予測Head等を持たせ、複数Token候補を先読みして生成を高速化するSpeculative Decoding系手法。
- EXL2
- LLM Weightを柔軟なbit幅で量子化し、主にローカルGPU推論のMemory効率・速度を高める量子化形式・方式。
- bitsandbytes
- 低bit量子化や8bit Optimizer等を提供し、LLM学習・推論のMemory使用量削減に利用されるライブラリ。
- YaRN
- RoPE等の位置表現を拡張し、学習時より長いContextへ対応させるためのLong Context拡張手法。
- NTK-aware Interpolation
- RoPEの周波数・位置スケーリングを調整し、より長いContextへ拡張するための位置補間系手法。
NTK-aware Interpolationの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Position Interpolation
- 学習済みモデルの位置表現を縮尺変換・補間し、元の学習長より長いContextへ適応させる手法。
Position Interpolationの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- FlashDecoding
- Decode段階でKV Cache参照やAttention計算を複数GPU Block等へ並列化し、特にLong Context生成時のLatency低減を狙う推論最適化手法。
- StreamingLLM / Attention Sink
- Sequence先頭付近のAttention Sink Tokenと直近Window等を保持することで、全KV Cacheを維持せず長時間Streaming生成を継続しやすくする手法。
StreamingLLM / Attention Sinkの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- ONNX Runtime / DirectML
- ONNX形式等のModelをCPU・GPU・NPU等で実行するCross-platform Runtimeと、Windows上でGPU Accelerationを利用するDirectML API。Edge・On-device推論で利用される。
ONNX Runtime / DirectMLの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Context Overflow
- 長時間のAgent Loopや大量Contextの蓄積でContext Length上限へ到達し、入力切捨て、失敗、再構成不能等が起きる障害状態。Context Rotのような品質劣化とは区別される。
- ABCI（AI Bridging Cloud Infrastructure）
- 産業技術総合研究所が構築しAIST Solutionsが運用する、AI研究開発・社会実装向けの大規模Open Computing Infrastructure。2025年にABCI 3.0へ更新された。〔時点依存〕
ABCI（AI Bridging Cloud Infrastructure）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Triton（OpenAI Triton）
- GPU向けの高性能Custom KernelをPythonに近い記法で開発するLanguage／Compiler基盤。LLMのAttention、Normalization、Quantization等のKernel最適化に利用される。
Triton（OpenAI Triton）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- TorchDynamo / torch.compile
- PyTorch Programを実行時にGraph Captureし、Compiler Backendへ渡して最適化する仕組みと、その統合入口。学習・推論の高速化に使われる。
TorchDynamo / torch.compileの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Ray / Ray Serve
- Python WorkloadをClusterへ分散実行するFrameworkと、Model・LLM ServiceをRouting・Autoscalingしながら提供するServing Library。
- DeepSpeed
- Microsoftが開発する大規模Model向けの分散学習・推論最適化Library。ZeRO、Offload、Parallelism等を利用してMemory・Compute効率を高める。
- Microscaling Formats（MX / MXFP）
- Block単位でScaleを共有しながら低精度表現を用いる数値Format群。FP4等と組み合わせ、AI Accelerator上のMemory・帯域・Compute効率を高める。
Microscaling Formats（MX / MXFP）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- Agentic Inference
- Agentの長時間Session、Tool待ち、反復推論、共有Prefix、肥大するKV Cache等を前提に、通常の一問一答Inferenceとは異なるScheduling・Caching・Serving最適化を行う考え方。
- CUDA Graphs
- 複数のCUDA Kernel起動を事前にGraphとしてCaptureし、まとめて再実行することでCPU側Launch Overheadを減らすGPU最適化機構。低Latency推論や固定ShapeのWorkloadで有効。
- Sliding Window Attention（SWA）
- 各Tokenが直近の一定Window内だけへAttentionする方式。Attention計算量やKV Cache量を抑えながらLong Contextを扱うために使われる。
Sliding Window Attention（SWA）の定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- KV Cache Compression
- Long Context推論でKV Cacheを量子化・間引き・選択保持等によって圧縮し、Memory使用量や帯域負荷を減らす手法群。SnapKVやKIVI等が代表例。
KV Cache Compressionの定義を見る · 推論パラメータ・Long Context・Memoryの全体像
- EAGLE / EAGLE-2
- LLM内部のFeatureを使って複数Token候補を先読みし、元Modelが検証・採択するSpeculative Decoding系手法。追加の独立Draft Modelへの依存を減らしつつ生成高速化を狙う。