RAG・検索工学
70語
2ページ目：51〜70語目を掲載しています。 分野の概要と最初の用語は1ページ目
用語一覧
- Bi-Encoder / Cross-Encoder
- クエリと文書を別々にEmbeddingして高速検索する構成と、両者を同時入力して高精度に関連度を評価する構成の対比。
- SPLADE
- ニューラルネットワークで語彙の重み付け・拡張を行い、意味情報を取り込んだ疎ベクトルとして検索する手法。
- Recursive Character Splitting
- 段落・改行・句読点等の区切りを優先順位順に使い、指定サイズへ近づけながら文書を再帰的に分割するチャンキング手法。
- PDF Artifacts
- PDF抽出時に混入するヘッダー、フッター、ページ番号、改行崩れ等のノイズ要素。RAG検索やEmbedding品質を悪化させることがある。
- IVF-PQ
- Inverted File with Product Quantizationの略。検索対象をクラスタへ分割し、ベクトルを量子化して大規模近似近傍検索のメモリと計算量を削減する方式。
- pgvector
- PostgreSQLへベクトル型・類似度検索等を追加するオープンソース拡張。既存のRDBとEmbedding検索を同じ基盤で扱う際に利用される。
- MMR（Maximal Marginal Relevance）
- 検索候補のQuery関連度だけでなく候補間の重複も考慮し、関連性と多様性のBalanceを取りながら結果を選ぶRanking手法。
- Matryoshka Embedding
- 一つのEmbedding Vectorの先頭次元だけを切り出しても一定の意味性能を保つよう学習し、精度・Memory・検索Costを柔軟に調整できる表現方式。
- Query Decomposition
- 複雑な質問を複数のSub-queryへ分解し、それぞれを検索・回答した結果を統合するRetrieval / Reasoning手法。
- Prompt Compression / LLMLingua
- 長いPromptやRetrieved Contextから重要情報を残しつつToken数を削減する圧縮手法。LLMLinguaは代表的なPrompt Compression系手法・実装。
- ColPali
- PDFや帳票等のPage ImageをVision-Language ModelでMulti-vector Embedding化し、OCRやText Extractionへ強く依存せずVisual Document Retrievalを行う手法・Model系統。
- RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）
- 文書ChunkをEmbedding、Clustering、要約しながら階層Treeを作り、詳細Chunkから上位Summaryまで複数粒度で検索するRAG手法。
RAPTOR（Recursive Abstractive Processing for Tree-Organized Retrieval）の定義を見る · RAG・検索工学の全体像
- Qdrant
- Vector Searchを中心にPayload Filter等を提供するOpen-source Vector Database。RAGやSemantic SearchのRetrieval基盤として利用される。
- Faiss
- Metaが開発した、高次元ベクトルの類似検索・クラスタリング用ライブラリ。IVF・PQ・HNSW等の近似最近傍探索を実装し、ベクトル検索基盤の構成要素として使われる。
- Elasticsearch / OpenSearch
- 全文検索エンジン（Elasticsearch）と、そこから派生したオープンソースの検索エンジン（OpenSearch）。BM25によるキーワード検索に加えベクトル検索にも対応し、Hybrid Searchの基盤として使われる。
- Milvus
- 大規模Vector Search向けのOpen-source Vector Database。分散構成、Index、Hybrid Search等を利用し、高VolumeのEmbedding検索へ対応する。
- Chroma
- EmbeddingやMetadataを保存・検索できるOpen-source Vector Database。Local開発やPrototypeからRAG Applicationまで利用される。
- LanceDB
- ColumnarなLance Formatを基盤に、Vector・Multimodal Dataの検索をLocal／Object Storage等で扱えるDatabase。Serverless構成にも利用される。
- BGE-M3
- 多言語に対応し、Dense Retrieval、Sparse Retrieval、Multi-vector Retrievalを一つのEmbedding Modelで扱えるBGE系列のModel。
- Modular RAG
- Query Processing、Retrieval、Reranking、Context構築、Generation等を疎結合Moduleとして設計し、Taskに応じてPipelineを組み替えるRAG Architecture。