データ分析・統計・可視化
45語
AIを使ったデータ分析で、結果を正しく読むための統計・可視化の基本用語です。平均と中央値、割合と増減率、サンプルサイズ、ばらつき、信頼区間やp値、相関と回帰、データの前処理などを扱います。
この分野を読むポイント
AIは集計やグラフ作成を速くしますが、母集団の取り方や欠損値の扱いを誤ると結論が変わります。シンプソンのパラドックスのように、集計の切り口によって結果が逆転する例も知っておくと安全です。
この分野に関連する記事
用語一覧
- CSV
- 値を区切り文字で並べる表形式データ。AI分析では列定義・型の確認が重要。
- Excel
- 表計算ソフト／ファイル形式。数式・表示値・型・シート構造の違いに注意する。
- 欠損値
- データが存在しない、未入力、取得できない状態の値。欠損を0や空欄として集計すると結果が歪むため、除外と補完のどちらにしたかを明示する。
- 外れ値
- 他のデータから大きく離れた値。入力誤り・異常事象・本当の極端値のいずれかを確認せずに除外・採用すると、平均値等の集計結果を大きく歪める。
- 集計
- 複数のデータを合計・平均・件数などへまとめる処理。AIに集計させる場合は、対象期間・フィルタ・重複の扱い・単位を明示し、元データと照合する。
- 平均
- 値の合計を件数で割った代表値。外れ値の影響を受けやすいため、偏りのあるデータでは中央値と併記する。
- 中央値
- 値を順に並べたとき中央に位置する値。外れ値の影響を受けにくい。
- 割合
- 全体に占める部分の比率。分母を明示しないと誤解を招き、分母が小さいと値が大きく変動する。
- 増減率
- 基準値からどれだけ増減したかを割合で表した値。基準値が小さいと極端な値になるため、実数と併記する。
- パーセントポイント（pt）
- 割合同士の差を表す単位。10%から12%への変化は「2ポイント増」であり、相対変化の「20%増」とは異なる。
- 前年同期比 / CAGR
- 前年の同じ期間と比べた増減率（前年同期比）と、複数年にわたる平均的な年成長率（CAGR：年平均成長率）。CAGRは（終了値÷開始値）^(1÷年数)−1で求める。
- 有効数字・丸め
- 測定や計算の精度として意味のある桁数（有効数字）と、表示や計算のために桁を減らす処理（丸め）。途中計算で丸めると誤差が累積するため、丸めは原則として最終段階で行う。
- サンプルサイズ
- 調査・分析で対象としたデータや人数の数。少ないと結果が偶然に左右されやすく、PoCの少数事例から全社の効果を推定する際は注意する。
- 母集団
- 統計的に結論を適用したい対象全体。分析対象が母集団を代表しているかを確認しないと、結論を一般化できない。
- 選択バイアス
- 分析対象の選び方が偏っているため、結果が母集団を正しく反映しない状態。回答者の自己選択、途中脱落、既存利用者だけの分析等で生じる。
- グラフ
- 数値や関係を視覚的に表現した図。0から始まらない縦軸や3D表現等で印象が変わるため、目的に合った種類と軸を選ぶ。
- 可視化
- データをグラフ等で理解しやすく表現すること。
- 再現条件
- 同じ分析結果を再現するために必要な入力・設定・フィルタ等の条件。
- フィルタ
- 条件に合うデータだけを抽出・除外する処理。AIが暗黙に条件を絞ったりデータを除外したりすることがあるため、適用した条件を出力させて確認する。
- 軸
- グラフで値・カテゴリ・時間などを表す基準線。切り方で印象が変わる。
- Data Contract
- データの項目、型、意味、品質条件、更新頻度、責任者などを提供側と利用側で明示的に合意する取り決め。
- Metric Catalog
- KPIや指標について、定義、計算式、対象期間、データ源、責任者などを一元管理するカタログ。
- 分散
- 各データが平均からどの程度ばらついているかを、平均との差の二乗平均で表す統計量。
- 標準偏差
- 分散の平方根で、データのばらつきを元の値と同じ単位で表す統計量。
- 信頼区間
- 標本データから母数が含まれると推定する範囲を、所定の信頼水準に基づいて示した区間。
- p値
- 帰無仮説が正しいと仮定したとき、観測結果以上に極端な結果が得られる確率を表す統計量。
- 統計的有意性
- 観測された差や関係が、設定した有意水準の下で偶然だけでは説明しにくいと判断される性質。実務上の重要性とは別に扱う。
- 多重比較 / p-hacking
- 多数の検定を繰り返すと偶然の有意結果が出やすくなる問題（多重比較）と、有意になるまで分析条件を変えたり都合の良い結果だけを報告したりする不適切な分析慣行（p-hacking）。
- 効果量
- 差や関係の大きさを示す指標。p値は差が偶然かどうかの目安にすぎないため、実務上の意味の大きさは効果量と信頼区間で判断する。
- ベイズ統計
- 事前の知識や仮定（事前分布）をデータで更新し、事後分布として確率的に推論する統計手法。少数データでの推定や不確実性の表現に用いられる。
- 回帰
- 目的変数と1つ以上の説明変数の関係をモデル化し、影響の推定や予測に用いる統計手法。
- シンプソンのパラドックス
- 集団全体で見た傾向と、条件別に分けて見た傾向が逆転または大きく異なる現象。
- 季節性
- 曜日、月、季節など一定周期で繰り返すデータの変動パターン。前月比では季節要因と施策の効果を区別しにくいため、前年同期比等と併用する。
- 時系列
- 時間の順序に沿って記録されたデータ。トレンド・季節性・周期性・自己相関を持つため、学習・評価ではランダムではなく時間順にデータを分ける必要がある。
- 移動平均
- 一定期間の値を平均しながら期間をずらして算出する平滑化手法。短期的な変動を抑えて傾向を見やすくするが、変化の検出が遅れる。
- 異常検知
- 通常のパターンから外れたデータや事象を自動的に検出する手法。不正検知、設備故障の予兆、ログ監視等で使われる。
- リーケージ（Data Leakage）
- 予測時点では本来得られない情報や評価用データが学習・特徴量に混入し、評価性能が実運用より過大になる問題。時系列データの分割ミスや正解に由来する変数の混入で生じる。
- データクレンジング
- 欠損、重複、表記揺れ、異常値、誤記等を検出・修正し、分析や学習に使いやすいデータへ整える処理。
- ETL
- Extract, Transform, Loadの略。複数ソースからデータを抽出し、変換・整形してデータ基盤等へ格納する処理。
- DWH / データレイク
- 分析用に整理・統合された構造化データを蓄積するデータウェアハウス（DWH）と、構造化・非構造化データを元の形式のまま大量に蓄積するデータレイク。両者を組み合わせたレイクハウス構成もある。
- 相関係数
- 2つの変数がどの程度一緒に変化するかを数値で表す指標。高い相関があっても因果関係を意味するとは限らない。
- 最頻値
- データの中で最も頻繁に出現する値。平均・中央値と並ぶ代表値の一つ。
- ピボットテーブル
- 表形式データをカテゴリや条件ごとに集計し、件数・合計・平均等を多次元に整理する機能・表。
- Data Quality
- データの正確性、完全性、一貫性、適時性、重複の少なさ等、利用目的に対してデータがどの程度適切かを表す品質概念。
- Data Catalog
- 組織内のデータセット、項目、所有者、利用条件、Lineage等のメタデータを検索・管理できるようにするカタログ。